爬虫

作为资深宅男的我，自然对外面吃、玩的地方了解甚少 -_-! 。那么怎么才能选到好吃的地方呢，这个问题很严峻。既然学了计算机专业这么两年，我想，也许它能帮到我吧，于是乎… 下载八爪鱼…

《海量数据处理》课程作业，搜寻“不同标准的”“最好用”的开源爬虫库及软件。取之于CSDN，用之于CSDN。 定义“最好用” 站在一个外行人的角度，考虑到这些开源软件能够公开地被大家…

程序员有时候很难和外行人讲明白自己的工作是什么，甚至有些时候，跟同行的人讲清楚“你是干什么的”也很困难。比如我自己，就对Daivd在搞的语义 一头雾水。所以我打算写一篇博客，讲一下…

9 月 6 日下午，多位业内人士称，杭州知名大数据服务公司杭州魔蝎数据科技有限公司，疑似被相关执法人员控制，其中一位周姓核心高管人员被警方带走。 以上是前几天技术圈传播的一则新闻，…

摘要：出现验证码一般是采集速度比较快、采集数据多，触发了 站的防采集机制所导致的。解决方案是由于其不确定性，并不是采集每一条数据都出现验证码。故需在规则中引入分支判断，对 页是否出…

最近想对python爬虫所需的开发环境做一个总结，主要针对window系统和linux系统为例,这里非常推荐大家使用linux系统 （一）python和pip环境搭建 1.wind…

最近学习了python的requests库，粗略学习了下正则匹配，就想找个项目练练手。很凑巧，连接fiddler测试的过程中，刷了会某 交平台，抓到了不少请求。通过分析，发现该平台…

　　 络爬虫使用分布式，重点是解决两个难题： 　　1)大批量URL管理 　　2) 速 　　现在比较流行的分布式 络爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutc…

自有 络以来，就一直存在爬虫和反爬虫，越是大 站，越是成熟的 站，其反爬虫机制越完善，最初的IP限制，验证码限制，还有其他的限制，今天小编跟大家一起去了解下 站在哪些地方设置反爬虫…