百度指数本身已经很好用了,但是如果进行二次整理,需要把原始数据采集下来就不是那么方便了。 页的请求只有一次,
需要的具体数据随鼠标的移动变化,所以,常规的requests请求 页,解析 页并不能满足需求,感觉可以使用selenium模拟完成鼠标移动,
进而获取数据,但是还没进行实际测试,检查 页源代码,感觉事情并没有那么简单,只好先选择另外一种,比较笨的方法。
实测在数据量不大的情况下,效果显著。
主要步骤
-
原始数据存在于的div里,随鼠标移动数据变化,所以只要模拟鼠标的移动动作,然后复制这个div的内容。
经验总结
虽然看起来不是很优雅,但不管黑猫白猫,能捉到老鼠就是好猫,一年365组数据400毫秒一次,大概3分钟不到,也不存在对付反爬措施,获取小批量数据的需求还是可以采用的。
原文地址
附:按键精灵资料参考.
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树首页概览211389 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!