闲鱼目前最大的问题在于没有html请求口子了,闲鱼用了自家的app口子,而且还有spdy协议,拒绝使用代理。
如果想采集闲鱼数据,并保存下来,做个对比分析之类的,传统的非传统的招数都已经凉了。
怎么说呢,面对闲鱼,你想抓个包都不好抓了。
所以,这个闲鱼数据采集,真的不容易。手动调用了闲鱼的返回接口,将你在app内看到的数据采集下来。就这样吧。
获得数据如下:
可点击查看大图
项目地址:
github: https://github.com/FightingForWhat/xianyu_spider-crawler-sender
gitee: https://gitee.com/FightingForWhat/xianyu_spider-crawler-sender
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!