当然在学习Python的道路上肯定会困难,没有好的学习资料,怎么去学习呢学习Python中有不明白推荐加入交流群 :790921645 群里有志同道合的小伙伴,互帮互助, 群里有不错的视频学习教程和PDF!
二、流程
-
目标站点分析
用浏览器打开美团外卖APP评论,F121.首先我们要找到我们想要的评论数据,在第一次“失败”的直接抓取 页源代码后,我们发现它是通过Ajax加载的,我们点击JS选项,可以发现JS项目里面的返回结果有我们想要的数据,勾选Preserve log,当点击查看更多评论时,后台(JS里)会出现新的Ajax请求,发现还有参数start和 的变化,其他请求参数不变,start的参数变化是以10递增的, 的参数变化可就让人摸不着头脑(这个时候我们也不要方,因为大多情况下没有规律的参数都是没用的)
- 分析url的 页源代码,在源代码里有我们想要的评论数据,我们可以用正则(在这里正则还是比较好用的)把我们想要的信息弄下来
- 开启循环,批量抓取
- 保存数据至文本和数据库
三、代码
四、最后得到的数据视图和文件
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!