爬虫之解决需要登录的 站

爬虫之解决需要登录的 站

??前言:平时爬取的 站大都不需要登录就可直接获取到想要的信息,但有时我们想要的信息,需要登录之后,才可以查看,又或者说,有些 站在不登录的状态下,不能查看全部信息,因此,我们需要携带用户数据进行登入爬取。文章中介绍了三种方法解决携带登入用户进行爬取 页信息。

第一种、使用Session

会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie。

响应结果

第二步,将已登录用户的Cookie放到headers中进行请求;

响应结果


新手小白,代码写得不好,如果有理解错误的,还望大牛在评论区指出来,非常感谢!

以上就是 解决需要登录的 站 的所有内容了,点赞收藏加评论是最大的支持哦!

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树 络爬虫Selenium211379 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年1月13日
下一篇 2021年1月13日

相关推荐