【python爬虫】关于403问题的反爬处理

今天在学习 小甲鱼 的python爬虫，遇到下面问题

首先，贴上今天找到的一个技巧

在python 错之后，定位c：之前的那个语句基本上就是出错的地方。

1.urllib.error.HTTPError: HTTP Error 403: Forbidden

这个问题是由于 站的反爬机制，如果用 urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫.
有些 站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝(如上错误信息所示)
所以可以尝试在请求中加入UserAgent的信息

下面给出两种方法：

a: 

b：

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib208347 人正在系统学习中