爬虫小白踩坑记—–爬虫初探

首先是爬取 上的数据，需要明确一下思路：

1. 抓取原 页，其实就是download 页源代码，至于怎么download，有多种方式，因为是试手程序，所以我选择了request，requests库是一个非常实用的HTPP客户端库，是抓取操作最常用的一个库。而且主要针对开放 页，不需要登录。

2. 页解析，按需要将内容提取出来，主要就是将HTML标签去掉，也是有很多种方式，可以使用BeautifulSoup,XPath、lxml等库，我主要使用正则表达式来匹配需要的内容，提取内容还不错。

3. 存储数据，根据自己需求及数据量选择

遇到的问题记录：

1. 一般 页都是可以爬取的，没有反爬机制，常见的会通过user-agent来控制访问，其他的反爬机制目前未涉及，user-agent能够使服务器识别出用户的操作系统及版本、cpu类型、浏览器类型和版本。很多 站会设置user-agent白名单，只有在白名单范围内的请求才能正常访问。所以在我们的爬虫代码中需要设置user-agent伪装成一个浏览器请求。有时候服务器还可能会校验Referer，所以还可能需要设置Referer(用来表示此时的请求是从哪个页面链接过来的)，如下所示：

爬取简单 页还是挺简单的，但在批量爬取 页的时候，突然出错了，排查了好半天，原来是读取url多了换行符，蠢哭。

2. 解析 页特别麻烦，因为 页结构不一定都一样，所以要做到通用性应该很难，第三方库和正则都用了，最后选择了正则，更加灵活一点。

这样只是去除了大部分的html标签，还需要根据实际情况增加正则条件。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫正则表达式211392 人正在系统学习中