爬虫简介

爬虫的实际例子：

1. 搜索引擎（百度、谷歌、360搜索等）。
2. 伯乐在线。
3. 惠惠购物助手。
4. 数据分析与研究（数据冰山知乎专栏）。
5. 抢票软件等。

什么是 络爬虫：

1. 通俗理解：爬虫是一个模拟人类请求 站行为的程序。可以自动请求 页、并数据抓取下来，然后使用一定的规则提取有价值的数据。
2. 专业介绍：百度百科。

通用爬虫和聚焦爬虫：

1. 通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联 上的 页下载到本地，形成一个互联 内容的镜像备份。
2. 聚焦爬虫：是面向特定需求的一种 络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施 页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的 页信息。

为什么用Python写爬虫程序：

1. PHP：PHP是世界是最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
2. Java：生态圈很完善，是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。
3. C/C++：运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。
4. Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

http协议

什么是http和https协议：

HTTP协议：全称是，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口 是端口。 HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口 是端口。

在浏览器中发送一个http请求的过程：

1. 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。
2. 当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
3. 浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
4. 当所有的文件都下载成功后， 页会根据HTML语法结构，完整的显示出来了。

url详解：

是的简写，统一资源定位符。 一个由以下几部分组成：

• scheme：代表的是访问的协议，一般为或者以及等。
• host：主机名，域名，比如。
• port：端口 。当你访问一个 站的时候，浏览器默认使用80端口。
• path：查找路径。比如：，后面的就是。
• query-string：查询字符串，比如：，后面的就是查询字符串。
• anchor：锚点，后台一般不用管，前端用来做页面定位的。

在浏览器中请求一个，浏览器会对这个url进行一个编码。除英文字母，数字和部分符 外，其他的全部使用百分 +十六进制码值进行编码。

常用的请求方法：

在协议中，定义了八种请求方法。这里介绍两种常用的请求方法，分别是请求和请求。

1. 请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用请求。
2. 请求：向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用请求。 以上是在 站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的 站和服务器为了做反爬虫机制，也经常会不按常理出牌，有可能一个应该使用方法的请求就一定要改成请求，这个要视情况而定。

请求头常见参数：

在协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在url中，第二个是把数据放在中（在请求中），第三个就是把数据放在中。这里介绍在 络爬虫中经常会用到的一些请求头参数：

1. ：浏览器名称。这个在 络爬虫中经常会被使用到。请求一个 页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的就是，这对于那些有反爬虫机制的 站来说，可以轻易的判断你这个请求是爬虫。因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。
2. ：表明当前这个请求是从哪个过来的。这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的响应。
3. ：协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用来做标识。一般如果想要做登录后才能访问的 站，那么就需要发送信息了。

常见响应状态码：

1. ：请求正常，服务器正常的返回数据。
2. ：永久重定向。比如在访问的时候会重定向到。
3. ：临时重定向。比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录页面。
4. ：请求的在服务器上找不到。换句话说就是请求错误。
5. ：服务器拒绝访问，权限不够。
6. ：服务器内部错误。可能是服务器出现了。