超简单，带你学会多线程爬虫

点击上方“AI派”，选择“设为星标”

最新分享，第一时间送达！

我们的《从零开始学爬虫》专栏发布后，目前已经更新了四篇：

1. 想学爬虫但不会strong>那就先跟着我来学习下Python吧！

2. 爬虫学习者必须要懂的爬虫原理与页面构造

3. 相见不恨晚，我们的第一个爬虫讲解终于要来了！

4. 强势来袭，Python爬虫之正则表达式！

今天我们来介绍了一些爬虫的技术，实现基本的抓取需求。但是随着数据量变大时，我们之前的爬虫的效率或者说执行速度就会出现问题，之前我们都是一条数据爬取完成后才继续下一条数据的爬取，这种模式我们通常称它为单线程或者串行爬虫。那么该如何改善呢本章的学习你将掌握以下内容：

•  多线程：了解多线程的基本概念

•  多进程：了解多进程的概念

•  性能对比：通过一个爬虫案例对比它们之间的性能

•  多进程的使用

多线程与多进程

1. 多线程和多进程概述

当计算机运行程序时，就会创建包含代码和状态的进程。这些进程会通过计算机的一个或多个CPU执行。不过，同一时刻每个CPU只会执行一个进程，然后不同进程间快速切换，给我们一种错觉，感觉好像多个程序在同时进行。

一个进程中，程序的执行也是在不同的线程间进行切换，每个线程执行程序的不同部分。

例如：有一个大型工厂，该工厂负责生产电脑，工厂有很多的车间用来生产不同的电脑部件。每个车间又有很多工人互相合作共享资源来生产某个电脑部件。这里的工厂相当于一个爬虫工程，每个车间相当于一个进程，每个工人就相当于线程。

2. 多进程的使用方法

我们这里为大家介绍的是Python中的multiprocessing库，使用方法如下：

3. 性能对比

我们这里以糗事百科的用户名称为例，分别对单进程，2进程，4进程的性能进行对比，代码如下：

运行结果：

这里只是获取了用户名的信息，大家可以将其他信息也爬取出来看看，动手试试看看能缩少多少时间。好了这周的内容就这么多，虽然内容不是很多，但却很重要，大家要多多练习。

另外，我们成立了这个爬虫专栏的读者交流群，如果有问题欢迎大家在群里积极讨论。还没有加入的同学可以扫描下方的微信二维码，添加微信好友，之后统一邀请你加入交流群。添加好友时一定要备注：爬虫。 

今天我们的每日赠书专区出现在“次条”的位置上，书籍为《从零开始学Python 络爬虫》。

本书简介：

Python是数据分析的首要语言，而 络中的数据和信息很多，如何从中获取需要的数据和信息呢单、直接的方法就是用爬虫技术来解决。

本书是一本教初学者学习如何爬取 络数据和信息的入门读物。书中不仅有Python的相关内容，而且还有数据处理和数据挖掘等方面的内容。本书内容非常实用，讲解时穿插了22个爬虫实战案例，可以大大提高读者的实际动手能力。

点击上方可购买

恭喜上期通过留言成功混脸熟的读者：浪在学习里，赠送一本《Tensorflow+PyTorch深度学习从算法到实战》

请中奖同学联系小编：wanglaoshi201907

点下「在看」，给文章盖个戳吧！