如何利用Python爬虫获取 络小说

前言：

随着 络的时代的发展，人们很少去安静的去看一本书。而是选择看 络小说，可是 络小说有些要钱才能看。

无限小说 ：

里边的内容是完全免费的，提供了各种种类的小说。满足用户的需要。可一页一页看小说太麻烦，直接下载多方便。

今天教大家爬取无限小说 ，把小说的下载链接通过 络请求直接下载。

一、项目目的

获取对应小说的下载链接，点击下载链接 址，下载对应的txt文件。

二、项目准备

软件：PyCharm

需要的库：requests、lxml、fake_useragent

站如下：

点击下一页时，list_29_{}每增加一页自增加1，用{}代替变换的变量，再用for循环遍历这 址，实现多个 址请求。

三、项目实现

1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和 址，代码如下所示。

2、随机产生UserAgent。

3、发送请求，获取响应, 页面回调，方便下次请求。

4、xpath解析一级页面数据,获取页面信息。

（1）f12运行浏览器，右键检查。找到对应二级页面的地址。

（2）二级页面，右键检查。点击下载按钮，找到对应三级页面的地址。

5、三级页面，先找到对应的父节点，再for循环遍历进行爬取。

6、定义read保存对应的小说名字，下载链接。

7、调用方法，实现功能。

四、效果展示

1、点击绿色小三角运行输入起始页，终止页。

2、运行程序后，结果显示在控制台，如下图所示。

3、点击蓝色下载链接, 络下载

4、双击小说文件，内容如下图所示。

最后总结：

1、不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

3、实现的时候，总会有各种各样的问题，切勿眼高手低，勤动手，才可以理解的更加深刻。

4、希望通过这个项目，能够帮助一些上班族，在空闲时能够直接通过 络去获取自己想要的小说 。

5、懒人是科技进步的动力。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib208347 人正在系统学习中