利用Python 络爬虫来爬取电影院最新刚上映的电影来看看有喜欢的

 

1 前言

猫眼电影是淘宝联合打造电影分类最全的电影的平台,能够第一时间告知用户,最新的电影上线时间。今天教大家获取猫眼电影的即将上映的电影详情。

 

 

 

2 项目目标

获取猫眼电影的即将上映的电影详情。

 

3 项目准备

软件:PyCharm

需要的库:requests、lxml、random、time

插件:Xpath

站如下:

点击下一页的按钮,观察到 站的变化分别如下:

点击下一页时,页面每增加一页offset=()每次增加30,所以可以用{}代替变换的变量,再用for循环遍历这 址,实现多个 址请求。

 

4 项目实现

1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和 址,代码如下所示。

2、随机产生UserAgent。

3、发送请求,获取页面响应。

4、xpath解析一级页面数据,获取页面信息。

1)基准xpath节点对象列表。

2)依次遍历每个节点对象,提取数据。

5、定义movie,保存打印数据。

6、random.randint()方法,设置时间延时。

7、调用方法,实现功能。

 

5 效果展示

1、点击绿色小三角运行输入起始页,终止页。

 

 

2、运行程序后,结果显示在控制台,如下图所示。

 

 

3、点击蓝色下载链接, 络查看详情。

 

 

 

6 小结

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

3、欢迎大家积极尝试,有时候看到别人实现起来很简单,但是到自己动手实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。

4、猫眼电影代码链接:, https://github.com/cassieeric/python_crawler/tree/master/MaoyanMovie ,觉得不错,记得给个star噢。

 

需要源代码或者素材的

点击这里下载

文章知识点与官方知识档案匹配,可进一步学习相关知识Java技能树首页概览91393 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2020年8月23日
下一篇 2020年8月23日

相关推荐