利用selenium爬取艺恩年度票房
- 1.概述
-
- 1.1 selenium
- 2.爬取原理
- 3.前期准备
-
- 3.1webdrive:类似于驱动(原理如下图)
- 提醒:webdriver必须与浏览器版本相一致!
- 3.2 selenium库
- 3.3 mysql数据库安装
- 3.4 mysql与python连接库(类似于webdrive)
- 3.5 re(正则表达式)库
- 4.代码实例
- 5.效果图
- 6 说明
1.概述
1.1 selenium
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera,Edge等。这个工具的主要功能包括:测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。(摘自百度百科)
2.爬取原理
利用selenium爬取 站中的数据,并将其保存到mysql数据库中
3.前期准备
3.1webdrive:类似于驱动(原理如下图)
Webdriver是针对不同的浏览器开发的,不同的浏览器有不同的webdriver。例如针对Chrome使用的chromedriver。
3.3 mysql数据库安装
详情安装 mysql安装教程
3.4 mysql与python连接库(类似于webdrive)
连接库有很多,详情请见下面链接
连接库
本案例采用 pymysql:
4.代码实例
5.效果图

6 说明
如有侵权,联系删除 csl184548@163.com
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树 络爬虫Selenium215605 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!