利用selenium爬取艺恩年度票房

利用selenium爬取艺恩年度票房

  • 1.概述
    • 1.1 selenium
  • 2.爬取原理
  • 3.前期准备
    • 3.1webdrive:类似于驱动(原理如下图)
    • 提醒:webdriver必须与浏览器版本相一致!
    • 3.2 selenium库
    • 3.3 mysql数据库安装
    • 3.4 mysql与python连接库(类似于webdrive)
    • 3.5 re(正则表达式)库
  • 4.代码实例
  • 5.效果图
  • 6 说明

1.概述

1.1 selenium

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera,Edge等。这个工具的主要功能包括:测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。(摘自百度百科)

2.爬取原理

利用selenium爬取 站中的数据,并将其保存到mysql数据库中

3.前期准备

3.1webdrive:类似于驱动(原理如下图)

Webdriver是针对不同的浏览器开发的,不同的浏览器有不同的webdriver。例如针对Chrome使用的chromedriver。

3.3 mysql数据库安装

详情安装 mysql安装教程

3.4 mysql与python连接库(类似于webdrive)

连接库有很多,详情请见下面链接
连接库
本案例采用 pymysql:

4.代码实例

5.效果图

利用selenium爬取艺恩年度票房

6 说明

如有侵权,联系删除 csl184548@163.com

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树 络爬虫Selenium215605 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年1月9日
下一篇 2022年1月9日

相关推荐