爬虫利器Pyppeteer的介绍和使用 爬取京东商城书籍信息

文章目录

• • • 1. Pyppeteer介绍
    • 2. Pyppeteer的安装与使用
    • • Pyppeteer的安装
      • Pyppeteer的基本使用
    • 3. Pyppeteer爬虫实战 异步爬取京东商城书籍信息

提起 selenium 想必大家都不陌生，作为一款知名的 Web 自动化测试框架，selenium 支持多款主流浏览器，提供了功能丰富的API 接口，经常被我们用作爬虫工具来使用。但是 selenium 的缺点也很明显，比如速度太慢、对版本配置要求严苛，最麻烦是经常要更新对应的驱动。还有些 页是可以检测到是否是使用了selenium 。并且selenium 所谓的保护机制不允许跨域 cookies 保存以及登录的时候必须先打开 页然后后加载 cookies 再刷新的方式很不友好。

今天给大家介绍另一款 web 自动化测试工具 Pyppeteer，虽然支持的浏览器比较单一，但在安装配置的便利性和运行效率上相比selenium要好。介绍 Pyppeteer 之前先说一下 Puppeteer，Puppeteer 是 Google 基于 Node.js 开发的一个工具，主要是用来操纵 Chrome 浏览器的 API，通过 Javascript 代码来操纵 Chrome 浏览器的一些操作，用作 络爬虫进行数据爬取、Web 程序自动测试等任务。其 API 极其完善，功

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览208347 人正在系统学习中