玩儿虫那些事(一)—— 爬取一个简单的 站

目录

  • 一、爬一个简单的 站
  • 二、模拟登录与使用selenium
  • 三、多线程爬取与反爬策略
  • 四、加密与解密
  • 五、APP数据抓取
  • 六、分布式爬虫

一、爬取一个简单的 站

本章教程,我们使用python爬取博客园的文章,并解析获取到的数据,重点会介绍几种不同python库的使用方法来获取数据。爬取一个 站的第一步是分析请求,工具是使用Chrome浏览器、Finder或Charles来分析,不清楚的请求分析过程,可自行百度。

1、使用requests库获取数据

代码1

2、使用Request库获取数据

代码2

3、使用BeautifulSoup解析Html页面的数据

代码1代码2后面加上代码3

代码3

得到打印结果

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树首页概览208442 人正在系统学习中 相关资源:PHP寄生繁殖劫持程序V3.0_寄生程序-PHP代码类资源-CSDN文库

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2017年8月12日
下一篇 2017年8月12日

相关推荐