文章目录

• 爬虫分类
• 应用场景
• 技术准备
• 运行流程
• 常用技术
• 反爬机制
• 案例讲解

爬虫分类

络爬虫按照系统结构和实现技术，大致可分为一下几种类型：

• 通用 络爬虫：就是尽可能大的 络覆盖率，如 搜索引擎(百度、雅虎和谷歌等…)
• 聚焦 络爬虫：有目标性，选择性地访问万维 来爬取信息
• 增量式 络爬虫：只爬取新产生的或者已经更新的页面信息。特点：耗费少，难度大
• 深层 络爬虫：通过提交一些关键字才能获取的Web页面，如登录或注册后访问的页面

实际工作中通常是几种爬虫技术结合实现。

应用场景

爬虫技术在科学研究、Web安全、产品研发、舆情监控等领域可以做很多事情。

• 在数据挖掘、机器学习、图像处理等科学研究领域，如果没有数据，则可以通过爬虫从 上抓取；
• 在Web安全方面，使用爬虫可以对 站是否存在某一漏洞进行批量验证、利用；
• 在产品研发方面，可以采集各个商城物品价格，为用户提供市场最低价；
• 在舆情监控方面，可以抓取、分析新浪微博的数据，从而识别出某用户是否为水军；
• ……

作为一名合格的数据分析师，其完整的技术知识体系必须贯穿数据获取、数据存储、数据提取、数据分析、数据挖掘、数据可视化等各大部分！

技术准备

1. Python基础语言：
   基础语法、运算符、数据类型、流程控制、函数、对象
   模块、文件操作、多线程、 络编程 … 等

2. W3C标准：
   HTML、CSS、JavaScript、Xpath、JSON

3. HTTP标准：
   HTTP的请求过程、请求方式、状态码含义，头部信息以及Cookie状态管理

4. 数据库：
   MySQL、MongoDB、Redis …

运行流程