PythonSpider项目

Python爬虫是用Python编程语言实现的 络爬虫，主要用于 络数据的抓取和处理，相比于其他语言，Python是一门非常适合开发 络爬虫的编程语言，大量内置包，可以轻松实现 络爬虫功能。Python爬虫可以做的事情很多，如搜索引擎、采集数据、广告过滤等，Python爬虫还可以用于数据分析，在数据的抓取方面可以作用巨大！此次项目我们所需软件：
PyCharm
下载地址：链接: link.

需求分析

在大数据时代，怎样通过爬虫快速并且有效的获取到某一个 页的信息。

概要设计

1.用import导入相关的包
2.设置公共变量url和headers
3.获取页面并返回参数
4.解析页面并返回参数
5.保存页面并返回参数

代码实现

一、导入相应模块

二、获取 页信息，并解析

三、保存输出

四、运行测试
用我Excel打开之前获取到的CSV文件，我们就得到了我们想要的信息。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树预备知识常用开发工具208411 人正在系统学习中