学习Python一个星期用Scrapy爬取天气预 实践一番

目的

写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。

目标分析：

数据的筛选：

我们使用chrome开发者工具，模拟鼠标定位到相对应位置:

可以看到我们需要的数据，全都包裹在

这样我们就已经将准备工作做完了。

看一下当前的目录：

编写items.py:

这次我们来先编写items,十分的简单，只需要将希望获取的字段名填写进去：

编写Spider:

这个部分使我们整个爬虫的核心!!

主要目的是：

将Downloader发给我们的Response里筛选数据，并返回给PIPELINE处理

下面我们来看一下代码：

编写PIPELINE：

我们知道，pipelines.py是用来处理收尾爬虫抓到的数据的，

一般情况下，我们会将数据存到本地：

文本形式： 最基本的存储方式

json格式 ：方便调用

数据库： 数据量比较大时选择的存储方式

TXT（文本）格式：

json格式数据：

我们想要输出json格式的数据，最方便的是在PIPELINE里自定义一个class：

数据库格式（mysql）:

Python对市面上各种各样的数据库的操作都有良好的支持，

但是现在一般比较常用的免费数据库mysql。

在本地安装mysql：

linux和mac都有很强大的包管理软件，如apt，brew等等

window 可以直接去官 下载安装包。

由于我是Mac，所以我是说Mac的安装方式了。

来看一下weather表长啥样：

编写Settings.py

我们需要在Settings.py将我们写好的PIPELINE添加进去，

scrapy才能够跑起来

这里只需要增加一个dict格式的ITEM_PIPELINES，

数字value可以自定义，数字越小的优先处理

让项目跑起来：

结果展示:

文本格式：

json格式：

数据库格式：

这次的例子就到这里了，主要介绍如何通过自定义PIPELINE来将爬取的数据以不同的方式保存。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫Scrapy框架210493 人正在系统学习中