【Python爬虫】东方财富数据爬取

0.背景

由于工作需要，最近在研究如何从东方财富 页爬取股东增持数据。
页：http://data.eastmoney.com/executive/gdzjc-jzc.html

1.分析 页请求

打开 页，选择某数据右键查看元素，可以查看该数据在加载后的 页中的位置。

2.方案介绍
【方案一】
BeautifulSoup解析 页文件。
将 页保存在本地，python读取后用BeautifulSoup解析获得页面数据。
【方案二】
selenium、PhantomJS、BeautifulSoup组合，通过模拟浏览器打开对应 页后用BeautifulSoup进行解析。

【方案三】
前两种方案对于获取当前页面数据还算比较有效，但对第二页数据的获取则束手无策。点击第二页发现 页只发送了一个请求数据的request，这就是数据接口啊。

用浏览器请求该 页，发现返回值中包含了请求的数据和真实的数据接口。

用浏览器请求该接口，正是我们需要的数据，用|分割。pageSize=50表每页50条数据，pageNum=2表示当前请求的是第二页。其他字段容易理解。
既然找到了数据接口，那就可以用urllib来请求，将响应的数据解析为json格式。

尽情的设置参数调戏接口吧，233

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib208427 人正在系统学习中