CSDN爬虫（四）——博客专家(所有)爬取+数据分析
说明
- 开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2
- 爬虫框架：webMagic
- 建议：建议首先阅读webMagic的文档，再查看此系列文章，便于理解，快速学习：http://webmagic.io/
- 开发所需jar下载（不包括数据库操作相关jar包）：点我下载
- 该系列文章会省略webMagic文档已经讲解过的相关知识。
概述
- 我们会从博客专家首页http://blog.csdn.net/experts.html#list分析页面，从中到找到所有专家所在的“接口”（需要分析 页源码），从中爬取所用专家用户，保存到本地数据库。
- 根据专家id也即用户id去爬取他们的博客列表（第二篇文章已经讲解过该部分）。
- 因为，博客专家是CSDN的核心用户，文章相对而言质量也比较高，优先考虑爬取这一部分用户即其文章。
- 根据博客专家的文章总浏览量、关注数、博文单的阅读数、评论数进行排序，找出“最有价值”的文章以及博客专家。
博客专家爬虫代码预览
关键代码解释
- 以上代码涉及分页爬虫、jsoup方式解析爬虫、正则匹配，具体请参考前三篇文章。
- 涉及到一个“接口”，这个接口是分析博客专家首页http://blog.csdn.net/experts.html#list 页源码后得到的，极大的方便了博客专家的爬取过程。正是由于有了这个“接口”，才使得爬取博客专家特别方便。
爬取结果预览
| 总博文量排名 | 专家Id | 专家名称 | 地址 | 职位 | 文章量 | 总阅读量 | 博客地址 | 个人中心 |
| 1 | yuanmeng001 | 袁萌 | 4095 | 7117504 | http://blog.csdn.net/yuanmeng001 | http://my.csdn.net/yuanmeng001 | ||
| 2 | Augusdi | 高庆地 | 南京 | 研发工程师 | 4082 | 7327363 | http://blog.csdn.net/Augusdi | http://my.csdn.net/Augusdi |
| 3 | SmartTony | 邓斌 | 中国上海市 | 执行董事 | 2792 | 3619000 | http://blog.csdn.net/SmartTony | http://my.csdn.net/SmartTony |
| 4 | jdsjlzx | 李治现 | 北京 | Android开发工程师 | 2314 | 6496619 | http://blog.csdn.net/jdsjlzx | http://my.csdn.net/jdsjlzx |
| 5 | jackyrongvip | 廖煜嵘 | 广州 | IT开发工程师 | 2254 | 1287146 | http://blog.csdn.net/jackyrongvip | http://my.csdn.net/jackyrongvip |
| 6 | shanyou | 张善友 | 2172 | 1324942 | http://blog.csdn.net/shanyou | http://my.csdn.net/shanyou | ||
| 7 | metababy | 花纯春 | 成都 | 成都 | 2058 | 4456469 | http://blog.csdn.net/metababy | http://my.csdn.net/metababy |
| 8 | hu_zhenghui | 胡争辉 | 2024 | 2492625 | http://blog.csdn.net/hu_zhenghui | http://my.csdn.net/hu_zhenghui | ||
| 9 | sxhelijian | 贺利坚 | 烟台 | 教师 | 1978 | 4459980 | http://blog.csdn.net/sxhelijian | http://my.csdn.net/sxhelijian |
| 10 | matrix67 | 顾森 | 1899 | 814777 | http://blog.csdn.net/matrix67 | http://my.csdn.net/matrix67 | ||
| 浏览数排名 | 博主id | 评论数 | 浏览量 | 博文标题 | 博客详情地址 | 发表日期 | 置顶与否 |
| 1 | lmj623565791 | 161 | 1528773 | Android Https相关完全解析 当OkHttp遇到Https | http://blog.csdn.net/lmj623565791/article/details/48129405 | 2015/9/12 11:25 | 0 |
| 2 | tingsking18 | 1 | 1228563 | 简单即时贴：python输出A到Z | http://blog.csdn.net/tingsking18/article/details/4330414 | 2009/7/8 10:59 | 0 |
| 3 | sunboy_2050 | 504 | 831516 | Android APK反编译详解（附图） | http://blog.csdn.net/sunboy_2050/article/details/6727581 | 2011/8/28 22:42 | 0 |
| 4 | luopingfeng | 1 | 777893 | 《Linux Device Drivers》第十五章 内存映射和DMA——note | http://blog.csdn.net/luopingfeng/article/details/24173985 | 2014/10/9 8:41 | 0 |
| 5 | luopingfeng | 1 | 777855 | 《Linux Device Drivers》第十六章 块设备驱动程序——note | http://blog.csdn.net/luopingfeng/article/details/24174045 | 2014/10/11 16:53 | 0 |
| 6 | luopingfeng | 2 | 777674 | 《Linux Device Drivers》第八章 分配内存——note | http://blog.csdn.net/luopingfeng/article/details/24173595 | 2014/9/28 9:26 | 0 |
| 7 | luozhuang | 28 | 656975 | RapeLay（电车之狼R）的结局介绍 (隐藏结局攻略) | http://blog.csdn.net/luozhuang/article/details/2595816 | 2008/6/29 14:48 | 0 |
| 8 | metababy | 0 | 630052 | 时更新 在线观察纸黄金价格 24小时黄金走势图使用现货买入价格 黄金价格历史走势图 全天显示黄金，银，钯 和 铂以及原油期货，美元指数的最新价格 | http://blog.csdn.net/metababy/article/details/1488797 | 2007/1/20 21:34 | 0 |
| 9 | alex197963 | 38 | 611795 | 历年奥斯卡获奖影片（1927—2015） | http://blog.csdn.net/oracle_microsoft/article/details/4436974 | 2009/8/12 9:04 | 1 |
| 10 | t12x3456 | 67 | 534164 | Android 络通信框架Volley简介(Google IO 2013) | http://blog.csdn.net/t12x3456/article/details/9221611 | 2013/7/2 9:15 | 0 |
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！