要写个爬虫爬些数据，以前没写过爬虫， 上查下Python挺方便的，花了一晚上把Python入了个门就开始写了，写篇博客记录下这个过程。
1. 功能需求看下图：
爬虫主要是通过Python的urllib2，re模块实现。
其中urllib2主要用于用于 页的获取，re主要是通过正则表达式进行 页信息的处理。
Mysql数据库主要是通过Navicat来显示，并实现增删改。
因为这个 站链接命名其实连接挺有规律的，所以采用DFS进行遍历，用户只需输入会议名称，爬虫自动爬取相应会议的论文的相关数据。
后期数据可视化处理采用matlab了，因为相对比较熟。。。
3. 软件源代码
还是不给了。。
4.源代码分析 告
用urllib2获取 页，然后结合 页的具体内容通过相应的正则表达式进行信息的筛选，如果碰到动态加载的页面，通过spynner进行处理，然后把相应的数据存入Mysql数据库即可。
5.测试 告
经过对一定量的信息与原 页的信息进行对比，抓取信息的准确度还不错。在Navicat中也可以正常的对数据库进行增删改操作。
6.用户手册
运行程序即可抓取相应 页的信息即可。对数据库的具体管理可通过Navicat进行。
7.
存在问题：
我的这个系统数据库的设计不太合理，存在数据库冗余，进行某些增删改的时候可能会出现数据不同步的情况。
爬虫部分因为没使用相应的爬虫框架，所以不太稳定，有时会失败，而且在进行大量数据的爬取时，耗时较长。
8.遇到问题:
有些页面是通过JS动态加载出来的，查到一个库可以解决，然而这个库在Windows下装各种依赖库简直是灾难（Spynner->Pyqt->Sip），后来转移到Linux下还是捣鼓了半天才解决。
还有有个别正则表达式也挺麻烦的。
文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览208363 人正在系统学习中
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！