python爬虫可以爬哪些_利用爬虫技术能做到哪些很酷很有趣很有用的事情?

原标题:利用爬虫技术能做到哪些很酷很有趣很有用的事情p>

废话说多了,说说自己的学习经历吧。也给想学Python,想写爬虫的人一个参考。

一开始我是在 上自己找了个基础的视频来学,Python真是门简单的语言,之前懂一点Visual Basic,感觉Python也很适合给无编程基础的人学习。

入门视频到最后,就做出了我的第一个爬虫一百度贴吧图片爬虫 (相信很多的教程都是以百度贴吧爬虫为经典例子来说的。)

一开始代码很简单,只能爬取第一页的数据,于是我加了一一个循环,就能够爬取制定页数的图片了。并且图片是有按顺序排列的,非常方便。在筛选 址的时候用正则表达式就好了。

可是我不经常混贴吧啊,也很少有要下载贴吧图片的需求。回归初衷吧。我对投资有兴趣,学编程有一个原因也是为了投资服务。在7月股灾进行时的时候,我错过了一个明显的“捡钱”的机会,并非自身专业知识不够,而是当时在准备考试,很少去看股市,这让我心有不甘:要是有个东西能够帮我自动爬取数据分析并推送就好了,于是有了以下学习轨迹:

一、爬取数据

第一个库挺不错的,现在在获取 页源代码时,我都用这个库,大家如果有不懂的可以看看那个 站。https://blog.csdn.net/iloveyin/article/details/21444613 第二个库由于我是用3.4版本的Python,折腾了很久没折腾进去,于是我发现了另一个不错的库BeautifulSoup,详细教程参考: Python爬虫入门八之Beautiful Soup的用法

有了requests和Beautifulsoup,基本上可以实现我想要的很多功能了。我便做了一一个抓取分级基金数据的爬虫:

二、分析并推送

其实在此分析其实还谈不上,顶多算是筛选。(不过我相信随着 我数学能力提升会能有进一步的分析的,美好的祝愿。。。)筛选很简单,就是涨幅或收益率等等满足一定条件就保留下来,保留下来干嘛啊! ! !

将保存下来的数据通过邮件发送到自己的邮箱,手机上下载个软件,一切就大功告成了!

至此当时学习Python的目的就达到了,当时鸡冻地要炸了! ! !

不过….那么好玩的东西,怎么能这么快就结束了腾吧!

三、简单的界面

等等! Python好像不能直接弄成exe可执行文件,不能每次运行都开Python的窗口啊!强迫症怎么能忍! 1上 搜搜发现有诸如py2exe的包可以转换,可是老子是3.4版本啊! 折腾半天没搞定,算了!我不是会点VB吗,用那个吧。于是连界面都有了

折腾-番linux系统的操作, 实现了24小时的实时推送。

而到这里,我已经深陷到Python里了,我觉得我应该继续学习这门强大简单的语言,在知乎上看到了一个问题: Quant应该学习哪些Python知识然说的是Quant但也为我指引了-一些方向。目前正准备学习numpy,pandas,matplotlib这些库, 以实现未来对金融、经济数据的可视化和分析。相关的内容有一本书写得还不错, 叫《利用Python进行数据分析》,有兴趣学习可以读- -读。

最后,如果你跟我一样都喜欢python,想成为一名优秀的程序员,也在学习python的道路上奔跑,欢迎你加入python学习群:839383765 群内每天都会分享最新业内资料,分享python免费课程,共同交流学习,让学习变(编)成(程)一种习惯!返回搜狐,查看更多

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树 络爬虫urllib211392 人正在系统学习中 相关资源:开源的爬虫软件Heritrix3.1.0_开源爬虫-Java工具类资源-CSDN文库

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2020年10月15日
下一篇 2020年10月15日

相关推荐