需求分析
上一期,我制作了爬取steam中文优惠信息的程序,但是很快呢,一个小伙伴联系我说,“仙草哥哥,我觉得你这个不行,steam是一个外国平台,不仅 速慢,而且 站也有问题, 区都上不去。我觉得没什么好玩的,既然现在国内已经有了同样可以玩游戏的蒸汽平台,为什么不能够使用蒸汽平台呢么还要用steam呢/p>
我说,”蒸汽平台虽然很好,但是,他游戏少啊,很多游戏还没有上架到这个地方,很多游戏不是可能还玩不到嘛/p>
小伙伴说,”那有什么关系呢多,那能玩得过来吗小的时候,一款游戏都能玩几年,更何况,现在已经有那么多游戏了。总而言之,我希望你能做一期蒸汽游戏的优惠信息的程序。“
好吧,这自然不是什么问题,毕竟蒸汽平台和原版的外国平台使用的技术基本上是一样的,甚至连爬虫程序都是可以通用的,那么也许只要进行简单的修改,就可以完成任务了
与之前程序的区别
比起之前两期已经做好的程序,事实上,国内平台的信息爬取要比原版的更容易一些。这主要体现在以下两个方面
1,由于国内的 络比较好,之前的一个关键步骤,也就是对于 络异常状态的处理,不再是必须的了。毕竟之前可能连续7,8次才能成功一次,而现在基本上10次要成功9.5次,那么很明显,对于 络请求不好而进行的额外的处理,可以去除掉了,现在基本不会遇到这个问题了
2,看过上一期文章的应该知道,原版的游戏名都是英文的,如果要看中文的游戏名,需要通过cookie提交额外的信息,也就是说,你需要给出一个额外的cookie指定你需要中文信息。而换了新平台以后,默认的就是中文的,也就是说根本就不需要再通过cookie提交中文信息这个环节了。因此,cookie生成和提交的这一部分,也可以去掉了
所以,综上分析,总的来说,对比之前的程序,是简单了很多,原本有的一些内容也可以去掉了。因此就又回到了通过requests发起请求,通过lxml进行处理,最后进行数据的整理或者保存的老步骤上了
实现分析
首先毫无疑问,第一步应该是通过requests发起请求
第二步,从返回的响应中提取所需的数据内容
第三步,对数据进行整理,得到最终的结果
完整代码展示
以下是对上一期的文章内容,进行简单的修改,完成的新程序内容
程序运行效果如下所示
由此,我们可以发现,现在失落的城堡以及RPG制作软件都在打折,而且优惠幅度同样很大。有了这个,就再也不怕错过优惠信息了
仔细观察最近三期,你会发现,最近三期的代码差别不是很大,但是实现的功能却又完全不一样,这是怎么回事呢p>
实际上,程序就是这样,只要简单进行修改,就可以完成不同的功能和效果,有的时候完全不需要再重新开始,从头做,会了这个,以后做爬虫程序也会非常的简单
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树首页概览212428 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!