使用工具:Fiddler+基础爬虫
案例:使用fiddler+基础爬虫爬取知乎热榜
前言
首先简单的介绍一下一些 站以及一些手机app的原理,很多 站和手机app基本都是先把架子写好,然后往架子里填充数据,然而这些数据基本都是通过手机app或者 站向服务器发起请求,之后服务器返回json或者xml数据,然后 站或者手机app对数据进行解析到各个地方。之前我写过的一个微信小程序经纬我查查就是通过这种方式来操作的,通过小程序获取用户当前的地址,之后将地址传到服务器进行坐标转换再将结果传回解析到相应的位置。
1.设置Fiddler
先去官方 站下载一个fiddler,具体怎么下载就不说了,下边直接开始说关于如何设置的问题。
之后再去HTTPS,将相应的内容打对,因为访问HTTPS 站需要下载专门的证书
进入之后将HTTP代理调成手动,相应的位置输入相应的内容(电脑ip可以打开cmd输入ipconfig有一个ipv4就是计算机局域 内的ip)
之后安装证书即可
找前边标志位json的
4.爬取
开始写爬虫
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树首页概览208427 人正在系统学习中 相关资源:今目标软件(桌面今目标)09/26-专业指导文档类资源-CSDN文库
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!