使用Python爬取全国各地城市的天气数据

文章目录

• • • 思路
    • 遇到的问题
    • 原因分析
    • 解决方案
    • 数据分析
    • 城市编码错误，接口返回403结果码
    • 完整代码
    • 参考资料

思路

1、使用json框架解析出城市的编码
2、使用pymysql框架操作mysql数据库
3、每个循环里面代码逻辑如下：
1）得到城市的编码
2）如果编码为空，说明是省份，使用continue进入下个循环
3）发送查看该城市天气的请求
4）使用json框架解析天气接口返回的数据
5）将该城市的天气数据导入数据库

遇到的问题

很多城市的天气爬取失败。使用浏览器请求接口，结果如下：

解决方案

循环里面设置等待1秒，这样爬虫就会每隔1秒钟发送一次请求（每分钟的请求次数大约60次，低于阈值300次）

数据分析

实时温度最高的城市

城市编码错误，接口返回403结果码

[1] 免费天气API，天气JSON API，不限次数获取十五天的天气预
https://www.sojson.com/blog/305.html
[2] Python错误解决：UnicodeEncodeError: ‘latin-1’ codec can’t encode characters in position
https://blog.csdn.net/lynn_coder/article/details/79504564
[3] 命令行修改MySQL数据库密码
https://www.cnblogs.com/supiaopiao/p/8527391.html
[4] python3连接mysql数据库及异常信息处理
https://blog.csdn.net/lovelong8808/article/details/77193752
[5] python字符串拼接
https://www.cnblogs.com/yexuesong/p/9232349.html
[6] python中__name__的使用
https://www.cnblogs.com/1204guo/p/7966461.html
[7] 浅析python中__name__ = ‘__main__’ 的作用
https://www.cnblogs.com/alan-babyblog/p/5147770.html

https://jq.qq.com/wv=1027&k=5eVEhfN
软件测试学习交流QQ群 ：511619105

软件测试学习资料
《自动化测试教程》

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫requests208242 人正在系统学习中