爬虫实际应用(1)

1.运行爬虫脚本命令

2.进入调试界面

3.如何寻找代理

开发者工具–Network-All-Headers-Request Headers中找到User-Agent

4.问题:导入from douban.items import MovieItem提示找不到uitems

解决:打开了错误的文件,需要打开上一级包含scapy.cfg的文件夹

5.No module named ‘win32api’

安装:pip install pypiwin32

6.获取爬虫数据

具体可以参考:https://blog.csdn.net/lanhaixuanvv/article/details/78565877

7.将爬虫数据在保存在excel表中命令

8.退出调试