[简单的python爬虫实战] 获取1688 页上的商品信息

语言：python 3.6 / 框架: Scrapy 1.5 /  数据库:Mysql 8.0 / IDE: pycharm

1. 生成项目

首先，安装好基本的软件。之后到项目文件夹处 按住 shift+右键，打开命令行模式。

执行 scrapy startproject [项目名] 生成项目文件。cd [项目名] 进入到项目文件夹中后执行 scrapy genspider <爬虫名> <domain/域名(起始页)> 生成爬虫文件。

2. 创建数据对象 items.py。在mysql中建立对应的数据表单。(注意表的字符编码,这里设置的数据编码是CHARACTER SET utf8 COLLATE utf8_general_ci)

3.编写爬虫逻辑

4.建立数据管道

5.修改settings

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫Scrapy框架208427 人正在系统学习中