基于C#实现微博+贴吧+知乎的SuperSpider爬虫软件系统课程设计

包含课程 告和项目源码

SuperSpider爬虫软件

目录

SuperSpider爬虫软件 1

需求分析与概要设计 1

1. 项目说明 1

1.1. 项目目标： 1

1.2. 软硬件环境需求 2

1.3. 使用的关键技术： 2

2. 需求分析 2

2.1. 系统用例 2

（1） 设置关键词 3

（2） 查看信息展示 3

参与者：用户 3

2.2. 业务流程 3

3. 概要设计 4

3.1. 功能模块设计 4

（1） 爬取条件设置 4

输出：无 4

（2） 爬虫块 4

（3） 展示界面 4

3.2. 核心类图 5

4. 界面设计 6

爬虫主界面 6

信息获取界面 8

热榜界面 9

1.项目说明

1.1.项目目标：

制作一个爬虫软件，可以根据关键词爬取知乎、百度贴吧、微博的相关信息（高赞答案、神回复）或热点信息，然后呈现在界面上。

1.2.软硬件环境需求

环境：.Net Framework

操作系统：Windows

需要 络

1.3.使用的关键技术：

分析URL、下载WebServer返回的HTML、分析HTML内容、构建HTTP请求的模拟、在爬虫过程中存储有用的信息

2.需求分析

2.1.系统用例

图 1 系统用例图

（1）设置关键词

参与者：用户

基本事件流： 在输入框中输入想要查询的关键词，在复选框中勾选想要筛选的条件（热度、点赞数），在复选框中勾选想要爬取的 站（知乎、虎扑、微博）。

（2）查看信息展示

参与者：用户

基本事件流： 单击开始，爬取成功后会在新的弹出框中可以查看爬取到的数据

2.2.业务流程

图 2软件使用流程图

3.概要设计

3.1.功能模块设计

图 3功能模块图

（1）爬取条件设置

输入：关键词、搜索优先条件（热度、赞同数、时间） 、想要查看的 站、热点查看

输出：无

功能概述： 设置爬取的条件，为爬虫做准备

（2）爬虫块

输入：爬取条件

输出：爬取到的数据

功能概述：通过三个爬虫程序同时按照输入的条件进行数据爬取，并将数据输出到界面

（3） 展示界面

输入：爬取到的数据

输出：爬取到的数据

功能概述：将爬取到的数据展示在界面上