python毕业设计课题-毕业设计:爬虫及数据分析

本科阶段即将落幕，我本科最后一项任务毕业设计也进入尾声。

指导老师跟我说，本科毕业设计不需要创新，但是工作量一定要够，我就知道又要搞事情了。

我选择的毕业设计题目是 络爬虫与数据分析，在当下可以说很时髦，很流行。

我将我的毕业设计分为四部分。每一部分都会有具体代码与注释，也会有一些外延知识的提及与讨论，欢迎大家一起学习进步。

爬虫简单介绍

所谓爬虫就是编写代码从 页上爬取自己想要的数据，代码的质量决定了你能否精确的爬取想要得到的数据，得到数据后能否直观正确的分析。

Python无疑是所有语言中最适合爬虫的。Python本身很简单，可是真正用好它需要学习大量的第三方库插件。比如matplotlib库，是一个仿照matalab的强大的绘图库，用它可以将爬下来的数据画出饼图、折线图、散点图等等，甚至是3D图来直观的展示。

Python第三方库的安装可以手动安装，但是更为简便的是在命令行直接输入一行代码即可自动搜索资源并安装。而且非常智能，可以识别自己电脑的类型找到最合适的版本。

Pip install +你所需要的第三方库

或者是easy install +你所需要的第三方库

这里建议大家使用pip安装，因为pip可以安装也可以卸载，而另一种方法只能安装。如果遇到你想使用新的版本的第三方库，使用pip的优势就会显现出来。

第一部分：交互界面设计

工作台数据.png

思路是这样的。

先编写一个函数download（）获取url，接着编写一个函数parse_descrtion（）解析从

url中获取的html，最后结巴分词。

def download(url): #通过给定的url爬出数据

if url is None:

return None

try:

response = requests.get(url, headers={‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36’, })

if (response.status_code == 200):

return response.content

return None

except:

return None

def parse_descrtion(html):

if html is None:

return None

soup = BeautifulSoup(html, “html.parser”) #html字符串创建BeautifulSoup

links = soup.find_all(‘a’, href=re.compile(r’/forezp/article/details’))

for link in links:

titles.add(link.get_text())

def jiebaSet():

strs=”

if titles.__len__()==0:

return

for item in titles:

strs=strs+item;

tags = jieba.analyse.extract_tags(strs, topK=100, withWeight=True)

for item in tags:

print(item[0] + ‘ ‘ + str(int(item[1] * 1000)))

第一个函数没什么好说的。

第二个函数用到了beautifulsoup，通过对 页的分析，从而寻找所有的满足条件为

href=re.compile(r’/forezp/article/details’)的a标签里的内容。

第三个函数就是结巴分词。接下来对结巴分词作简单的介绍。

支持三种分词模式。

精确模式：试图将句子最精确地切开，适合文本分析。

全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。

搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

举个例子，结巴分词“我来到北京清华大学”这句话。

【全模式】:我/来到/北京/清华/清华大学/华大/大学

【精确模式】:我/来到/北京/清华大学

第三部分：连接mongoDB数据库

client = pymongo.MongoClient(“localhost”, 27017)

这句是使用给定主机位置和端口。pymongo的Connection()方法不建议使用，官方推荐新方法MongoClient()。

db = client[‘local’]

这句是将创建好mongoDB后默认存在的两个数据库中的其中一个“local”赋给db，这样

db在以后的程序里就代表数据库local。

posts = db.pymongo_test

post_id = posts.insert(data)

将local里默认的一个集合“pymongo_test”赋值给posts，并且用insert方法单个插入数据。最后回到结巴分词里的一个循环程序里，将数据依次插入。

以上是有关连接数据库的核心代码，接下来介绍如何启动mongoDB数据库。（我一开始编程怎么都连接不上，后来发现是数据库自身没有启动，唉，编程里发生的傻逼事情实在是太多了。）

微软徽标+R，输入cmd，找“mongodb”的路径，然后运行mongod开启命令，同时用–dbpath指定数据存放地点为“db”文件夹。

云图效果

另一个就是使用matplotlib第三方库绘图更直观更系统的表现数据。第一个工具很简单，大家进入 站就会使用，现在主要介绍第二种工具的使用。

先介绍饼图的使用。

plt.figure(figsize=(6,9)) #调节图形大小，宽，高

labels = [u’springboot’,u’Cloud’,u’spring’] #定义饼状图的标签，标签是列表

sizes = [47.2,30.5,22.3,]#每个标签占多大，会自动去算百分比

colors = [‘red’,’yellowgreen’,’lightskyblue’]

explode = (0.05,0,0)#将某部分爆炸出来， 使用括 ，将第一块分割出来，数值的大小是分割出来的与其他两块的间隙

patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,

labeldistance = 1.1,autopct = ‘%3.1f%%’,shadow = startangle = 90,pctdistance = 0.6)#labeldistance，文本的位置离远点有多远，1.1指1.1倍半径的位置

#autopct，圆里面的文本格式，%3.1f%%表示小数有三位，整数有一位的浮点数

#shadow，饼是否有阴影

#startangle，起始角度，0，表示从0开始逆时针转，为第一块。一般选择从90度开始比较好看

#pctdistance，百分比的text离圆心的距离

#patches, l_texts, p_texts，为了得到饼图的返回值，p_texts饼图内部文本的，l_texts饼图外label的文本

#改变文本的大小

#方法是把每一个text遍历。调用set_size方法设置它的属性

for t in l_text:

t.set_size(15)

for t in p_text:

t.set_size(15)

#设置x，y轴刻度一致，这样饼图才能是圆的

plt.axis(‘equal’)

plt.legend()

plt.show()

条形图.png

总结

python给人的整体感觉就是代码简洁，功能强大。针对数据分析有其独特的功能和精确的分析能力。

我们学院软件工程一位大神去了今日头条，干的就是python工程师，本科就拿到了28W的年薪。

在目前的大数据时代，python语言的使用频率也在日渐上升，其用途也会越来越广。

还在等什么，赶紧学python去吧。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览211385 人正在系统学习中 相关资源：开源的爬虫软件Heritrix3.1.0_开源爬虫-Java工具类资源-CSDN文库