python爬虫软件安装不了_Python3爬虫相关软件，库的安装

Anaconda

百度搜Anaconda清华，根据环境选择版本下载

安装时记得勾选添加到环境变量，不要还要手动添加

Anaconda Navigator可视化界面，可以方便地调用Jupyter等工具。

MongoDB

官 下载地址 https://www.mongodb.com/download-centermp=nav#production

3.4版本需要如下配置，4.0不需要

在I:MongoDBServer3.4目录下建立datadb

在bin目录下，Shift+鼠标右键，打开PowerShell,输入

mongod –dbpath I:MongoDBServer3.4datadb

验证MongoDB启动成功，在浏览器输入

localhost:27017

启动MongoDB，打开新的cmd,输入

mongo

db

db.test.insert((‘a’:’b’))

将MongoDB作为服务，以管理员身份打开cmd,进入bin目录，在data目录下建立logsmongo.log,在cmd中输入

mongod –bind_ip 0.0.0.0 –logpathI:MongoDBServer3.4datalogsmongo.log –logappend –dbpath

I:MongoDBServer3.4datadb –port 27017 -serviceName “MongoDB” –serviceDisplayName “MongoDB” –install

Robomongo可视化界面

Redis

key-value数据库，用到的时候再安装

=====================================

库

—————————

查询请求库

urllib

python自带，无需安装

request

pip3 install requestimportrequest

requests.get(‘http://www.baidu.com’)

selenium

打开浏览器执行

先下载chromedriver，解压后包exe文件移动到已经配置了环境变量的目录下，如python/script,然后再执行下面的代码

pip3 install seleniumimport selenium

from selenium import webdriver

driver=webdriver.Chrome()

driver.get(“http:\www.baidu.com”)

driver.page_source \打印 页源码

phantomjs

后台静默运行，无需打开浏览器

下载地址http://phantomjs.org/download.html，解压后将bin目录添加到环境变量即可，无需安装，好像不更新了

可以用headless chrome/p>

lxml

pip3 install lxml

//另一种安装方式，先下载whl文件，再执行下面的命令

pip3 install whl文件名

beautifulsoup

依赖lxml库，pip安装即可,记得是beautifulsoup4,不要打错

pip3 install beautifulsoup4

python

from bs4 import BeautifulSoup

soup=BeautifulSoup(‘(html)(/html)’,’lxml’)

pyquery

注意html和/html外面是尖括 ，其余是圆括

pip3 install pyquery

pythonfrom pyquery import PyQuery as pq

doc=pq(‘hello’)//只有这行有尖括

result=doc(‘html’).text()

result

—————————————————

存储库

pymysql

注意创建表时要用圆括 。

pip3 install pymysql

pythonimportpymysql

conn=pymysql.connect(host=’localhost’,user=’root’,password=’yourpassword’,port=3306,db=’mysql’)

cursor = conn.cursor()

cursor.execute(‘select * form db’)　　　　返回数据大小

cursor.fetchone() 　　返回执行结果

执行到这儿的时候出错了，pymysql.err.OperationalError: (1045, “Access denied for user ‘root’@’localhost’ (using password: YES)”)

原因：不是pymysql出错，而是用户名密码的问题，不用密码可以进入mysql数据库，使用密码后反而不能(但我已经按照https://www.cnblogs.com/Pusteblume/p/10165287.html 重设密码了，还是不能登录)

解决方案：卸载重装，虽然不是一个好的方法，但至少解决了问题

pymongo

pip3 install pymongo

pythonimportpymongo

client= pymongo.MongoClient(‘localhost’)

db= client[‘newtestdb’]

db[‘table’].insert({‘name’:’Bob’})

db[‘table’].find_one({‘name’:’Bob’})

redis 分布式爬虫用，维护爬行队列，效率高

直接执行下面的代码会提示由于目标计算机积极拒绝，无法连接，要手动下载Windows版的redis， 址https://github.com/MicrosoftArchive/redis/releases，安装后执行redis-server.exe，启动界面闪了一下就可以了，具体教程如下https://blog.csdn.net/sinat_29957455/article/details/78567194，也有的教程说执行redis-cli.exe，不过我没试过。

pip3 install redis

pythonimportredis

r=redis.Redis(host=’localhost’,port=6379)

r.set(‘name’,’a’)

print(r.get(‘name’))

flask

pip3 install flask

django 和 站有关

pip3 install flask

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树 络爬虫urllib210493 人正在系统学习中 相关资源：陈式太极拳教学软件+注册机1-专业指导文档类资源-CSDN文库