复杂HTML解析
一，三思而后行
面对页面解析的时候，不假思索的直接写几行语句来抽取信息是非常直接的做饭，但是像这样鲁莽放纵的做法是非常不可取的，只会让程序变得难以调试和脆弱。
那我们应该怎么做呢/p>
- 寻找打印此页的链接，或者看看 站有没有HTML样式更友好的移动版。
- 寻找隐藏在JavaScript文件里的信息
- 如果你要的信息只存在这一个 站，别处没有，那你运气不佳，若不是可以考虑去其他容易解析 站获取数据
二，BeautifulSoup
2.1，安装BeautifulSoup
2.2，初见BeautifulSoup
BeautifulSoup库最常用的对象恰好是BeautifulSoup对象
结果：
属性参数attrs是用一个字典封装一个标签的若干属性和对应的属性值
结果如下：
文本参数text有点不同，它使用标签的文本内容去匹配。
范围限制参数limit，其实find等价于findAll的limit等于1的情形，爬取 页前几个数据。
关键字参数kwargs，可以让你选择那些具有指定属性的标签。
2.4，其他BeautifulSoup对象
- BeautifulSoup对象
- 标签对象
- NavigableString对象，用来表示标签里的文字，不是标签
- Comment对象，用来查找HTML文档的注释标签
2.5，导航树
若想通过标签在文档中的位置来查找标签，我们就可以用导航树。
bsObj.tag.subTag.anotherSubTag
1,子标签和后代标签处理
子标签就是父标签的下一级，后代标签是父标签下面所有级别的标签。
此外还有函数children()和descendants()
2,兄弟标签处理
会打印表格所有行，除了第一行的标题。
previous_siblings选择当前行所有上面兄弟标签
next_sibling和previous_sibling返回单个标签
3,父标签处理（用的不多）
parent:返回父标签
parents:返回所有父标签
三，正则表达式
-
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。
Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。
re 模块使 Python 语言拥有全部的正则表达式功能。
compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。
re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。
正则表达式模式
模式字符串使用特殊的语法来表示一个正则表达式：
字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符 只有被转义时才匹配自身，否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。
由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r’t’，等价于 ‘t’)匹配相应的特殊字符。
下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。
模式
描述
^ 匹配字符串的开头 $ 匹配字符串的末尾。 . 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 […] 用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’ [^…] 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。 re* 匹配0个或多个的表达式。 re+ 匹配1个或多个的表达式。 re/td> 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 re{ n} 精确匹配 n 个前面表达式。例如， o{2} 不能匹配 “Bob” 中的 “o”，但是能匹配 “food” 中的两个 o。 re{ n,} 匹配 n 个前面表达式。例如， o{2,} 不能匹配”Bob”中的”o”，但能匹配 “foooood”中的所有 o。“o{1,}” 等价于 “o+”。“o{0,}” 则等价于 “o*”。 re{ n, m} 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式 a| b 匹配a或b (re) 匹配括 内的表达式，也表示一个组 (mx) 正则表达式包含三种可选标志：i, m, 或 x 。只影响括 中的区域。 (imx) 正则表达式关闭 i, m, 或 x 可选标志。只影响括 中的区域。 ( re) 类似 (…), 但是不表示一个组 (mx: re) 在括 中使用i, m, 或 x 可选标志 (imx: re) 在括 中不使用i, m, 或 x 可选标志 (…) 注释. ( re) 前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。 ( re) 前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功 ( re) 匹配的独立模式，省去回溯。 w 匹配字母数字及下划线 W 匹配非字母数字及下划线 s 匹配任意空白字符，等价于 [tnrf]. S 匹配任意非空字符 d 匹配任意数字，等价于 [0-9]. D 匹配任意非数字 A 匹配字符串开始 Z 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。 z 匹配字符串结束 G 匹配最后匹配完成的位置。 b 匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘erb’ 可以匹配”never” 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。 B 匹配非单词边界。‘erB’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。 n, t, 等. 匹配一个换行符。匹配一个制表符。等 1…9 匹配第n个分组的内容。 10 匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。 正则表达式实例
字符匹配
实例
描述
python 匹配 “python”. 字符类
实例
描述
[Pp]ython 匹配 “Python” 或 “python” rub[ye] 匹配 “ruby” 或 “rube” [aeiou] 匹配中括 内的任意一个字母 [0-9] 匹配任何数字。类似于 [0123456789] [a-z] 匹配任何小写字母 [A-Z] 匹配任何大写字母 [a-zA-Z0-9] 匹配任何字母及数字 [^aeiou] 除了aeiou字母以外的所有字符 [^0-9] 匹配除了数字外的字符 特殊字符类
实例
描述
. 匹配除 “n” 之外的任何单个字符。要匹配包括 ‘n’ 在内的任何字符，请使用象 ‘[.n]’ 的模式。 d 匹配一个数字字符。等价于 [0-9]。 D 匹配一个非数字字符。等价于 [^0-9]。 s 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ fnrtv]。 S 匹配任何非空白字符。等价于 [^ fnrtv]。 w 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。 W 匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。 re模块
1.Re模块简介
re模块是python中处理正则表达式的一个模块，通过re模块的方法，把正则表达式pattern编译成正则对象，以便使用正则对象的方法
效率问题：
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:02# @Author : Feng Xiaoqing# @File : test.py# @Function: ———–import reimport timeit
print(timeit.timeit(setup=’’‘import re; reg = re.compile(’.*(=tagname)>’)’’’, stmt=’’‘reg.match(‘
xxx
’)’’’, number=1000000))
print(timeit.timeit(setup=’’‘import re’’’, stmt=’’‘re.match(’.*(=tagname)>’, ‘
xxx
’)’’’, number=1000000))
reg = re.compile(’.*(=tagname)>’)
reg.match(‘
xxx
’)
执行结果：
0.42296138327572711.0246964437151256
常用方法：先申明一个正则对象，在通过正则对象去匹配。这样的效率高。
1 re.compile(pattern[, flags])方法
re.I(re.IGNORECASE): 忽略大小写（括 内是完整写法，下同）
M(MULTILINE): 多行模式，改变’^‘和’$’的行为
S(DOTALL): 点任意匹配模式，改变’.’的行为
L(LOCALE): 使预定字符类 w W b B s S 取决于当前区域设定
U(UNICODE): 使预定字符类 w W b B s S d D 取决于unicode定义的字符属性
X(VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。以下两个正则表达式是等价的：
compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。
语法格式为：
re.compile(pattern[, flags])
参数：
- pattern : 一个字符串形式的正则表达式
- flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：
- re.I 忽略大小写
- re.L 表示特殊字符集 w, W, b, B, s, S 依赖于当前环境
- re.M 多行模式
- re.S 即为 . 并且包括换行符在内的任意字符（. 不包括换行符）
- re.U 表示特殊字符集 w, W, b, B, d, D, s, S 依赖于 Unicode 字符属性数据库
- re.X 为了增加可读性，忽略空格和 # 后面的注释
实例
>>>import re>>> pattern = re.compile(r’d+’) # 用于匹配至少一个数字>>> m = pattern.match(‘one12twothree34four’) # 查找头部，没有匹配>>> print mNone>>> m = pattern.match(‘one12twothree34four’, 2, 10) # 从’e’的位置开始匹配，没有匹配>>> printmNone>>> m = pattern.match(‘one12twothree34four’, 3, 10) # 从’1’的位置开始匹配，正好匹配>>> print m # 返回一个 Match 对象<_sre.sre_match object at>>>> m.group(0) # 可省略 0’12’>>> m.start(0) # 可省略 03>>> m.end(0) # 可省略 05>>> m.span(0) # 可省略 0(3, 5)
在上面，当匹配成功时返回一个 Match 对象，其中：
- group([group1, …]) 方法用于获得一个或多个分组匹配的字符串，当要获得整个匹配的子串时，可直接使用 group()或 group(0)；
- start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；
- end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；
- span([group]) 方法返回 (start(group), end(group))。
再看看一个例子：
实例
>>>import re>>> pattern = re.compile(r’([a-z]+) ([a-z]+)’, re.I) # re.I 表示忽略大小写>>> m = pattern.match(‘Hello World Wide Web’)>>> print m # 匹配成功，返回一个 Match 对象<_sre.sre_match object at>>>> m.group(0) # 返回匹配成功的整个子串’Hello World’>>> m.span(0) # 返回匹配成功的整个子串的索引(0, 11)>>> m.group(1) # 返回第一个分组匹配成功的子串’Hello’>>> m.span(1) # 返回第一个分组匹配成功的子串的索引(0, 5)>>> m.group(2) # 返回第二个分组匹配成功的子串’World’>>> m.span(2) # 返回第二个分组匹配成功的子串(6, 11)>>> m.groups() # 等价于 (m.group(1), m.group(2), …)(‘Hello’, ‘World’)>>> m.group(3) # 不存在第三个分组Traceback (most recent call last):
File “”, line 1, in IndexError: no such group
2.findall方法
在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
注意： match 和 search 是匹配一次 findall 匹配所有。
语法格式为：
findall(string[, pos[, endpos]])
参数：
- string : 待匹配的字符串。
- pos : 可选参数，指定字符串的起始位置，默认为 0。
- endpos : 可选参数，指定字符串的结束位置，默认为字符串的长度。
查找字符串中的所有数字：
实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
pattern = re.compile(r’d+’) # 查找数字result1 = pattern.findall(‘runoob 123 google 456’)
result2 = pattern.findall(‘run88oob123google456’, 0, 10)
print(result1)
print(result2)
输出结果：
[‘123’, ‘456’]
[‘88’, ‘12’]
Re模块的方法：
(1)re.match函数
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。
函数语法：
re.match(pattern, string, flags=0)
函数参数说明：
参数
描述
pattern 匹配的正则表达式 string 要匹配的字符串。 flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见：正则表达式修饰符 – 可选标志 匹配成功re.match方法返回一个匹配的对象，否则返回None。
我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。
匹配对象方法
描述
group(num=0) 匹配的整个表达式的字符串，group() 可以一次输入多个组 ，在这种情况下它将返回一个包含那些组所对应值的元组。 groups() 返回一个包含所有小组字符串的元组，从 1 到 所含的小组 。 实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
pattern = re.compile(r’d+’) # 查找数字result1 = pattern.findall(‘runoob 123 google 456’)
result2 = pattern.findall(‘run88oob123google456’, 0, 10)
print(result1)
print(result2)
以上实例运行输出结果为：
(0, 3)
None
实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:55# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
line = “Cats are smarter than dogs”
matchObj = re.match( r’(.) are (. .*’, line, re.M|re.I)
if matchObj: print “matchObj.group() : “, matchObj.group() print “matchObj.group(1) : “, matchObj.group(1) print “matchObj.group(2) : “, matchObj.group(2)else: print “No match!!”
以上实例执行结果如下：
matchObj.group() : Cats are smarter than dogsmatchObj.group(1) : CatsmatchObj.group(2) : smarter
(2)re.search方法
re.search 扫描整个字符串并返回第一个成功的匹配。
函数语法：
re.search(pattern, string, flags=0)
函数参数说明：
参数
描述
pattern 匹配的正则表达式 string 要匹配的字符串。 flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。 匹配成功re.search方法返回一个匹配的对象，否则返回None。
我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。
匹配对象方法
描述
group(num=0) 匹配的整个表达式的字符串，group() 可以一次输入多个组 ，在这种情况下它将返回一个包含那些组所对应值的元组。 groups() 返回一个包含所有小组字符串的元组，从 1 到 所含的小组 。 实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
print(re.search(‘www’, ‘www.runoob.com’).span()) # 在起始位置匹配print(re.search(‘com’, ‘www.runoob.com’).span()) # 不在起始位置匹配
以上实例运行输出结果为：
(0, 3)
(11, 14)
实例
#!/usr/bin/pythonimport re
line = “Cats are smarter than dogs”;
searchObj = re.serch( r’(.) are (. .*’, line, re.M|re.I)
if searchObj: print “searchObj.group() : “, searchObj.group() print “searchObj.group(1) : “, searchObj.group(1) print “searchObj.group(2) : “, searchObj.group(2)else: print “Nothing found!!”
以上实例执行结果如下：
searchObj.group() : Cats are smarter than dogssearchObj.group(1) : CatssearchObj.group(2) : smarter
re.match与re.search的区别
re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。
实例
#!/usr/bin/pythonimport re
line = “Cats are smarter than dogs”;
matchObj = re.match( r’dogs’, line, re.M|re.I)if matchObj: print “match –> matchObj.group() : “, matchObj.group()else: print “No match!!”
matchObj = re.search( r’dogs’, line, re.M|re.I)if matchObj: print “search –> matchObj.group() : “, matchObj.group()else: print “No match!!”
以上实例运行结果如下：
No match!!
search –> matchObj.group() : dogs
Match从开头开始匹配，匹配不到，返回空
Search从开头开始匹配，然后第第二个开始匹配，只匹配一个结果。
Match的效率是最高的，就要求我们正则表达式要写正确
（3）Split方法
re.split
split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：
re.split(pattern, string[, maxsplit=0, flags=0])
参数：
参数
描述
pattern 匹配的正则表达式 string 要匹配的字符串。 maxsplit 分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。 flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见：正则表达式修饰符 – 可选标志 实例
>>>import re
>>> re.split(’W+’, ‘runoob, runoob, runoob.’) [‘runoob’, ‘runoob’, ‘runoob’, ‘’]
>>> re.split(’(W+)’, ’ runoob, runoob, runoob.’) [’’, ’ ‘, ‘runoob’, ‘, ‘, ‘runoob’, ‘, ‘, ‘runoob’, ‘.’, ‘’] >>> re.split(’W+’, ’ runoob, runoob, runoob.’, 1) [’’, ‘runoob, runoob, runoob.’]
>>> re.split(‘a*’, ‘hello world’) # 对于一个找不到匹配的字符串而言，split 不会对其作出分割 [‘hello world’]
split(string[, maxsplit])
按照能够匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将全部分割。
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
p = re.compile(r’d+’)
print(p.split(‘one1two2three3four4’))
结果：
[‘one’, ‘two’, ‘three’, ‘four’, ‘’]
(4)sub检索和替换
Python 的 re 模块提供了re.sub用于替换字符串中的匹配项。
语法：
re.sub(pattern, repl, string, count=0, flags=0)
参数：
- pattern : 正则中的模式字符串。
- repl : 替换的字符串，也可为一个函数。
- string : 要被查找替换的原始字符串。
- count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:33# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–
import re
phone = “2004-959-559 # 这是一个国外电话 码”
# 删除字符串中的 Python注释 num = re.sub(r’#.*$’, “”, phone)print “电话 码是: “, num
# 删除非数字(-)的字符串 num = re.sub(r’D’, “”, phone)print “电话 码是 : “, num
以上实例执行结果如下：
电话 码是: 2004-959-559
电话 码是 : 2004959559
repl 参数是一个函数
以下实例中将字符串中的匹配的数字乘以 2：
实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
pattern = re.compile(r’d+’) # 查找数字result1 = pattern.findall(‘runoob 123 google 456’)
result2 = pattern.findall(‘run88oob123google456’, 0, 10)
print(result1)
print(result2)
执行输出结果为：
A46G8HFD1134
（5）findall方法
在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
注意： match 和 search 是匹配一次 findall 匹配所有。
语法格式为：
findall(string[, pos[, endpos]])
参数：
- string : 待匹配的字符串。
- pos : 可选参数，指定字符串的起始位置，默认为 0。
- endpos : 可选参数，指定字符串的结束位置，默认为字符串的长度。
查找字符串中的所有数字：
实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–
import re
pattern = re.compile(r’d+’) # 查找数字result1 = pattern.findall(‘runoob 123 google 456’)
result2 = pattern.findall(‘run88oob123google456’, 0, 10)
print(result1)
print(result2)
输出结果：
[‘123’, ‘456’]
[‘88’, ‘12’]
（6）finditer方法
和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。
re.finditer(pattern, string, flags=0)
参数：
参数
描述
pattern 匹配的正则表达式 string 要匹配的字符串。 flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见：正则表达式修饰符 – 可选标志 实例
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 22:15# @Author : Feng Xiaoqing# @File : test2.py# @Function: ———–import re
it = re.finditer(r”d+”,“12a32bc43jf3”)
for match in it:
? print (match.group() )
输出结果：
group()
group(0) group(1) group(“tagname”)
gourps()
groupdict()
findall
import re
p = re.compile(r’d+’)
print(findall(‘one1two2three3four4’))
结果：
[‘1’, ‘2’, ‘3’, ‘4’]
finditer
sub
Split d+
‘one1two2three3four4’
#!/usr/bin/env python# –– coding: utf-8 –-# @Time : 2018/4/29 20:24# @Author : fengxiaoqing# @File : test.py’’‘
xxx
查看不同匹配规则的效率’’‘import reimporttimeit# print(timeit.timeit(setup=’’‘import re; reg = re.compile(’.(=tagname)>’)’’’, stmt=’’‘reg.match(‘
xxx
’)’’’, number=1000000))# print(timeit.timeit(setup=’’‘import re’’’, stmt=’’‘re.match(’.(=tagname)>’, ‘
xxx
’)’’’, number=1000000))s = “ab
xxx
dsafasdfsdfads”reg = re.compile(r”((.)(=tag)>)”)
print(reg.match(s))
print(reg.search(s).group(3))
print(reg.findall(s))# print(reg.findall(s)[1])# print(reg.findall(s)[2])# reg.split(s)# reg.findall(s)# reg.groups(s)x = ‘1one2two3three4four’reg1 = re.compile(“d”)
print(reg1.findall(x))
print(reg1.split(x))
四，正则表达式和BeautifulSoup
如果我们想匹配页面所有图片链接，可以这样做：
让你的目标元素查找工作极具灵活性。
五，获取属性
对于一个标签，我们可以获取它的全部属性，也可以获取单个属性
六，Lambda表达式
就是把函数作为参数
选择标签属性个数为2 的所有标签。
开始采集
一，遍历单个域名
“维基百科六度分隔理论”是把两个不相干的主题用一个总数不超过六条的主题连接起来，接下来我们将实现这一理论的查找方法。可惜的是，国内不能访问啊，那我们尝试用百度百科吧。
也就是说，比如张云雷和郭德纲是师徒关系，郭德纲和岳云鹏也是师徒关系，这样我们要从张云雷词条页面通过最少的点击链接，找到岳云鹏的词条页面
首先我们爬取张云雷词条页面：
import urllib.request as urfrom bs4 import BeautifulSouphtml = ur.urlopen("https://baike.baidu.com/item/%E5%BC%A0%E4%BA%91%E9%9B%B7/17149")bsObj = BeautifulSoup(html,"html.parser"声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！