爬虫工具的信息挖掘

搜索引擎是一个爬虫机器人，不停的在爬世界所有 站，有可能在爬的过程中，就把你重要的文档给爬出来了，尽管你没有对外公布该文档。

所以在做渗透测试的时候，就可以通过搜索引擎对测试目标做一个搜索。现在，对测试目标做一个搜索引擎hacking的行为，已经成为了一门科学。

谷歌有谷歌hacking 百度有百度hacking 必应有必应hacking 都是专门做搜索用的。有时候一个搜索引擎，就能给出对方的CMS或者其他软件结构。比如已开源漏洞，就能用搜索引擎直接拿下目标控制权。

作为渗透测试者要用的，就是利用搜索引擎获取目标信息，必要时应该学会利用各个搜索引擎的语法。

搜索引擎能搜到什么

1. 公司新闻动态

2. 重要员工信息

3. 机密文档

4. 用户名密码、邮箱

5. 目标系统软硬件技术架构。

以上都是能用搜索引擎搜索到的，尽管你并没有公开一些文档，但是只要放在互联 上就可能会被爬到。

接下来，介绍第一个。

shodan

shodan和我们国内的钟馗之眼是一种搜索引擎，他们区别于百度等引擎，他们只爬设备，只爬联 设备。

址为：

https://www.shodan.io/

Shodan，也有人把他叫撒旦，是和百度谷歌不一样的，谷歌百度爬的 页信息，而shodan爬的是互联 设备，也包括端口。

智能家电越来越多，能连上互联 就可能被shodan这种引擎爬到。

Shodan的语法

• Net

• Cify

• Country

• Post

• Os

• Hostname

• Server

如何利用shodan去搜索

直接在shodan搜索框里输入指定的目标，可以是IP地址或者域名。

比如gitchat.cn的域名，通过解析得出IP为：123.59.80.114

Shodan搜索IP的语法就是 net：123.59.80.114

但为了更好的演示效果，我搜索的是8.8.8.8

搜索结果如下图：

通过shodan得出，这个IP位于美国。 页状态码是404。

如果看详细信息，请点击他的IP。

可以看出他是属于谷歌，ports,也就是开放了多少端口，这里显示53.也就是开放了53端口。

上面可以看实际的物理地址，但我并不认识美国路标，就不做介绍了。

这是shodan的基础利用，但如果我想查8.8.8.8所在的C位。

语法就应该变为：net:8.8.8.0/24

gitchat的IP为;123.59.80.114,但并没有搜到其他的主机，所以我搜索的是 net：123.59.80.0/24 搜索这一个C段。结果如下：

从上图可以看出，shodan爬到的所有中国北京的IP地址

Shodan：Post参数

上面我们是搜索的中国北京的IP地址，那么post：22的功能就是筛选所有中国北京开放了22端口的地址。

正确的语法是：Country：CN city:beijing post:22

22是端口 ，根据实际的不同可以改为80等等。

搜索结果如下图所示：

文件搜索参数

语句为：filefype:PDF(doc等）

比如，baidu filefype:PDF

这是谷歌搜到的一个PDF文档，但并不是百度页面的。

具体内容需要自己设置关键词，进行组合。参考方法和shodan搜索一样。

谷歌语法使用：

http://exploit-db.com/google-dorks

详细文档，值得阅读。

其余搜索引擎

国内：百度

国外：Google 必应

国内空间搜索设备：钟馗之眼

http://www.zoomeye.org/

国外空间搜索设备：shodan

https://www.shodan.io/

毛子的搜索引擎， 称世界第四大:

https://www.yandex.com/

总结，搜索引擎行为多种，万变不离其宗。关键时刻还是得靠人为肉眼检索，还没人工智能到那个地步。

实录：《肖志华：信息收集中搜索引擎 Hacking实战解析》