Akamai支招：如何区分并管理 络爬虫的“恶”与“善”

Forrester最新发布的 告指出，“为了应对这些最为复杂的爬虫程序，安全专业人员需要爬虫程序管理工具来对检测方法进行分层（比如针对用户行为的统计分析）、收集生物统计信息以检测异常以及不断更新信誉评分。”

“管理”善意爬虫和恶意爬虫

Akamai大中华区产品市场经理刘炅指出，互联 流量中有40%的流量是bot（机器爬虫或自动化软件）产生的，其中包括恶意爬虫和善意爬虫，前者是通过远程自动化的方式，经过互联 对目标的站点和 站进行攻击，以达到一些商业化的欺诈目的；后者指的是利用类似搜索引擎的软件做一些增加搜索流量的工作。

图：Akamai大中华区产品市场经理 刘炅

在刘炅看来，爬虫的攻击演进大概分为四个阶段，“从简单的IP、浏览器到模仿人的行为，爬虫现在已发展到第四个阶段，呈现分布式的攻击特点——即利用更多的僵尸 络发起攻击，伴随更多的拟人行为。”对此，Akamai开发出Bot Manager（爬虫管理器）解决方案，用于帮助企业管理和甄别爬虫流量。

就在三月，Akamai对Bot Manager进行了升级，此举更注重攻防能力的提升。具体而言，首先，新的产品更新提供了更多和更精准的爬虫检测方法。例如，POW（Proof of Work）挑战检测方法可以在防护设备或防护端对 页的请求端发出挑战，通过检测请求端的回应，可以精准地检测“幕后操作手”是爬虫还是真人。第二个特色是基于人工智能的评分机制，新的Bot Manager可以利用Akamai的云端数据和威胁情 对爬虫流量进行自动评分，并根据这些分值进行更细粒度的防护。第三，新的Bot Manager增加了很多场景的支持，尤其是对于跨域的场景支持。最后，新的Bot Manager可以和Akamai的mPulse产品（主要对于真实用户的检测）进行集成，进而对爬虫对 站性能产生的影响进行可视化展现。

重灾区行业及应对之策

图：Akamai中国区企业事业部总经理 何铭

“所以，只要与互联 相关的企业就一定要有爬虫防范意识，要随时随地去甄别这些爬虫，并及时拦截恶意爬虫流量。”对此何铭给出了自己的具体建议，“虽然很多企业都设有首席安全官职位，但爬虫管理需要企业的综合考量，而不是仅依靠某一个特定部门或职位。另外，管理爬虫要考虑一些深层次的影响，因为爬虫的攻击方式一直在变，企业需要一个很有经验的厂商来帮助制订应对策略。”

全球在家办公后 遭遇 络攻击的可能性增大

值得关注的是，随着全球范围内居家办公成为一种主流方式，办公地点的变化对于 络攻击和防护而言也产生了新的问题。

对此，何铭表示，“从 络环境的安全性来讲，企业办公场所通常比居家好。因此，员工居家办公对于那些平日就躲在暗处的攻击者，意味着更容易找到安全漏洞。另一方面，远程办公让企业对于突发事件的反应和处理不如以往及时，因此攻击者就更容易采取更恶劣的手段。所以，在当前情况下，企业更要加强安全防护。”

“原来企业的办公环境可能是一个内 ，而现在办公室就是互联 ，这是一个最大的变化。随着工作地点的分散，企业的业务系统便暴露在互联 之上。这样就会衍生出更多基于恶意爬虫的攻击方法，企业需要让安全管理人员乃至所有员工重视自身的 络安全。”刘炅进一步补充道，“就Akamai来讲，我们会针对各个企业安排相对应的服务团队进行7×24小时的值守，同时应用各种先进技术全方位保护企业免遭攻击。”