作为回应，全球内容交付、应用优化及云安全服务领域首屈一指的供应商阿卡迈技术公司（Akamai Technologies, Inc.，以下简称：Akamai）（NASDAQ：AKAM）今天宣布推出Akamai Bot Manager（Akamai爬虫管理器）。与仅能实现Web流量自动发现及拦截的传统爬虫检测或防御解决方案不同，Akamai Bot Manager旨在为在Web上开展业务的公司提供支持，使他们在处理爬虫时能够采用更新、更全面的策略。通过帮助用户更好地识别并了解哪些类型的爬虫流量进入他们的站点，以及提供超越简单拦截的多样化策略，Bot Manager能够帮助客户采取最恰当的措施，更好地控制爬虫流量对业务和IT产生的正面或负面影响。

几乎所有在线业务都可能受到各种类型的爬虫流量的影响。这可能包括抓取内容或价格信息的爬虫、用欺骗手段增加广告收入的自动“点击”爬虫、购买限量供应商品及服务而使合法客户无法正常购买的“交易”爬虫等。此外，有时爬虫活动可能会对业务产生有益的影响，但对站点性能的影响则不然。因此，企业机构需要一种新的方式，这种方式不仅要能够识别所遇到的爬虫活动类型，而且要能够提供多种超越简单拦截的、妥善应对不同类型爬虫流量的最有效的技术。业内首创的Akamai Bot Manager将首次赋予客户这种能力。

业界领先的互联网零售商、美国汽车零部件有限公司（U.S Auto Parts Network, Inc.）已经从Akamai Bot Manager中获益。该公司的IT总监William Avellan评价称：“从许多方面来看，当公司进行在线销售时，爬虫活动是一种‘经营成本’，直到现在，也没有一种好的方法来帮助我们深入了解爬虫流量，并在此基础上做出真正明智的决策。而有了Bot Manager，我们便获得了足够的信息，使得我们能够解决长久以来面对的所有爬虫问题，包括内容窃取、价格信息爬取。我们甚至能够识别托管这些爬虫的IP传输运营商。”

Akamai Bot Manager有别于其它解决方案的特性在于：

覆盖广泛的预定义爬虫特征码目录——凭借由全球最大的分布式计算平台之一所提供的前所未有的可见性，Akamai Bot Manager的爬虫特征码目录覆盖了15个合法的Web及商业服务类别，包含超过1300个预定义爬虫特征码，这使得快速识别常见爬虫流量变得更容易。

可定制的爬虫特征码和类别——Akamai Bot Manager使得公司能够轻松创建自定义爬虫特征码和类别，这能反映其站点上新增的特有爬虫对其业务和IT架构产生的影响。

实时检测未知爬虫——为帮助识别新的／之前未知的爬虫，Bot Manager提供了一套全面的实时检测方法，包括自动识别曾对其他Akamai客户进行Web剽窃的客户端。Akamai威胁研究团队随着爬虫环境的演变持续改进和更新Bot Manager的实时检测技术，从而为企业内部IT部门减少这方面的工作。

制定灵活的策略以应对多种爬虫——为帮助公司更好地管理不同类型的爬虫流量，Bot Manager允许客户对每个自定义或预定义类别使用独特的管理策略。这使得客户能够更灵活地根据其特有情况量身定制爬虫管理策略。

多样化策略和简单拦截——对于恶意爬虫，简单地拦截它们只是会提醒爬虫操作员保护措施已经部署到位，并触发爬虫演变以便更好地躲避检测。此外，简单的拦截处理可能影响能够给业务带来效益的合法爬虫，也会给业务性能带来不良影响，因此广泛拦截不是一个理想选择。通过提供各种管理技术，包括减慢或延迟爬虫流量、提供替换内容、重定向至备用源站或识别爬虫流量、允许客户独立采取措施等，Bot Manager旨在使客户能够缓解爬虫带来的负面影响而无需损害商业利益。

细致入微的可见性和深度报告——Bot Manager提供两个报告，旨在帮助企业机构更好地了解影响其站点的爬虫流量。“爬虫活动”报告提供对企业机构爬虫流量各种特征的高级视图，包括爬虫类别、检测方法和最频繁访问URL。客户也可查看这些因素是如何随时间的推移而变化。“爬虫分析”报告提供对企业机构爬虫流量的更细致深入的视图，帮助他们更好地了解其爬虫流量正在做什么、来自哪里，以及确定不同类型爬虫的正确管理策略。企业机构可以通过10个不同的维度来查看爬虫流量，以及通过信息过滤器来进一步深入了解特定领域、查看取样流量日志。

安全优化协助——使用Bot Manager的客户可以访问由Akamai安全专家提供的持续爬虫流量分析的关联服务。持续进行的客户爬虫流量分析、爬虫特征码和类别更新，以及爬虫管理策略推荐将使客户受益良多，且不会加重现有安全或IT人员的工作负担。

Akamai云安全解决方案高级副总裁兼总经理Stuart Scholly解释称：“Web上充斥着爬虫。目前，公司面临两个选择，要么拦截要么默默忍受。但是很遗憾，这两种选择都不理想。我们相信Bot Manager将改变这种局面。我们将给予客户能力和灵活性，使其可以根据业务目标，部署成功的爬虫管理策略。”