管理爬网程序影响 (Search Server 2008)
更新时间: 2008年9月
应用到: Microsoft Search Server 2008
上一次修改主题: 2008-09-05
提示
除非另有说明,否则本文中的信息对 Microsoft Search Server 2008 和 Microsoft Search Server 2008 Express 均适用。
内容爬网可能会给被爬网服务器带来很重的负担,从而对服务器用户的响应时间产生负面影响。因此,建议使用爬网程序影响规则指定爬网程序的执行力度。搜索服务管理员可以使用爬网程序影响规则指定以下项之一,来管理爬网程序对被爬网网站的影响:
爬网程序每次可从指定网站中请求的最大文档数。
爬网程序可从指定网站中请求任一特定文档的频率。
为了对组织中的内部内容进行爬网,可以根据爬网服务器的性能和容量来设置爬网程序影响规则。例如,您可能会尝试避免在负荷高峰期对内部服务器进行爬网。但是,为了对外部网站进行爬网,这种协调通常不可行。因此,最好是将爬网请求配置为尽量少占用外部网站资源和带宽,这样外部网站管理员可能就不会对您将来的访问进行限制。
在初始部署过程中,请设置爬网程序影响规则,以便在为确保获得较新结果而对服务器进行频繁爬网时,尽量减少对被爬网服务器的影响。在以后的操作过程中,可以根据经验以及爬网日志中的数据来调整爬网程序影响规则。
另请参阅
概念
添加爬网程序影响规则 (Search Server 2008)
编辑爬网程序影响规则 (Search Server 2008)