管理爬网程序影响 (Office SharePoint Server 2007)

内容爬网可能会给被爬网服务器带来很重的负担,从而对服务器用户的响应时间产生负面影响。因此,建议使用爬网程序影响规则指定爬网程序的执行力度。搜索服务管理员可以使用爬网程序影响规则指定以下项之一,来管理爬网程序对被爬网网站的影响:

  • 爬网程序每次可从指定网站请求的最大文档数。

  • 爬网程序可从指定网站请求任一特定文档的频率。

为了对组织中的内部内容进行爬网,您可以根据被爬网服务器的性能和容量来设置爬网程序影响规则。例如,您可以尝试避免在负载高峰期对内部服务器进行爬网。但是,要对外部网站进行爬网,这种协调通常不可行。因此,最好将爬网请求配置为尽量少占用外部网站资源和带宽,这样,外部网站管理员就不太可能限制您将来要进行的访问。

在初始部署过程中,请设置爬网程序影响规则,以便在为确保获得较新结果而对服务器进行频繁爬网时,尽量减少对被爬网服务器的影响。在以后的操作过程中,可以根据经验以及爬网日志中的数据来调整爬网程序影响规则。

要管理一个爬网程序影响规则,可以执行以下步骤: