次の方法で共有


SharePoint Server クローラーは、Robots.txt 内のディレクティブを無視します

元の KB 番号: 3019711

現象

次のような状況で問題が発生します。

  • Microsoft SharePoint Server 2013 または SharePoint Server 2010 検索エンジンを使用して、さまざまなサイトをクロールします。

  • これらのサイトでは、Robots.txt ファイルのディレクティブを使用して、検索エンジンがクロールできるパスを定義する必要があります。

  • クローラーの既定のユーザー エージェントに対して次のディレクティブを設定します。

    User-Agent: Mozilla/4.0 (互換性あり;MSIE 4.01;Windows NT。MS Search 6.0 ロボット)

このシナリオでは、SharePoint Server クローラーは ディレクティブを適用しません。

原因

この問題は、SharePoint Server クロール エンジンがディレクティブで既定のユーザー エージェントを認識しないために発生します。

解決方法

この問題を解決するには、Robots.txt ファイルで次のディレクティブを使用します。

ユーザー エージェント: MS Search 6.0 Robot