Freigeben über


Der SharePoint Server-Crawler ignoriert Anweisungen in Robots.txt

Ursprüngliche KB-Nummer: 3019711

Problembeschreibung

Stellen Sie sich folgendes Szenario vor:

  • Sie verwenden die Suchmaschine Microsoft SharePoint Server 2013 oder SharePoint Server 2010, um verschiedene Websites zu durchforsten.

  • Für diese Websites möchten Sie Direktiven in der Robots.txt-Datei verwenden, um die Pfade zu definieren, die die Suchmaschine durchforsten kann.

  • Sie legen die folgende Direktive für den Standardbenutzer-Agent des Crawlers fest:

    User-Agent: Mozilla/4.0 (kompatibel; MSIE 4.01; Windows NT; MS Search 6.0 Robot)

In diesem Szenario wendet der SharePoint Server-Crawler die Direktive nicht an.

Ursache

Dieses Problem tritt auf, weil das SharePoint Server-Durchforstungsmodul seinen Standardbenutzer-Agent in der -Anweisung nicht erkennt.

Lösung

Verwenden Sie die folgende Direktive in der Robots.txt-Datei, um dieses Problem zu beheben:

User-Agent: MS Search 6.0 Robot