Поделиться через


Обходчик SharePoint Server игнорирует директивы в Robots.txt

Исходный номер базы знаний: 3019711

Симптомы

Рассмотрим следующий сценарий.

  • Для обхода различных сайтов используется поисковая система Microsoft SharePoint Server 2013 или SharePoint Server 2010.

  • Для этих сайтов необходимо использовать директивы в файле Robots.txt, чтобы определить пути, которые может сканировать поисковая система.

  • Для агента пользователя по умолчанию для обходчика задается следующая директива:

    User-Agent: Mozilla/4.0 (совместимо; MSIE 4.01; Windows NT; Робот MS Search 6.0)

В этом сценарии программа-обходчик SharePoint Server не применяет директиву .

Причина

Эта проблема возникает из-за того, что обработчик обхода контента SharePoint Server не распознает свой агент пользователя по умолчанию в директиве .

Разрешение

Чтобы устранить эту проблему, используйте следующую директиву в файле Robots.txt:

User-Agent: РОБОТ MS Search 6.0