Использование анализа сайтов для обхода веб-сайта

Руслан Якушев

Анализ сайтов IIS — это средство в наборе средств оптимизации поисковых систем IIS, которое можно использовать для анализа веб-сайтов с целью оптимизации контента, структуры и URL-адресов сайта для поисковых систем-обходчиков. Кроме того, с помощью этого средства можно обнаруживать и устранять распространенные проблемы в содержимом сайта, которые негативно влияют на взаимодействие с пользователем сайта. Средство анализа сайтов IIS включает веб-обходчик, который сканирует все общедоступные ссылки и ресурсы сайта и скачивает содержимое, которое будет использоваться для анализа сайта.

Обход контента веб-сайта

Первым шагом при анализе веб-сайта является обход всех ресурсов и URL-адресов, общедоступных сайтом. Это то, что делает средство анализа сайтов IIS при создании нового анализа сайта. Чтобы средство анализа сайтов IIS сканировали веб-сайт и собирали данные для анализа, выполните следующие действия.

1. Запустите средство SEO, перейдя в раздел Запуск > программных файлов > IIS 7.0 Extensions (Расширения IIS 7.0) и щелкните значок Средства оптимизации поисковой системы (SEO).

2. Выберите узел сервера в области Подключения . Страница MAIN SEO откроется автоматически.

3. Щелкните ссылку на задачу "Создать анализ" в разделе Анализ сайта .
   

4. В диалоговом окне Новый анализ введите имя, которое будет однозначно идентифицировать отчет по анализу. Кроме того, введите URL-адрес, с которого должен начинаться обходчик.
   
   Обратите внимание, что так как узел сервера выбран в области Подключения (мы не выбрали конкретный веб-сайт на сервере), можно выполнить обход любого веб-сайта, который является общедоступным в Интернете. Дополнительные сведения о диалоговом окне "Новый анализ" см. в разделе "Параметры веб-обходчика ".

5. После указания всех параметров нажмите кнопку ОК , чтобы начать анализ:
   
   В ходе анализа отображаются два числа:

   • Обработанные ссылки — это общее количество ссылок, которые были обходом и скачаны веб-обходчиком.
   • Total Links (Всего ссылок ) — это общее количество ссылок, найденных при обходе веб-сайта.

Примечание

, что веб-программа-обходчик всегда работает на клиентском компьютере. Если подключиться к удаленному серверу IIS и запустить новый анализ, программа-обходчик будет размещена в процессе диспетчера IIS (InetMgr.exe) на локальном компьютере, подключенном к удаленному серверу IIS. Все собранные данные и кэшированное веб-содержимое хранятся в локальной файловой системе клиента.

После обхода и анализа веб-сайта отобразится представление Сводка отчета об анализе сайта. Дополнительные сведения о том, как проанализировать сайт на предмет проблем с SEO и контентом, см. в статье "Использование отчетов анализа сайта".

Параметры веб-обходчика

Другие параметры, которые можно указать при запуске нового анализа:

• Максимальное количество ссылок . Этот параметр определяет, сколько уникальных ссылок будет обработано и загружено с веб-сайта во время обхода контента. Ссылка — это любой URL-адрес, используемый в разметке страницы, включая гиперссылки, ссылки на файлы изображений, CSS-файлы и файлы javascript. Увеличение этого числа приведет к увеличению размера файла отчетов и увеличению продолжительности процесса обхода контента.
• Максимальный размер скачивания на ссылку — этот параметр определяет, сколько килобайт содержимого будет загружено на ссылку. Увеличение этого числа приведет к увеличению размера кэшированного содержимого, хранящегося службой "Анализ сайта" в локальной файловой системе.
• Игнорировать атрибут nofollow . Атрибут nofollow и метатег nofollow используются для указания поисковых систем обходчикам не следовать определенным или всем гиперссылкам на странице. Это средство защиты от спама в комментариях блога. Если на страницах сайта используется этот атрибут, гиперссылки на этих страницах не будут обрабатываться и анализироваться во время анализа сайта. Обратите внимание, что ссылки на такие ресурсы, как изображения, css и файлы javascript, будут по-прежнему обрабатываться. Если необходимо проанализировать даже гиперссылки, использующие этот атрибут, используйте этот параметр, чтобы игнорировать атрибуты nofollow и метатеги.
• Игнорировать метатег noindex . Тег noindex используется, чтобы сообщить поисковым системам- обходчикам не индексировать содержимое страницы. Если на страницах вашего сайта используется этот метатег, то в содержимом этих страниц не будет выполняться поиск нарушений. Если необходимо проанализировать даже страницы, использующие этот атрибут, используйте этот параметр, чтобы игнорировать мета-тег noindex.
• Внешние ссылки . Этот раскрывающийся список можно использовать, если у веб-сайта есть вложенные домены или если требуется выполнить анализ в определенном каталоге на сайте. Этот параметр определяет, следует ли рассматривать вложенные домены и(или) подкаталоги как внешние или внутренние ссылки.

Кроме того, для веб-обходчика можно настроить следующие универсальные параметры, выбрав Изменить компонентыПараметры в области Действия:

• Максимальное число одновременных запросов . Этот параметр определяет количество одновременных запросов, которые будет выполнять веб-обходчик.
• Каталог отчетов — указывает каталог в локальной файловой системе, в котором хранятся все данные для обхода и кэшированное содержимое веб-сайта.

Блокировка веб-обходчика анализа сайтов IIS

Для всех HTTP-запросов, выполняемых веб-обходчиком анализа сайтов IIS, заголовок HTTP user-agent имеет значение:

"iisbot/1.0 (+http://www.iis.net/iisbot.html)"

Веб-обходчик анализа сайтов IIS полностью соответствует протоколу исключения роботов. Это означает, что можно использовать файл Robots.txt, чтобы предотвратить обход веб-сайта средством-обходчиком анализа сайтов IIS. Вы можете использовать его, чтобы запретить другим пользователям запускать анализ сайта IIS на ваших веб-сайтах.

Чтобы средство-обходчик анализа сайтов IIS не выполнял обход веб-сайта, добавьте следующие строки в конец файла Robots.txt, который находится в корневом каталоге сайта:

User-Agent: iisbot
Disallow: /

Итоги

Вы успешно настроили средство анализа сайтов IIS для обхода веб-сайта и сбора данных о его содержимом и структуре. Сведения о том, как анализировать собранные данные с помощью отчетов анализа сайта, см. в разделе Использование отчетов анализа сайта.