Роботы Яндекса
Яндекс использует несколько видов роботов с разными функциями. Идентифицировать их можно по строке User-agent:
- Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
- Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
- Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
- Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
- Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
- YandexBlog/0.99.101 (compatible; DOS3.30; B) – робот, индексирующий xml-файлы для поиска по блогам.
- YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
Кроме того, в Яндексе работает несколько «простукивалок», которые проверяют доступность документов:
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка»Яндекс.Каталога. Если сайт недоступен в течение нескольких дней,он снимается с публикации. Как только сайт начинает отвечать,он автоматически появляется в Каталоге.
- Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка»Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
- Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка»Яндекс.Директа. Она проверяет корректность ссылок из объявлений передмодерацией. Никаких автоматических действий не предпринимается.
http://fogmaker.net/yandex-bots.html
Существует еще один робот Яндекса:
“Yandex/1.02.000 (compatible; Win16; F)”
он индексирует файлы favicon.ico (пиктограммы сайтов, которые отображаются в закладках или адресной строке, к тому же Яндекс показывает их слева от названия сайта в своей выдаче)
обращения к серверу:
“GET / HTTP/1.0″ 200 12537 “-” “Yandex/1.02.000 (compatible; Win16; F)”
“GET /favicon.ico HTTP/1.0″ 200 2539 “-” “Yandex/1.02.000 (compatible; Win16; F)”
Спасибо :)