Что такое поисковый робот? Какие бывают роботы поисковых систем? Быстробот и зеркальщик

Поисковый робот (паук, индексатор, робот, бот). Быстробот. ЗеркальщикПонятие «поисковый робот» (или краулер) — это специальная программа, которая является составной частью поисковых систем, предназначается для переборки страниц сети с целью занесения всей информации о сайтах в базу данных поисковиков. По принципу своей работы пауки напоминают обычные браузеры. Они анализируют содержимое страниц, сохраняют их в некотором специализированном виде на сервере поисковых машин и отправляются по ссылкам на последующие страницы.

Разработчики поисковых машин зачастую ограничивают глубину анализа паука внутрь всех сайтов и максимальное количество символов в сканируемом тексте, поэтому очень большие сайты могут не до конца быть проиндексированными поисковым роботом.

Кроме самых простых поисковых машин, существуют «дятлы» — роботы, они «простукивают» проиндексированные сайты, для определения его доступности. Робот — зеркальщик ищет повторяющиеся сайты. Быстроботы, обычно, проверяют часто обновляемые сайты. Поисковые алгоритмы, определяют очередность обхода страниц, частоту визитов, защиту от зацикливания, а еще критерий выделения важной информации.

Большинство поисковых систем (Яндекс, Google, Рамблер, Mail.Ru  и другие) предоставляют пользователям возможность самостоятельно добавлять сайт в очередность для индексирования. Часто, это помогает ускорять индексирование сайта, а в том случае, если нет внешних ссылок ведущих на сайт, вообще является единственной возможностью отметить его существование.