Приветствую читателей блога! Давно меня мучал этот вопрос, т.е. как проверить наличие всех страниц сайта в индексе поисковика, как проследить чтобы поисковик индексировал все страницы блога. Существует много различных инструментов, расширений для браузеров и сервисов. И собственно сервисы поисковых систем также предоставляют возможность посмотреть сколько страниц попало в индекс. Но количество проиндексированных страниц не всегда является правильным для вебмастера, т.к. поисковик может включать в общее количество и какие-то страницы меток или архивов, несмотря на запрет их в robots.

Массовая проверка индексации страниц блога в поисковиках

Лучшее бесплатное решение, которое недавно подсказал Михаил Шакин в своей новой статье Как проверить индексацию страницы — 4 удобных способа, это программа YCCY. Кроме различных возможностей по SEO анализу сайта данная программа предоставляет возможность проверить ссылки, т.е. страницы — находятся ли они в индексе поисковиков.

Для проверки ссылки достаточно ввести её в соответствующее поле «Список исходных URL«, выбрать поисковик, в котором проверяется ссылка и нажать «Начать проверку«. Для примера я выбрал Яндекс. Далее проверяемая ссылка попадёт в одно из трёх окон: Есть в Яндекс, Нет в Яндекс, не получилось проверить. На скриншоте ниже можно посмотреть как выглядит данная процедура.

YCCY

Теперь что касается массовой проверки индексации страниц блога. В этом нам поможет плагин для WordPress Google XML Sitemaps. Данный плагин генерирует XML карту сайта, которую обычно выводят на отдельную страницу блога с помощью плагина Dagon Design Sitemap Generator.

Не буду расписывать полезность данных плагинов, разве что скажу, что они очень нужны блогу для внутренней оптимизации и ускорения индексации.

XML Sitemap блога обычно можно найти по адресу имя сайта/sitemap.xml. Здесь находятся ссылки на все статьи и страницы блога. При этом XML карту можно настраивать на своё усмотрение, можно выводить отдельные категории, запрещать вывод архивов, страниц меток и т.д.

Теперь выделяем все ссылки и копируем их в Exel файл. При этом в файле нужно выделить четыре колонки, т.к. ссылки скопировались с тремя дополнительными параметрами. После этого уже можно скопировать из файла только ссылки и вставить их в форму «Список исходных URL» в программе YCCY. Далее выбираем поисковик и нажимаем «Начать проверку«. Таким образом можно массово проверить индексацию страниц блога.

С помощью программы можно массово проверить такие параметры, как:

  • Индексация сайта в Яндексе;
  • Индексация сайта в Google;
  • Индексация в Rambler;
  • Проверка ТИЦ и PR сайтов, массовая проверка PR внутренних страниц;
  • Количество ссылок по Yahoo;
  • Alexa Rank.

Кроме этого программа может помочь подобрать красивый домен для сайта или проверить Whois доменов.

Такую проверку необходимо делать хотя бы раз в месяц для того чтобы убедиться в полной индексации страниц блога. Например, если вы написали статью и через какое-то время про неё забыли, написали следующую и т.д. В итоге оказалось, что первая статья из примера не попала в индекс Яндекса по причине того, что её украли и проиндексировали первее. Так вот чтобы узнать есть ли такие страницы на блоге, необходимо использовать массовую проверку индексации.

Если вы знаете другие подобные сервисы, то буду очень признателен за информацию 🙂