Работа с файлом robots.txt для WordPress, правильная организация и использование. Поисковая оптимизация блога с помощью robots.txt.

robots.txtС целью поисковой оптимизации своего блога начал рыться в корне и вспомнил, что есть так называемый робот, который помогает при работе с поисковиками.

Robots.txt (правильно robots.txt) — файл настройки индексации блога WordPress, который говорит поисковику, какие каталоги, ссылки и страницы не нужно индексировать. Если такого файла нет, то индексируется и записывается в базу всё подряд с ресурса. Первый вопрос, который возникает: зачем это нужно? Чтобы ответить на него нужно обратиться к структуре блога. Каждый новый пост имеет свою рубрику/подрубрику и не одну, теги или метки (ярлыки). Т.е. одна статья имеет несколько одинаковых страниц, но с той лишь разницей, что к ней прикреплены разные рубрики или метки. Это также отвечает на вопросы: Нужно ли убирать с индексации рубрики и метки?
Когда только создавал блог, особо не обращал на это внимание, т.к. до конца всё не понимал и делал по аналогии. Мой робот выглядел так:

Disallow — запрет индексации.

User-agent: * — основные правила
Disallow: /cgi-bin —  скриптов
Disallow: /wp-admin — админки
Disallow: /wp-includes — wp-includes
Disallow: /wp-content/plugins — плагинов
Disallow: /wp-content/cache — кэша
Disallow: /wp-content/themes — тем
Disallow: /trackback — трэкбеков
Disallow: /feed — фида (RSS ленты)
Disallow: /comments — комментариев
Disallow: /category/*/* — категорий (рубрик)

Типы адресов для запрета:

Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?

Allow: /wp-content/uploads — разрешено индексирование папки uploads (обычно сюда заливаются картинки)

# Google Image — правила для Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense — правила для Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine — правила для интернет архива Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror — правила для duggmirror.com
User-agent: duggmirror
Disallow: /

Sitemap: http://compass-blogger.com.ua/sitemap.xml — карта сайта

User-agent: Yandex — правила для Яндекса
Crawl-delay: 5 — таймаут индексирования страниц блога Яндексом (0.5, 1, 2, и т.д.) Чем меньше, тем быстрее происходит обход сайта.

Disallow: /tag — теги (метки, ярлыки)

Disallow: /page/— страницы

Теперь о том, что можно подправить:

  1. Не запрещена индексация тегов  в Google. Чтобы не дублировать записи можно прописать Disallow: /tag в User-agent: *.
  2. Запрещена индексация комментариев Disallow: /comments. Если на вашем блоге грамотные комментарии и несут полезную информацию, так почему не дать пользователю обратиться к ним через поиск? Очень часто при поиске нужной информации я нахожу её не в основной статье, а в комментариях. Чтобы не происходила индексация ссылок в комментариях используется плагин WP-Noindex.

Заметил также, что ещё многие блоггеры добавляют:

К основным правилам:

Disallow: /wp-login.php — вход в админ панель блога
Disallow: /wp-register.php — регистрация на блоге

К типам адресов для запрета:

Disallow: /?feed=
Disallow: /?s=

Отдельные правила для Яндекса:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: compass-blogger.com.ua
— исключение дублей с www.compass-blogger.com.ua

При работе с файлом robots.txt также нужно пользоваться возможностями, которые предоставляют поисковики Yandex и Google. Это Яндекс Вебмастер (webmaster.yandex.ru) и Инструменты для вебмастера (www.google.com/webmasters/tools). Предварительно необходимо добавить свой сайт, его карту sitemap.xml и robots.txt. Следует обратить внимание на неработающие ссылки на блоге, которые также здесь можно редактировать. Используя статистику посещений, запросов, рейтингов и других возможностей можно легко управлять своим сайтом и выводить его на хорошие позиции.

Готовый robots.txt для WordPress

[code toolbar=»true»]
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: ВАШ_ДОМЕН
Crawl-delay: 5

Sitemap: http://ВАШ_ДОМЕН/sitemap.xml
[/code]

Сделать файл robots.txt легко, достаточно создать текстовый документ, добавить в него нужные правила и залить в корень сайта. Нужно помнить, что по умолчанию этого файла нет в Wordpress и поэтому надо заранее позаботиться о его создании.

Как вы понимаете из этой статьи создание сайтов или блогов в интернете требует определённых знаний, даже с готовыми CMS и шаблонами не каждый способен работать. Для тех, кто решил заняться сайтостроением, но не знает с чего начать, рекомендую подписаться на учебный портал WebForMySelf.com, который поможет вам справиться с первыми трудностями в создании сайтов, а также будет направлять вас по мере получения новых знаний о сайтостроении. Если вы до сих пор не знаете как создать свой сайт, тогда подпишитесь на обновления ресурса и получайте бесплатные уроки по сайтостроению на свой почтовый ящик. Кроме этого, вы также можете приобрести платные видеоуроки, которые ускорят ваше обучение и дадут тот бесценный опыт и знания актуальные сегодня как никогда!как создать свой сайт