Правильный robots.txt для WordPress. Поисковая оптимизацияРабота с файлом robots.txt для WordPress, правильная организация и использование. Поисковая оптимизация блога с помощью robots.txt.

С целью поисковой оптимизации своего блога начал рыться в корне и вспомнил, что есть так называемый робот, который помогает при работе с поисковиками.

Robots.txt (правильно robots.txt) – файл настройки индексации блога WordPress, который говорит поисковику, какие каталоги, ссылки и страницы не нужно индексировать. Если такого файла нет, то индексируется и записывается в базу всё подряд с ресурса. Первый вопрос, который возникает: зачем это нужно? Чтобы ответить на него нужно обратиться к структуре блога. Каждый новый пост имеет свою рубрику/подрубрику и не одну, теги или метки (ярлыки). Т.е. одна статья имеет несколько одинаковых страниц, но с той лишь разницей, что к ней прикреплены разные рубрики или метки. Это также отвечает на вопросы: Нужно ли убирать с индексации рубрики и метки?
Когда только создавал блог, особо не обращал на это внимание, т.к. до конца всё не понимал и делал по аналогии. Мой робот выглядел так:

Disallow – запрет индексации.

User-agent: * – основные правила
Disallow: /cgi-bin –  скриптов
Disallow: /wp-admin – админки
Disallow: /wp-includes – wp-includes
Disallow: /wp-content/plugins – плагинов
Disallow: /wp-content/cache – кэша
Disallow: /wp-content/themes – тем
Disallow: /trackback – трэкбеков
Disallow: /feed – фида (RSS ленты)
Disallow: /comments – комментариев
Disallow: /category/*/* – категорий (рубрик)

Типы адресов для запрета:

Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?

Allow: /wp-content/uploads – разрешено индексирование папки uploads (обычно сюда заливаются картинки)

# Google Image – правила для Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense – правила для Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine – правила для интернет архива Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror – правила для duggmirror.com
User-agent: duggmirror
Disallow: /





Sitemap: https://compass-blogger.com.ua/sitemap.xml – карта сайта

User-agent: Yandex – правила для Яндекса
Crawl-delay: 5 – таймаут индексирования страниц блога Яндексом (0.5, 1, 2, и т.д.) Чем меньше, тем быстрее происходит обход сайта.

Disallow: /tag – теги (метки, ярлыки)

Disallow: /page/– страницы

Теперь о том, что можно подправить:

  1. Не запрещена индексация тегов  в Google. Чтобы не дублировать записи можно прописать Disallow: /tag в User-agent: *.
  2. Запрещена индексация комментариев Disallow: /comments. Если на вашем блоге грамотные комментарии и несут полезную информацию, так почему не дать пользователю обратиться к ним через поиск? Очень часто при поиске нужной информации я нахожу её не в основной статье, а в комментариях. Чтобы не происходила индексация ссылок в комментариях используется плагин WP-Noindex.

Заметил также, что ещё многие блоггеры добавляют:

К основным правилам:

Disallow: /wp-login.php – вход в админ панель блога
Disallow: /wp-register.php – регистрация на блоге

К типам адресов для запрета:

Disallow: /?feed=
Disallow: /?s=

Отдельные правила для Яндекса:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: compass-blogger.com.ua
– исключение дублей с www.compass-blogger.com.ua

При работе с файлом robots.txt также нужно пользоваться возможностями, которые предоставляют поисковики Yandex и Google. Это Яндекс Вебмастер (webmaster.yandex.ru) и Инструменты для вебмастера (www.google.com/webmasters/tools). Предварительно необходимо добавить свой сайт, его карту sitemap.xml и robots.txt. Следует обратить внимание на неработающие ссылки на блоге, которые также здесь можно редактировать. Используя статистику посещений, запросов, рейтингов и других возможностей можно легко управлять своим сайтом и выводить его на хорошие позиции.

Готовый robots.txt для WordPress

[code toolbar=”true”]
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: ВАШ_ДОМЕН
Crawl-delay: 5

Sitemap: http://ВАШ_ДОМЕН/sitemap.xml
[/code]

Сделать файл robots.txt легко, достаточно создать текстовый документ, добавить в него нужные правила и залить в корень сайта. Нужно помнить, что по умолчанию этого файла нет в Wordpress и поэтому надо заранее позаботиться о его создании.

Как вы понимаете из этой статьи создание сайтов или блогов в интернете требует определённых знаний, даже с готовыми CMS и шаблонами не каждый способен работать. Для тех, кто решил заняться сайтостроением, но не знает с чего начать, рекомендую подписаться на учебный портал WebForMySelf.com, который поможет вам справиться с первыми трудностями в создании сайтов, а также будет направлять вас по мере получения новых знаний о сайтостроении. Если вы до сих пор не знаете как создать свой сайт, тогда подпишитесь на обновления ресурса и получайте бесплатные уроки по сайтостроению на свой почтовый ящик. Кроме этого, вы также можете приобрести платные видеоуроки, которые ускорят ваше обучение и дадут тот бесценный опыт и знания актуальные сегодня как никогда!как создать свой сайт