Добрый день друзья. Сегодня я отвечу на вопрос, как закрыть сайт от индексации и зачем это нужно! Читаем.

Как только и в интернете появляется новый сайт, буквально через минимальное время на него начинают заходить роботы поисковых систем и простукивать, изучать его содержимое, каталог, структуру, юзабилити и другие вещи. Зачем они это делают? Ну тут все понятно что бы обеспечить какое то ранжирование полезной информации взятой с Вашего сайта.

Ни для кого не секрет, что не уникальное содержимое плохо отражается на внутренней и внешней оптимизации сайта, и уж тем более на его место в поиске, а мы то с Вами уже не понаслышке знаем что надо быть в топ 1-10.

закрываем индексацию сйта

Зачем закрывать сайт от индексации?

Вот самая распространенная ситуация с которой я столкнулся сам. Пи создании крупного интернет магазина, где более чем 5000-10000 и даже более позиций, наполнить сайт быстро не получиться и это факт. В современном мире поисковые машины требуют больших усилий от владельцев сайтов, которые стремятся в топовые места. Вот и предлагают нам сейчас поработать над своим сайтом эти роботы.

Раньше можно было добавить весь товар, да и сейчас можно, с помощью какого то экспорта к примеру xls или cvs файлом или сделать выгрузку в yml. Конечно такая выгрузка обеспечит экономию времени до года! Но, такие товары как правило не оптимизированы и практически все идут без уникального описания ну или под копирку. И к чему все говорю. Представьте что Вы начали наполнять магазин по правилам seo и оптимизации, в день Вы добавляете по 20-30 товаров, может по 100, где уникальная картинка с водяным знаком, где прописаны заголовки и тайтлы, сделаны ключи и тэги (если они необходимы и так же оптимизированы), не забываем и про дискрипшн (не более 160 знаков, более поисковые системы не читают), характеристики товара, орфографические ошибки и многое другое. Тут чтобы роботы не индексировали недоделанный сайт и недоработанный с ошибками в ссылках и префиксами категорий и рубрик, советую закрыть его от индексации до полного или половины наполненного. Поверьте это пойдет на пользу как и Вам так и сайту.

Во первых. Закрытый сайт от индексации исключен от методов воровства и парсинга

Во вторых. Весь материал будет проиндексирован правильно и быстро, а значит грамотно оптимизированные товары и рубрики которые Вы делали руками, поползут вверх по позициям, учитывая бонус молодым сайтам.

В третьих. Многие платформы не генерируют ЧПУ или имеют встроенные неправильные префиксы, допустим в место каталога (catalog) система прописывает (fhdd или p54/ или еще что то своеобразное), и если робот проиндексирует этот адрес, а Вы потом смените его на другой более человеко понятный, то для переиндексации может потребоваться до 3х месяцев, а представьте если это основной каталог или каталог продаваемых товаров? Это провал позиций и переиндексация.

Закрывает robots.txt

В корне Вашего сайта public.html/robots.txt открываем сам файл роботс, и все что там есть удаляем, потом можно взять готовый роботс или скопировать тот который есть сейчас. P.S. Не все системы умеют генерировать правильный роботс изначально, так что в конце создания сайта советую обратиться к специалисту либо почитать полезные статьи, чтобы избежать дублей и попадания в индекс мусора. И меняем все содержимое на вот это:

User-agent: *
Disallow: /
Этим кодом мы показываем всем роботам, что наш сайт не нужно индексировать. Так мы закрыли сайт от поисковых машин на время наполнения сайта.
Вы так же можете закрыть от индексации сайт с помощью админки wordpress если у Вас стоит эта cms.
Заходим в меню → в параметрах → пункт «чтение» → «видимость для поисковых систем» поставить галочку «попросить поисковые системы не индексировать сайт» сохранить изменения, вот скрин:
роботс wordpress
Можно так же закрыть отдельные страницы от индекса, немного отойдем от темы полного закрытия сайта от поисковых роботов.

Закрываем страницу (запись) сайта от индексации

Если нужно закрыть только одну страницу с сайта, например: site/catalog.html, то в тот же роботс вставляем этот код:

User-agent: *
Disallow: /ваша страница.html
И таким образом роботы не будут индексировать определенную страницу, таких страниц можно вписать сколько угодно, но с роботсом нужно быть так же осторожным, неправильное движение может нанести вред блогу или сайту, закрыв от индексации нужные и рабочие страницы, а на восстановление может потребоваться много времени.

Закрываем сайт или определенные страницы или записи с помощью плагина wordpress

Плагин wordpress all in seo или Yoast seo позволяют нам на каждой странице самим задать установку, будет ли индексироваться статья, товар или запись, а может быть и страница. Делается это очень просто:

закрываем индексацию с помощью плагина

В каждой записи или странице в самом низу, плагин предлагает нам несколько опций, ставим галочку в Noindex и роботы не будут индексировать эту страницу. Видите как все просто. Спасибо что прочитали мою статью до конца.