Закрываем сайт от индексации

Добрый день друзья. Сегодня я отвечу на вопрос, как закрыть сайт от индексации и зачем это нужно! Читаем.

Как только и в интернете появляется новый сайт, буквально через минимальное время на него начинают заходить роботы поисковых систем и простукивать, изучать его содержимое, каталог, структуру, юзабилити и другие вещи. Зачем они это делают? Ну тут все понятно что бы обеспечить какое то ранжирование полезной информации взятой с Вашего сайта.

Ни для кого не секрет, что не уникальное содержимое плохо отражается на внутренней и внешней оптимизации сайта, и уж тем более на его место в поиске, а мы то с Вами уже не понаслышке знаем что надо быть в топ 1-10.

Зачем закрывать сайт от индексации?

Вот самая распространенная ситуация с которой я столкнулся сам. Пи создании крупного интернет магазина, где более чем 5000-10000 и даже более позиций, наполнить сайт быстро не получиться и это факт. В современном мире поисковые машины требуют больших усилий от владельцев сайтов, которые стремятся в топовые места. Вот и предлагают нам сейчас поработать над своим сайтом эти роботы.

Раньше можно было добавить весь товар, да и сейчас можно, с помощью какого то экспорта к примеру xls или cvs файлом или сделать выгрузку в yml. Конечно такая выгрузка обеспечит экономию времени до года! Но, такие товары как правило не оптимизированы и практически все идут без уникального описания ну или под копирку. И к чему все говорю. Представьте что Вы начали наполнять магазин по правилам seo и оптимизации, в день Вы добавляете по 20-30 товаров, может по 100, где уникальная картинка с водяным знаком, где прописаны заголовки и тайтлы, сделаны ключи и тэги (если они необходимы и так же оптимизированы), не забываем и про дискрипшн (не более 160 знаков, более поисковые системы не читают), характеристики товара, орфографические ошибки и многое другое. Тут чтобы роботы не индексировали недоделанный сайт и недоработанный с ошибками в ссылках и префиксами категорий и рубрик, советую закрыть его от индексации до полного или половины наполненного. Поверьте это пойдет на пользу как и Вам так и сайту.

Во первых. Закрытый сайт от индексации исключен от методов воровства и парсинга

Во вторых. Весь материал будет проиндексирован правильно и быстро, а значит грамотно оптимизированные товары и рубрики которые Вы делали руками, поползут вверх по позициям, учитывая бонус молодым сайтам.

В третьих. Многие платформы не генерируют ЧПУ или имеют встроенные неправильные префиксы, допустим в место каталога (catalog) система прописывает (fhdd или p54/ или еще что то своеобразное), и если робот проиндексирует этот адрес, а Вы потом смените его на другой более человеко понятный, то для переиндексации может потребоваться до 3х месяцев, а представьте если это основной каталог или каталог продаваемых товаров? Это провал позиций и переиндексация.

Закрывает robots.txt

В корне Вашего сайта public.html/robots.txt открываем сам файл роботс, и все что там есть удаляем, потом можно взять готовый роботс или скопировать тот который есть сейчас. P.S. Не все системы умеют генерировать правильный роботс изначально, так что в конце создания сайта советую обратиться к специалисту либо почитать полезные статьи, чтобы избежать дублей и попадания в индекс мусора. И меняем все содержимое на вот это:

User-agent: *

Disallow: /