Фев
Закрываем сайт от индексации
Добрый день друзья. Сегодня я отвечу на вопрос, как закрыть сайт от индексации и зачем это нужно! Читаем.
Как только и в интернете появляется новый сайт, буквально через минимальное время на него начинают заходить роботы поисковых систем и простукивать, изучать его содержимое, каталог, структуру, юзабилити и другие вещи. Зачем они это делают? Ну тут все понятно что бы обеспечить какое то ранжирование полезной информации взятой с Вашего сайта.
Ни для кого не секрет, что не уникальное содержимое плохо отражается на внутренней и внешней оптимизации сайта, и уж тем более на его место в поиске, а мы то с Вами уже не понаслышке знаем что надо быть в топ 1-10.
Зачем закрывать сайт от индексации?
Вот самая распространенная ситуация с которой я столкнулся сам. Пи создании крупного интернет магазина, где более чем 5000-10000 и даже более позиций, наполнить сайт быстро не получиться и это факт. В современном мире поисковые машины требуют больших усилий от владельцев сайтов, которые стремятся в топовые места. Вот и предлагают нам сейчас поработать над своим сайтом эти роботы.
Раньше можно было добавить весь товар, да и сейчас можно, с помощью какого то экспорта к примеру xls или cvs файлом или сделать выгрузку в yml. Конечно такая выгрузка обеспечит экономию времени до года! Но, такие товары как правило не оптимизированы и практически все идут без уникального описания ну или под копирку. И к чему все говорю. Представьте что Вы начали наполнять магазин по правилам seo и оптимизации, в день Вы добавляете по 20-30 товаров, может по 100, где уникальная картинка с водяным знаком, где прописаны заголовки и тайтлы, сделаны ключи и тэги (если они необходимы и так же оптимизированы), не забываем и про дискрипшн (не более 160 знаков, более поисковые системы не читают), характеристики товара, орфографические ошибки и многое другое. Тут чтобы роботы не индексировали недоделанный сайт и недоработанный с ошибками в ссылках и префиксами категорий и рубрик, советую закрыть его от индексации до полного или половины наполненного. Поверьте это пойдет на пользу как и Вам так и сайту.
Во первых. Закрытый сайт от индексации исключен от методов воровства и парсинга
Во вторых. Весь материал будет проиндексирован правильно и быстро, а значит грамотно оптимизированные товары и рубрики которые Вы делали руками, поползут вверх по позициям, учитывая бонус молодым сайтам.
В третьих. Многие платформы не генерируют ЧПУ или имеют встроенные неправильные префиксы, допустим в место каталога (catalog) система прописывает (fhdd или p54/ или еще что то своеобразное), и если робот проиндексирует этот адрес, а Вы потом смените его на другой более человеко понятный, то для переиндексации может потребоваться до 3х месяцев, а представьте если это основной каталог или каталог продаваемых товаров? Это провал позиций и переиндексация.
Закрывает robots.txt
В корне Вашего сайта public.html/robots.txt открываем сам файл роботс, и все что там есть удаляем, потом можно взять готовый роботс или скопировать тот который есть сейчас. P.S. Не все системы умеют генерировать правильный роботс изначально, так что в конце создания сайта советую обратиться к специалисту либо почитать полезные статьи, чтобы избежать дублей и попадания в индекс мусора. И меняем все содержимое на вот это:
User-agent: *
Disallow: /
Закрываем страницу (запись) сайта от индексации
Если нужно закрыть только одну страницу с сайта, например: site/catalog.html, то в тот же роботс вставляем этот код:
User-agent: *
Disallow: /ваша страница.html
Закрываем сайт или определенные страницы или записи с помощью плагина wordpress
Плагин wordpress all in seo или Yoast seo позволяют нам на каждой странице самим задать установку, будет ли индексироваться статья, товар или запись, а может быть и страница. Делается это очень просто:
В каждой записи или странице в самом низу, плагин предлагает нам несколько опций, ставим галочку в Noindex и роботы не будут индексировать эту страницу. Видите как все просто. Спасибо что прочитали мою статью до конца.