Как закрыть сайт от индексации: краткое руководство

Страницы сайта

Для успешного продвижения важно не только избавиться от лишней информации на страницах, но и очистить поисковый индекс сайта от малополезных мусорных страниц.
Во-первых, это ускорит индексацию основных продвигаемых страниц сайта. Во-вторых, наличие в индексе большого числа мусорных страниц будет негативно влиять на оценку сайта и его продвижение

Сразу перечислим страницы, которые целесообразно прятать:

– страницы оформления заявок, корзины пользователей;
– результаты поиска по сайту;
– личная информация пользователей;
– страницы результатов сравнения товаров и подобных вспомогательных модулей;
– страницы, генерируемые фильтрами поиска и сортировкой;
– страницы административной части сайта;
– версии для печати.

Рассмотрим способы, которыми можно закрыть страницы от индексации.

Закрыть в  robots.txt

Это не самый лучший метод.

Во-первых, файл robots не предназначен для борьбы с дублями и чистки сайтов от мусорных страниц. Для этих целей лучше использовать другие методы.

Во-вторых, запрет в файле robots не является гарантией того, что страница не попадёт в индекс.

Вот что Google пишет об этом в своей справке:

Работе с файлом robots.txt посвящена статья в блоге Siteclinic «Гайд по robots.txt: создаём, настраиваем, проверяем».

Метатег noindex

Чтобы гарантированно исключить страницы из индекса, лучше использовать этот метатег.

Рекомендации по синтаксису у Яндекса и Google отличаются.

Ниже приведём вариант метатега, который понимают оба поисковика:

<meta name="robots" content="noindex, nofollow">

Важный момент!

Чтобы Googlebot увидел метатег noindex, нужно открыть доступ к страницам, закрытым в файле robots.txt. Если этого не сделать, робот может просто не зайти на эти страницы.

Выдержка из рекомендаций Google:

Заголовки X-Robots-Tag

Существенное преимущество такого метода в том, что запрет можно размещать не только в коде страницы, но и через корневой файл .htaccess.

Этот метод не очень распространён в Рунете. Полагаем, основная причина такой ситуации в том, что Яндекс этот метод долгое время не поддерживал.
В этом году сотрудники Яндекса написали, что метод теперь поддерживается.

Ответ поддержки подробным не назовёшь))). Прежде чем переходить на запрет индексации, используя X-Robots-Tag, лучше убедиться в работе этого способа под Яндекс. Свои эксперименты на эту тему мы пока не ставили, но, возможно, сделаем в ближайшее время.

Подробные рекомендации по использованию заголовков X-Robots-Tag от Google.

Защита с помощью пароля

Этот способ Google рекомендует, как наиболее надёжный метод спрятать конфиденциальную информацию на сайте.

Если нужно скрыть весь сайт, например, тестовую версию, также рекомендуем использовать именно этот метод. Пожалуй, единственный недостаток – могут возникнуть сложности в случае необходимости просканировать домен, скрытый под паролем.

Исключить появление мусорных страниц c помощью AJAX

Речь о том, чтобы не просто запретить индексацию страниц, генерируемых фильтрами, сортировкой и т. д., а вообще не создавать подобные страницы на сайте.

Например, если пользователь выбрал в фильтре поиска набор параметров, под которые вы не создавали отдельную страницу, изменения в товарах, отображаемых на странице, происходит без изменения самого URL.

Сложность этого метода в том, что обычно его нельзя применить сразу для всех случаев. Часть формируемых страниц используется для продвижения.

Например, страницы фильтров. Для «холодильник + Samsung + белый» нам нужна страница, а для «холодильник + Samsung + белый + двухкамерный + no frost» – уже нет.

Поэтому нужно делать инструмент, предполагающий создание исключений. Это усложняет задачу программистов.

Использовать методы запрета индексации от поисковых алгоритмов

«Параметры URL» в Google Search Console

Этот инструмент позволяет указать, как идентифицировать появление в URL страниц новых параметров.

Директива Clean-param в robots.txt

В Яндексе аналогичный запрет для параметров URL можно прописать, используя директиву Clean-param.
Почитать об этом можно .

Канонические адреса, как профилактика появления мусорных страниц на сайте
Этот метатег был создан специально для борьбы с дублями и мусорными страницами на сайте. Мы рекомендуем прописывать его на всём сайте, как профилактику появления в индексе дубле и мусорных страниц.

Инструменты точечного удаления страниц из индекса Яндекса и Google

Если возникла ситуация, когда нужно срочно удалить информацию из индекса, не дожидаясь, пока ваш запрет увидят поисковые работы, можно использовать инструменты из панели Яндекс.Вебмастера и Google Search Console.

В Яндексе это «Удалить URL»:

В Google Search Console «Удалить URL-адрес»:

Что такое индексация сайта

Опубликованный на страницах сайтов контент собирается заранее и хранится в базе данных поисковой системы.

Называется эта база данных Индексом (Index), а собственно процесс сбора информации в сети с занесением в базу ПС называется «индексацией».

Продвинутые пользователи мгновенно сообразят, получается, что если текст на странице сайта не занесен в Индекс поисковика, так эта информация не может быть найдена и контент не станет доступен людям?

Так оно и есть. Каждый день тысячи веб-мастеров публикуют на своих площадках новые статьи. Однако доступными для поиска эти новые публикации становятся далеко не сразу.

В плане индексации Google работает несколько быстрее нашего Яндекса.

• Публикация на сайте станет доступна в поиске Гугл через несколько часов. Иногда индексация происходит буквально в считанные минуты.
• В Яндексе процесс сбора информации относительно нового контента в интернете происходит значительно медленнее. Иногда новая публикация на сайте или блоге появляется в Яндексе через две недели.

Чтобы ускорить появление вновь опубликованного контента, администраторы сайтов могут вручную добавить URL новых страниц в инструментах Яндекса для веб-мастеров. Однако и это не гарантирует, что новая статья немедленно появится в интернете.

С другой стороны, бывают ситуации, когда веб-страница или отдельная часть контента уже опубликованы на сайте, но вот показывать этот контент пользователям нежелательно по каким-либо причинам.

• Страница еще не полностью доработана, и владелец сайта не хочет показывать людям недоделанный продукт, поскольку это производит негативное впечатление на потенциальных клиентов.
• Существует разновидностей технического контента, который не предназначен для широкой публики. Определенная информация обязательно должна быть на сайте, но вот видеть ее обычным людям пользователям не нужно.
• В статьях размещаются ссылки и цитаты, которые необходимы с информационной точки зрения, но вот находиться в базе данных поисковой системы они не должны. Например, эти ссылки выглядят как неестественные и за их публикацию в проект может быть подвергнут штрафным санкциям.

В общем, причин, почему веб-мастеру не хотелось бы, чтобы целые веб-страницы или отдельные блоки контента, ссылки не были занесены в базы поисковиков, может существовать много.

Давайте разберемся, как задачу управления индексацией решить практически.

Контент

Проблемы, связанные с закрытием контента на сайте:

Страница оценивается поисковыми роботами комплексно, а не только по текстовым показателям. Увлекаясь закрытием различных блоков, часто удаляется и важная для оценки полезности и ранжирования информация.

Приведём пример наиболее частых ошибок:
– прячется шапка сайта. В ней обычно размещается контактная информация, ссылки. Если шапка сайта закрыта, поисковики могут не узнать, что вы позаботились о посетителях и поместили важную информацию на видном месте;

Зачем на сайте закрывают часть контента?
Обычно есть несколько целей:
– сделать на странице акцент на основной контент, убрав из индекса вспомогательную информацию, служебные блоки, меню;
– сделать страницу более уникальной,  полезной, убрав дублирующиеся на сайте блоки;
– убрать «лишний» текст, повысить текстовую релевантность страницы.

Всего этого можно достичь без того, чтобы прятать часть контента!У вас очень большое меню?
Выводите на страницах только те пункты, которые непосредственно относятся к разделу.

Много возможностей выбора в фильтрах?
Выводите в основном коде только популярные. Подгружайте остальные варианты, только если пользователь нажмёт кнопку «показать всё». Да, здесь используются скрипты, но никакого обмана нет – скрипт срабатывает по требованию пользователя.  Найти все пункты поисковик сможет, но при оценке они не получат такое же значение, как основной контент страницы.

На странице  большой блок с новостями?
Сократите их количество, выводите только заголовки или просто уберите блок новостей, если пользователи редко переходят по ссылкам в нём или на странице мало основного контента.

Поисковые роботы хоть и далеки от идеала, но постоянно совершенствуются. Уже сейчас Google показывает скрытие скриптов от индексирования как ошибку в панели Google Search Console (вкладка «Заблокированные ресурсы»).  Не показывать часть контента роботам действительно может быть полезным, но это не метод оптимизации, а, скорее, временные «костыли», которые стоит использовать только при крайней необходимости.

Мы рекомендуем:
– относиться к скрытию контента, как к «костылю», и прибегать к нему только в крайних ситуациях, стремясь доработать саму страницу;
– удаляя со страницы часть контента, ориентироваться не только на текстовые показатели, но и оценивать удобство и информацию, влияющую на коммерческие факторы ранжирования;
– перед тем как прятать контент, проводить эксперимент на нескольких тестовых страницах. Поисковые боты умеют разбирать страницы и ваши опасения о снижение релевантности могут оказаться напрасными.

Давайте рассмотрим, какие методы используются, чтобы спрятать контент:

Тег noindex

У этого метода есть несколько недостатков. Прежде всего этот тег учитывает только Яндекс, поэтому для скрытия текста от Google он бесполезен

Помимо этого, важно понимать, что тег запрещает индексировать и показывать в поисковой выдаче только текст. На остальной контент, например, ссылки, он не распространяется

Это видно из самого .

Поддержка Яндекса не особо распространяется о том, как работает noindex. Чуть больше информации есть в одном из обсуждений в официальном блоге.

Вопрос пользователя:

Ответ:

В каких случаях может быть полезен тег:
– если есть подозрения, что страница понижена в выдаче Яндекса из-за переоптимизации, но при этом занимает ТОПовые позиции по важным фразам в Google. Нужно понимать, что это быстрое и временное решение. Если весь сайт попал под «Баден-Баден», noindex, как неоднократно подтверждали представители Яндекса, не поможет;
– чтобы скрыть общую служебную информацию, которую вы из-за корпоративных ли юридических нормативов должны указывать на странице;
– для корректировки сниппетов в Яндексе, если в них попадает нежелательный контент.

Скрытие контента с помощью AJAX

Это универсальный метод. Он позволяет спрятать контент и от Яндекса, и от Google. Если хотите почистить страницу от размывающего релевантность контента, лучше использовать именно его. Представители ПС такой метод, конечно, не приветствую и рекомендуют, чтобы поисковые роботы видели тот же контент, что и пользователи.
Технология использования AJAX  широко распространена и если не заниматься явным клоакингом, санкции за её использование не грозят.  Недостаток метода – вам всё-таки придётся закрывать доступ к скриптам, хотя и Яндекс и Google этого не рекомендуют делать.

Плюсы и минусы использования закрытого контента

С правильным типом закрытого контента вы можете увеличить число подписчиков и привлечь больше трафика на ваш блог. Контент на основе закрытых данных может повысить воспринимаемую ценность вашего сайта, например, когда сообщение в блоге предлагает посетителям войти в систему, чтобы продолжить чтение. Если фрагмент вашего поста, к которому читатель может получить доступ, заинтригован, им будет предложено сделать то, что вы просите.

Кроме того, закрытый контент можно использовать для сбора ценных данных, которые вы можете использовать для понимания своей аудитории и повышения эффективности маркетинговых усилий. Каждый адрес электронной почты, который вы собираете, является другим человеком, которому вы можете отправить дружеские напоминания о новом контенте или продуктах. Некоторые могут даже отвечать на ваши электронные письма, предоставляя дополнительные возможности для построения отношений с вашей аудиторией.

С другой стороны, закрытый контент может раздражать или расстраивать ваших посетителей. Некоторым людям может не нравиться, когда их просят предоставить личную информацию, и это может оставить у них негативное восприятие вашего бренда. Стоит также отметить, что люди с меньшей вероятностью будут ссылаться на статьи, которые закрыты, что может замедлить ваш прогресс обратных ссылок .

К счастью, есть возможность использовать преимущество закрытого типа контента при сведении к минимуму отрицательных сторон. В общем смысле это включает в себя стробирование контента, который имеет реальную ценность и может быть легко распространен. В оставшейся части этого поста мы расскажем, как вы можете это сделать.

Пример настройки файла robots.txt

Давайте разберем на примере, как настроить файл robots.txt. Ниже находится пример файла, значение команд из которого будет подробно рассмотрено в статье.

В данном файле мы видим, что от поисковых систем Яндекс и Google закрыты от индексации все документы на сайте, кроме страницы /test.html

Остальные поисковые системы могут индексировать все документы, кроме:

• документов в разделах /personal/ и /help/
• документа по адресу /index.html
• документов, адреса которых включают параметр clear_cache=Y

Последние две команды требуют отдельного внимания.

Командой /index.html закрыт от индексации дубль главной страницы сайта. Как правило, главная страница доступна по двум адресам:

1. site.com
2. site.com/index.html или site.com/index.php

Если не закрыть второй адрес от индексации, то в поиске может появиться две главных страницы!

Команда Disallow: /*?clear_cache=Y закрывает от индексации все страницы, в адресах которых используется последовательность символов ?clear_cache=Y. Часто различный функционал на сайте, например, сортировки или формы подбора добавляют к адресам страниц различные параметры, из-за чего генерируется множество страниц-дублей. Закрывая дубли с параметрами от индексации, Вы решаете проблему попадания дублей в базу поисковых систем.

Посмотрите, какие страницы необходимо закрывать от индексации, в статье про проведение технического аудита сайта.

Способ 3: Кэш поисковых систем

Пожалуй, оптимальный метод просмотра информации из закрытого аккаунта, включая фотографий, заключается в использовании кэша поисковых систем, которые хранят достаточно много информации о пользователях из ВКонтакте. Для этого можно прибегнуть к одному из популярных поисковиков, будь то Яндекс или Google, используя в качестве запроса имеющиеся у вас фотографии или идентификатор нужной страницы.

Яндекс

1. Откройте стартовую страницу поисковой системы Яндекс и в текстовую строку вставьте адрес нужной страницы ВКонтакте. Можете использовать как идентификатор, так и пользовательскую ссылку.

Если поиск завершится успешно, в первых же строчках вы увидите ссылку на нужный профиль ВК. При этом в случае необходимости можно улучшить поиск, добавив в конец поискового запроса следующий код.

Теперь, чтобы ознакомиться со страницей и, следовательно, получить доступ к фотографиям, кликните по стрелочке под ссылкой на нужную страницу и выберите «Сохраненная копия».

После этого вы сможете просматривать фото человека, но только в ограниченном режим через блок «Фотографии» с удаленными комментариями.

1. Поисковая система Google не сильно отличается от Яндекса в плане своей основной функции. Для начала перейдите на главную страницу сервиса и в текстовое поле вставьте URL-адрес нужной анкеты на сайте ВКонтакте.

В результате сразу отобразиться нужная ссылка. Если этого не произошло, и вы не можете найти подходящий вариант, через пробел после уже существующего запроса добавьте следующее:

Щелкните левой кнопкой мыши по значку стрелочки рядом с адресом страницы и через меню выберите «Сохраненная копия».

Здесь вы сможете просмотреть информацию, которая была сохранена поисковой системой в последнее время, включая изображения из ленты «Фотографии».

В отличие от Яндекса, поисковая система Google позволяет сразу ознакомиться с фотографиями, которые в той или иной степени связаны с указанной ваши ссылкой. Для ознакомления с ними после первого шага щелкните по вкладке «Картинки» под текстовым полем.

К большому сожалению, кэш в поисковых системах обновляется достаточно быстро, что не позволяет получать доступ к фотографиям в любом момент времени. Более того, индексируются далеко не все учетные записи ВКонтакте, а только те, в настройках которых выбран вариант «Все» в разделе «Кому в интернете видна моя страница».

Скрыть ссылки в тексте статьи WordPress

Больший приоритет у ссылок находящихся в тексте, поэтому первыми закрыть от индексации нужно их. Для данной операции два пути:

1. Использовать шаблоны WordPress с такой функцией
2. Применять плагины

Спрятать ссылки с помощью возможностей темы

В рунете есть онлайн магазин WordPress под названием WPShop, у всех тем есть встроенная функция спрятать ссылки от индексации. Так выглядит в панели.

Функции в редакторе

1. Обводим фразу в который будем встраивать url
2. Нажимаем на кнопку закрыть синей цепочки
3. Во всплывающем окне вводим адрес и нажимаем ok
4. Видим что элемент помещен в шорт код mask_link

JS скрипт заменил url на span

При наведении адрес в браузере не отображается. В исходном коде нет тега <a> он заменен на <span>, а урл закодирован в атрибуте data-href.

переход на Reboot

Удалить скриптом No External LInks

Из всех решений нашел плагин устранения индексации WP no external links. Скрипт WP не удаляет тег <a>, он переписывает саму ссылку и создает редирект через страницу-прокладку, как происходит процесс:

1. Плагин изменяет внешний url на внутреннюю (то есть с адресом вашего домена)
2. Пользователь на нее кликает
3. Происходит быстрый редирект, либо сначала переходит на документ внутреннего назначения, а потом переход на необходимый сайт

Второй подход похож на первый, только во втором шаге идет перенаправление сначала на стационарную запись, на которой написано “через 3 секунды вы перейдете на другой сайт”, после уже автоматом на источник.

Этот путь лучше – не происходит редиректа в его буквальном смысле, а переход на внутреннюю страницу. Устанавливаем стандартным методом поиском из админки.

WP No External LInks в админке

Переходим в настройки – no external links. В первом разделе устанавливаем такой порядок, отмечаем первые три галочки маскировки.

Глобальная настройка маскировки

Остальные параметры оставляем как есть и спускаемся вниз. Выставляем кодирование по base64 и используем java script. Время выставим 5 секунд.

Кодировка base64

Нажимаете сохранить, перейдя на сайт и направив курсор на любую ссылку увидите такой результат. Нажав откроется новая страница вашего ресурса и через 5 секунд переход на указанный урл.

Результат работы

Закрытие от индексации страниц сайта

Существует три способа закрытия от индексации страниц сайта:

1. использование мета-тега «robots» (<meta name=»robots» content=»noindex,nofollow» />);
2. создание корневого файла robots.txt;
3. использование служебного файла сервера Apache.

Это не взаимоисключающие опции, чаще всего их используют вместе.

Закрыть сайт от индексации с помощью robots.txt

Файл robots.txt располагается в корне сайта и используется для управления индексированием сайта поисковыми роботами. С помощью набора инструкций можно разрешить либо запретить индексацию всего сайта, отдельных страниц, каталогов, страниц с параметрами (типа сортировки, фильтры и пр.). Его особенность в том, что в robots.txt можно прописать четкие указания для конкретного поискового робота (User-agent), будь то googlebot, YandexImages и т.д.

Для того, чтобы обратиться сразу ко всем поисковым ботам, необходимо прописать диерективу «User-agent: *». В таком случае, поисковик прочитав весь файл и не найдя конкретных указаний для себя, будет следовать общей инструкции.

Все о файле robots.txt и о том, как его правильно составить читайте здесь, а также рекомендации по использованию этого файла от Яндекс и .

Например, ниже приведен файл robots.txt для сайта «Розетки»:

Как видим, сайт закрыт от индексации для поисковой системы Yahoo!

Зачем закрывать сайт от поисковых систем?

Лучше всего Robots.txt использовать в таких случаях:

• при полном закрытии сайта от индексации во время его разработки;
• для закрытия сайта от нецелевых поисковых систем, как в случае с Розеткой, чтоб не нагружать «лишними» запросами свои сервера.

Во всех остальных случаях лучше использовать методы, описанные ниже.

Запрет индексации с помощью мeтa-тега «robots»

Meta-тег «robots» указывает поисковому роботу можно ли индексировать конкретную страницу и ссылки на странице. Отличие этого тега от файла robots.txt в том, что невозможно прописать отдельные директивы для каждого из поисковых ботов.

Есть 4 способа объяснить поисковику как индексировать данный url.

1. Индексировать и текст и ссылки

<meta name=»robots» content=»index, follow«> (используется по умолчанию) эквивалентна записи <META NAME=»Robots» CONTENT=»ALL»>

<meta name=»robots» content=»noindex, nofollow«>

3. Не индексировать на странице текст, но индексировать ссылки

<meta name=»robots» content=»noindex,follow«>

Такая запись означает, что данную страницу индексировать не надо, а следовать по ссылкам с данной страницы для изучения других страниц можно. Это бывает полезно при распределения внутреннего индекса цитирования (ВИЦ).

Что выбрать мета-тег «robots» или robots.txt?

Параллельное использование мeтa-тега «robots» и файла robots.txt дает реальные преимущества.

Дополнительная гарантия, что конкретная страница не будет проиндексирована. Но это все равно не застрахует вас от произвола поисковых систем, которые могут игнорировать обе директивы. Особенно любит пренебрегать правилами robots.txt Google, выдавая вот такие данные в SERP (страница с результатами поиска):

В случае, когда в robots.txt мы закрываем какой-то каталог, но определенные страницы из этого каталога нам все-таки нужны для индексации, мы можем использовать мета-тег «robots». Это же работает и в обратном порядке: в индексируемой папке (каталоге сайта) есть страницы, которые нужно запретить для индексации.

Вобщем, необходимо запомнить правило: мета-тег robots является преимущественным по сравнению с файлом robots.txt.

Подробнее об использовании мета-тегов читайте у Яндекса и .

Закрыть сайт от индексации с помощью .htaccess

.htaccess – это служебный файл веб-сервера Apache. Мэтт Каттс, бывший руководитель команды Google по борьбе с веб-спамом, утверждает, что использовать .htaccess для закрытия сайта от индексации – это самый лучший вариант и в видео рисует довольный смайлик.

С помощью регулярных выражений можно закрыть весь сайт, его части (разделы), ссылки, поддомены.

Сокрытие информации при помощи мета-тегов

В качестве замены вышеописанного robots.txt можно воспользоваться похожим мета-тегом под названием «robots». Его необходимо вставить в изначальный код страницы, содержащийся в файле «index.html». Помещать его необходимо в контейнер. Также потребуется ввести краулеров, для которых индексация сайта будет недоступна. Если ресурс будет скрыт полностью, необходимо вставить «robots», если для конкретного поисковика – наименование его бота (Googlebot для Гугла и Yandex, соответственно, – для Яндекса). Мета-тег можно указать сразу в двух вариантах (они показаны на картинке снизу).

В обоих вариантах следует уделить особое внимание переменной «content», так как она обладает сразу несколькими значениями:

1. «none» – полный запрет индексации;
2. «noindex» – запрет только на индексацию контента;
3. «nofollow» – запрет на индексацию различных адресов и ссылок;
4. «follow» – разрешение на индексацию различных адресов и ссылок;
5. «all» – разрешение на полную индексацию;
6. «index» – разрешение только на индексацию контента.

То есть, вы можете наложить запрет на индексацию контента, но всё же оставить различные ссылки. В таком случае потребуется просто вести следующую строку: content= «noindex, follow». В итоге будет происходить индексация ссылок, в то время как текст обрабатываться не будет.

Карта сайта в robots.txt — Sitemap.xml

Директива Sitemap указывает поисковым роботам путь на xml карту сайта. Этот файл невероятно важен для поисковых систем, так как при обходе сайта они, в первую очередь, обращаются к нему. В данном файле представлена структура сайта со всем внутренними ссылками, датами создания страниц, приоритетами индексирования.

Пример robots.txt с указанием адреса карты сайта на нашем сайте:

User-agent: * 
Sitemap: https://naked-seo.ru/sitemal.xml

Наличии xml карты сайта улучшает представление вашего сайта в поисковой выдаче. Карта сайта является стандартом, который должен быть внедрен на каждом сайте. Частота обновления и актуальность поддержания sitemap.xml может серьезно ускорить индексирование страниц, особенно у молодого сайта.

Как создать и проверить Robots.txt

Проверить, что содержит ваш файл на данный момент можно в сервисе Яндекса – Проверка Robots.txt. Введете там адрес своего сайта, и он покажет всю информацию.

Если у вас такого файла нет, то необходимо срочного его создать. Открываете текстовый редактор (блокнот, notepad++, akelpad и т.д.), создаете файл с названием robots, заполняете его нужными директивами и сохраняете с txt расширением (ниже я расскажу, как выглядит правильный robots.txt для WordPress).

Дальше, помещаем файл в корневую папку вашего сайта (рядом с index.php) с помощью файлового менеджера вашего хостинга или ftp клиента, например, filezilla (как пользоваться).

Понятие файла robots.txt и требования, предъявляемые к нему

Файл /robots.txt предназначен для указания всем поисковым роботам (spiders) индексировать информационные сервера так, как определено в этом файле, т.е. только те директории и файлы сервера, которые не описаны в /robots.txt. Этот файл должен содержать 0 или более записей, которые связаны с тем или иным роботом (что определяется значением поля agent_id) и указывают для каждого робота или для всех сразу, что именно им не надо индексировать.

Синтаксис файла позволяет задавать запретные области индексирования, как для всех, так и для определенных, роботов.

К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к недееспособности данного файла.

Основные требования:

• все буквы в названии файла должны быть прописными, т. е. должны иметь нижний регистр:
• robots.txt – правильно,
• Robots.txt или ROBOTS.TXT – неправильно;
• файл robots.txt должен создаваться в текстовом формате Unix. При копировании данного файла на сайт ftp-клиент должен быть настроен на текстовый режим обмена файлами;
• файл robots.txt должен быть размещен в корневом каталоге сайта.

Как создать файл robots.txt на своем сайте?

Для того, чтобы создать файл robots.txt, вам нужно открыть любой текстовый редактор, например, Блокнот, MS Word, SublimeText, NotePad++ и т.п. Прописать необходимые инструкции для вашего сайта и сохранить файл в формате .txt.

Далее данный файл необходимо загрузить в корневую директорию вашего сайта. Корневая директория, это папка, как правило, с названием вашего сайта в которой находятся файлы вашей  CMS и индексный файл index.html. Загрузить файл robotx.txt на сервер можно с помощью панели управления сервером (напр. ISPmanager, Cpannel), с помощью FTP-клиента (напр. FileZilla, TotalCommander), через консоль, либо через административную панель сайта, если CMS позволяет это сделать.

Некоторые системы управления сайтами имеют встроенный функционал, который позволяет создать robots.txt из админки сайта, либо с помощью дополнительных плагинов или модулей. Каким способом создавать robots.txt — нет абсолютно никакой разницы. Проверить корректность и доступность вашего файла robots вы можете с помощью сервиса в Яндекс.Вебмастере.

Подробности

Самый удобный вариант для ограничения доступа к интернет-ресурсам в данном интернет-обозревателе заключается в использовании специальных расширений. В этой статье мы разберем три очень удобных решения.

Website Blocker

Простейший плагин, позволяющий блокировать сайты в браузере. Загрузить и настроить его выйдет следующим образом:

1. Перейдите на страницу https://chrome.google.com/webstore/detail/website-blocker-beta/hclgegipaehbigmbhdpfapmjadbaldib.
2. Кликните сначала на кнопку установки, а потом – на подтверждение.
3. Далее, перейдите на нежелательный интернет-ресурс.
4. Щелкните ЛКМ по новому значку.
5. Теперь задайте временной промежуток блокировки.
6. А потом нажмите на кнопку Block This.

При желании вы можете в окошке плагина вручную ввести ссылку, не переходя на нежеланную веб-страницу.

Преимущества:

• Быстрая блокировка любого ресурса.
• Очень быстрая работа в любых условиях.
• Возможность выбора времени блокировки.
• Простой процесс добавления сайта в список.
• Блокировка при помощи одной кнопки.
• Предельно простой процесс установки.
• Отличная работа с Яндекс.Браузером.
• Легкость в использовании.

Недостатки:

Нет русского языка в меню.

Block Site

1. Перейдите на страницу https://chrome.google.com/webstore/detail/block-site-website-blocke/eiimnmioipafcokbfikbljfdeojpcgbh?hl=ru.
2. Далее, кликните ЛКМ на синюю кнопку.
3. После этого выберите «Установить расширение».
4. На открывшейся странице нажмите «Принимаю».

Затем кликните ПКМ по новой иконке и перейдите в «Настройки».В текстовое поле вставьте ссылку на нежелательный ресурс и нажмите «плюсик». Тогда в браузере не будет к нему доступа. Также можно отключить ресурсы для взрослых, отметив соответствующий пункт.

Особенностью плагина является его возможность синхронизации с мобильной версией Block Site для интернет-обозревателя. То есть, недоступные на компьютере ресурсы будут запрещено и на смартфоне.

Преимущества:

• Быстрая и качественная блокировка любого ресурса.
• Возможность выбора времени запрета.
• Синхронизация с мобильной версией плагина.
• Превосходно оформленный интерфейс.
• Простая настройка.
• Очень простой процесс инсталляции.
• Отличная работа в Яндекс.Браузере.
• Плагин совершенно бесплатен.

Явных недостатков не замечено.

Adult Blocker

1. Откройте страницу https://chrome.google.com/webstore/detail/adult-block/deapbojkkighpdmmjgmankndcjafppck?hl=ru.
2. Нажмите на кнопку инсталляции.
3. Подтвердите выполнение процедуры.

После инсталляции на панели инструментов появится соответствующая иконка. Нужно кликнуть на нее и потом нажать «Регистрация».Затем – ввести требуемые данные и нажать «Запуск».

Установленный пароль необходим для доступа к меню управления Adult Blocker.

После следует посетить сайт, который нужно заблокировать, снова нажать на значок дополнения, ввести ранее указанный пароль и кликнуть по красной кнопке.После этого придется ввести пароль, который вы недавно придумали.

Конечно, блокировать сайты при помощи этого плагина немного сложнее, но зато надежнее. К тому же, в плагине имеется превосходно оформленное меню и даже русский язык. Последний факт точно обрадует отечественных пользователей.

Adult Blocker с успехом используют миллионы юзеров. Особенно хорошо то, что дополнение требует очень мало оперативной памяти. Это делает возможным его использование даже на относительно слабых машинах.

Преимущества:

• Быстрая и качественная блокировка любого ресурса.
• Простейший процесс инсталляции.
• Плагин отлично работает с Яндекс.Браузером.
• Защита паролем настроек расширения.
• Предельно простой и понятный интерфейс.
• Весьма приятное оформление.
• Есть русский язык в интерфейсе.
• Возможность настройки блокировки по часам.
• Очень простой управление.
• Потребляет мало оперативной памяти.
• Можно использовать на слабых машинах.

Недостатки:

Замечено не было.