← linkbuilding.pw · что проверяем: 116 пунктов

Главная → robots.txt

robots.txt: что это и как настроить

Здесь настраиваем обход роботом. Если нужно узнать, попала ли страница в поиск, используйте проверку индексации. Запрет обхода, исключение из индекса и защита конфиденциальных данных — разные задачи.

robots.txt — текстовый файл в корне сайта, который говорит поисковым роботам, куда можно ходить, а куда не нужно. Это не защита и не «удаление из индекса»: файл лишь просит робота не обходить страницы, а страницы, уже попавшие в индекс, он не выкидывает.

Ошибка в одну строку здесь стоит дорого: `Disallow: /` закрывает от поиска весь сайт, поэтому результат проверяют сразу после изменения, а не ждут падения трафика.

Где он лежит

Всегда в корне домена: https://ваш-домен/robots.txt. Не в подпапке и не в CMS — именно в корне, иначе робот его не найдёт. Если сайт на поддомене, файл нужен свой, у каждого поддомена.

Какие директивы работают

Рабочий пример

User-agent: *
Disallow: /search/
Disallow: /cart/
Allow: /search/about/

Sitemap: https://ваш-домен/sitemap.xml

Что здесь важно: закрыты служебные разделы, которые не должны попадать в поиск; разрешена полезная страница внутри закрытого раздела; указана карта сайта; сам сайт не закрыт.

Чего не делать

• Не закрывать весь сайт случайно. Правило Disallow: / может относиться как ко всем роботам, так и к конкретной группе: проверьте нужный User-agent. Для краткого технического обслуживания используйте временный ответ 503 с Retry-After, а не запрещайте обход всего сайта в robots.txt: поисковику нужно увидеть ответ сервера.
• Не закрывать CSS и JS. Роботу нужно видеть оформление, иначе он неправильно оценит мобильную версию и скроет часть контента.
• Не «удалять» страницы через robots.txt. Для удаления из индекса есть noindex или 404; robots.txt только запрещает обход и может помешать роботу увидеть тот же noindex.
• Не переносить файл. robots.txt работает только в корне.
• Не путать с картой сайта. Это разные файлы: robots.txt — правила обхода, sitemap.xml — перечень страниц.

Как проверить, что всё работает

1. Откройте https://ваш-домен/robots.txt — файл должен отдавать код 200 и обычный текст.
2. Проверьте, что в нём указана карта сайта и она доступна.
3. Проверьте, нет ли запрета Disallow: / именно для нужного поискового робота: отдельные ограничения других ботов могут быть намеренными.
4. В Яндекс.Вебмастере и Search Console проверьте раздел «Диагностика» / «Файл robots.txt» и «Проверка URL» по важной странице.
5. Через неделю сверьте: число страниц в индексе не падает.

Частный случай: закрыть параметры в адресах

Фильтры, сортировки и utm-метки плодят копии страниц. Для настоящих дублей выберите основной адрес и, по ситуации, canonical или 301. Не запрещайте обход URL, если робот должен увидеть на нём canonical, редирект или noindex. Ограничение обхода избыточных параметров рассматривайте отдельно; у Яндекса есть Clean-param. Подробно — в статье дубли страниц.

Что писать в CMS

Файл лежит в корне сайта, поэтому правят его по-разному:

• WordPress. Либо плагин SEO-панели (там есть редактор роботса), либо файл в корне через FTP — но тогда плагин может его перезаписать.
• 1С-Битрикс. Файл в корне; настройки «роботс» есть и в административном разделе — изменения в одном месте отменяют другое, проверяйте результат по адресу.
• MODX. Обычный текстовый файл в корне, правится по FTP.
• Tilda и конструкторы. Часто нет прямого доступа к файлу: посмотрите в настройках домена или напишите в поддержку — иначе раздел закрыть не получится.

Как выбрать способ ограничения

Если страницу нельзя показывать в поиске, но можно открывать посетителям, используйте noindex и оставьте роботу возможность прочитать директиву. Если содержимое конфиденциально, нужна авторизация: robots.txt и noindex не защищают данные. Удалённый без замены адрес возвращает 404 или 410; при постоянном переносе на равноценную страницу используют 301. Для настоящих копий отдельно выбирают канонический адрес.

Чек-лист

• файл в корне и отдаёт 200;
• нет непреднамеренного Disallow: / для нужных поисковых роботов;
• служебные разделы закрыты;
• CSS и JS открыты;
• указан Sitemap;
• правила для Яндекса и Google не противоречат друг другу;
• после правок проверено в панелях обеих систем.