Проверка индексации сайта

Цель — выяснить статус конкретных URL у поисковика и причину исключения, а не просто проверить наличие файлов. Правила robots.txt управляют обходом, а карта сайта сообщает об адресах; ни одно из них само по себе не подтверждает индексацию.

Индексация — это наличие страниц сайта в базе поисковой системы. Пока страницы нет в индексе, она не показывается в выдаче, каким бы хорошим ни был текст. Поэтому проверка индексации — первое, что стоит делать при разборе «сайт есть, а его не видно».

Три способа проверить

Оператор site: — быстрый способ. site:example.ru показывает часть результатов по домену, а не полный список и не точное число проиндексированных страниц. Оператор неточный: цифры приблизительные, но общую картину даёт за секунду.
Яндекс.Вебмастер — раздел «Индексирование» → «Страницы в поиске». Там видно, какие адреса в индексе, какие исключены и по какой причине.
Google Search Console — отчёт «Индексирование страниц». Показывает статусы: проиндексировано, не проиндексировано, обнаружено, но не проиндексировано, исключено и причины.

Для конкретной страницы используйте проверку URL: в Вебмастере и Search Console можно вставить адрес и увидеть, есть ли он в индексе и когда его последний раз обходили.

Почему страница не индексируется

Закрыта в robots.txt. Робот не заходит на страницу и не видит её содержимое. Проверьте директиву Disallow для нужного раздела.
Стоит noindex. Мета-тег или HTTP-заголовок запрещает добавлять страницу в индекс. Частая ошибка после копирования шаблона.
Страницы нет в карте сайта и на неё нет внутренних ссылок. Робот может просто не узнать о её существовании.
Дубль. Поисковик считает страницу копией другой и выбирает основным другой адрес. Смотрите статус «Альтернативная страница с каноническим тегом».
Мягкая 404. Страница отдаёт 200, но показывает «ничего не найдено». Поисковик считает её пустой.
Страница тонкая. Мало содержания или оно повторяется на десятках других адресов.
Ошибка сервера. Код 5xx при обходе: робот откладывает страницу до следующей попытки.

Как ускорить попадание в индекс

Добавьте адрес в sitemap.xml и убедитесь, что карта отдаёт 200 и содержит только нужные страницы. Что это за файл — в статье sitemap.xml.
Поставьте ссылку на новую страницу из меню или из существующей статьи: внутренние ссылки — самый надёжный способ сообщить о странице.
В Вебмастере и Search Console запросите переобход адреса вручную.
Проверьте, что страница не закрыта случайно: robots, noindex, canonical на чужой адрес.
Подождите. Запрос переобхода не гарантирует индексацию и не задаёт фиксированного срока: проверяйте статус URL в панели поисковика.

Что считать нормой

В индексе обычно меньше адресов, чем есть на сайте, и это нормально: служебные страницы, фильтры и параметры туда не нужны. Тревожный сигнал — когда выпадают страницы с трафиком или целые разделы, а также когда число страниц в индексе резко падает без правок на сайте.

Проверка после правок

Сравните список адресов из индекса с картой сайта: чего не хватает, что лишнее.
Для страниц с трафиком проверьте статус и дату последнего обхода.
Если страница выпала — найдите причину в отчёте, а не перезаливайте её.
Отслеживайте динамику раз в две недели, а не ежедневно: индексация инерционна.

Сколько страниц сайта должно быть в индексе?

Столько, сколько нужно для трафика. Ориентир — все содержательные страницы: услуги, разделы, статьи. Служебные и технические адреса в индексе не нужны, для исключения используют noindex при разрешённом обходе; редирект нужен только при подходящей замене. Конфиденциальные данные защищают авторизацией.

Сайт в индексе, но не в топе — это нормально?

Да, индексация — только допуск к выдаче. Позиции зависят от релевантности страницы запросу, конкурентов и общего веса сайта. Порядок работ — в статье как поднять сайт в поиске.

Почему из индекса пропала страница, которая была?

Частые причины: страница стала недоступна (404/500), на ней появился noindex, её признали дублем другой страницы или она перестала отвечать требованиям качества. Начинайте с проверки кода ответа и мета-тегов.

По теме: роботс и директивы обхода. · ошибка 404

Смежная тема: трафик упал, а проверки проходят — как отличить потерю индексации от изменения выдачи.

Не сходится число страниц в индексе и на сайте? Заявка на экспресс-обзор: покажем, какие адреса выпали и почему.