Дубли страниц: как найти и убрать

Здесь ищем и разбираем копии адресов и содержимого. Похожие слова ещё не делают страницы дублями. После сравнения решаем, нужен ли перенос через 301, выбор канонической версии или сохранение самостоятельных материалов.

Дубль — это одна и та же страница, доступная по разным адресам, или разные страницы с почти одинаковым содержанием. Поиск видит их как конкурентов самим себе: вместо одного сильного адреса получается несколько слабых.

Типичные дубли

Протокол и домен: адрес открывается по http и по https, с www и без www.
Файлы на конце адреса: /index.html и / показывают одну страницу.
Слэш на конце: /услуги и /услуги/ открываются оба.
Параметры: ссылки с ?utm_… или сортировками, которые добавляют копии страниц.
Одинаковые разделы: один и тот же текст в двух разделах или в тестовых и архивных копиях.

Как найти

Обход сайта. Краулер пройдёт все ссылки и покажет повторяющиеся title, description и H1. Бесплатные версии обычно ограничивают число адресов, для маленьких сайтов этого хватает.
Проверка адресов вручную. Откройте главную по http, с www и с /index.html. Каждый лишний вариант должен перенаправлять на один адрес кодом 301.
Отчёты поисковых систем. После подключения сайта в Яндекс.Вебмастере и Search Console смотрите раздел со страницами в индексе: лишние адреса там видны сразу.

Как убрать

301-редирект на основной адрес, если дубль не нужен. Для www, http и /index.html это самый простой путь.
canonical на основную версию, если страница нужна пользователям, но похожа на другую. Например, страница с параметрами.
noindex для служебных страниц, которые не должны попадать в поиск, например страниц входа или архивных версий.
robots.txt — закрыть целые разделы параметров, но только если вы уверены, что там нет нужных страниц. Закрытая в robots.txt страница может остаться в поиске без описания, поэтому для удаления из индекса нужен noindex.
Удаление архивов. Старые копии, которые лежат на сайте и открываются по адресу, стоит удалить или закрыть.

Частые ошибки

Canonical указывает на адрес, который сам отдаёт 404 или редирект.
Цепочки редиректов: адрес → адрес → адрес. Лучше сразу один переход на итоговую страницу.
Нужную страницу случайно закрыли noindex или robots.txt.

Проверка после правок

Повторите обход сайта и проверьте, что каждый дубль отдаёт 301 или имеет canonical на основной адрес. Затем посмотрите в отчётах поисковых систем, сколько лишних адресов осталось в индексе. Это не делается за один день: поисковикам нужно время, чтобы переобойти сайт.

Как найти дубли страниц в Google Search Console

Откройте в Search Console отчёт по индексации страниц. Найдите статусы, связанные с дубликатами и каноническими адресами: в них обычно написано, что Google выбрал другую страницу как основную. Выгрузите список адресов и сравните его с картой сайта. Адреса, которых в карте нет, но которые индексируются, — кандидаты на дубли. Дальше решаем: редирект, canonical или закрытие от индексации.

Страницы исключены из поиска как дубликаты

Бывает, что страница есть на сайте, но не попадает в поиск, потому что поисковик считает её копией другой. Причины обычно такие: одинаковый текст на разных адресах, адреса с параметрами, версии с www и без, с http и с https. Проверьте, какой адрес должен быть основным, и настройте редиректы или canonical на него.

По теме: robots.txt и карта сайта · кластеризация запросов. · страница 404

Не уверены, какие дубли есть у вашего сайта? Заявка на экспресс-обзор: три главные находки на почту, без обещаний позиций.