Как найти и убрать дубли страниц

Виды дублей

Дубли страниц — одна из самых частых технических проблем, особенно на крупных сайтах и в интернет-магазинах. Поисковик видит несколько URL с одинаковым или почти одинаковым содержимым и не может однозначно выбрать, какую версию показывать в выдаче.

Технические дубли возникают из-за особенностей инфраструктуры: сайт доступен по http и https, с www и без, со слэшем в конце URL и без него. Параметры сортировки, фильтров, UTM-меток и сессионных идентификаторов создают сотни вариантов одной страницы.

Содержательные дубли — когда разные URL ведут на страницы с похожим текстом: копии описаний от поставщика в карточках товаров, несколько статей на одну тему, страницы «услуга + город» с минимальными отличиями. Поисковик воспринимает их как конкуренцию внутри сайта.

Отдельная категория — дубли пагинации и сортировок в каталогах. Страница «каталог/page/2/» без canonical на первую страницу или с тем же Title, что и основная категория, размывает релевантность всего раздела.

Найти дубли помогает краул сайта: сравнение Title, H1, meta description и хеша контента по всем обнаруженным URL. SEOSCANUM при аудите показывает группы страниц с совпадающими метаданными и предлагает приоритет исправлений на основе данных Search Console — какие дубли уже получают показы и клики.

• Технические: со слэшем/без, http/https, с www/без, с параметрами
• Пагинация и сортировки без canonical
• Содержательные: похожие тексты и почти одинаковые страницы

Чем вредны дубли

Главный вред дублей — размывание сигналов ранжирования. Внешние ссылки, внутренняя перелинковка и поведенческие сигналы распределяются между несколькими URL вместо концентрации на одной канонической странице. В итоге ни одна версия не набирает достаточный «вес» для ТОПа.

На крупных сайтах дубли напрямую бьют по краулинговому бюджету. Робот тратит время на обход одних и тех же страниц под разными адресами, вместо того чтобы индексировать новые товары, статьи или категории. В Search Console это видно по росту «Просканировано, но не проиндексировано».

Каннибализация — следствие содержательных дублей. Несколько страниц конкурируют за один запрос, и поисковик чередует их в выдаче или понижает обе. В отчёте «Эффективность» GSC один запрос может показывать разные URL в разные недели — явный признак внутренней конкуренции.

Дубли ухудшают аналитику: органический трафик «размазывается» по URL, сложнее понять, какая страница реально работает. Без склейки дублей метрики в Search Console и Метрике занижены для каждой отдельной версии.

Исправление дублей часто даёт быстрый эффект — иногда заметнее, чем написание нового контента. Особенно если каноническая версия уже была на второй странице выдачи и после склейки получила весь накопленный сигнал.

Как найти дубли

Первый источник — Google Search Console. В отчёте «Страницы» ищите предупреждения о дублях без выбранной пользователем canonical. Раздел «Эффективность» покажет запросы, по которым в выдаче участвуют разные URL вашего сайта.

Технический краул обходит сайт как поисковый робот и собирает все URL с кодами ответов, Title, canonical и длиной контента. Группировка по одинаковым Title — быстрый способ найти массовые дубли в каталогах.

Проверьте site:yourdomain.com в поиске — иногда видны страницы, которые не должны индексироваться: версии для печати, параметры фильтров, старые URL после редизайна. Сравните число URL в индексе с числом страниц в sitemap.

Для интернет-магазинов отдельно проверяют карточки с одинаковыми описаниями от производителя, категории с пустым или шаблонным текстом и комбинации фильтров. Wordstat и данные GSC подскажут, какие фильтры дают спрос, а какие — только дубли.

SEOSCANUM объединяет краул с данными Search Console: вы видите не абстрактный список «100 дублей», а конкретные группы с указанием, сколько показов и кликов теряется из-за размывания. Платите за конкретный аудит, без подписки на ежемесячные отчёты.

Как устранить

Выбор инструмента зависит от типа дубля. Для технических версий одной страницы (http/https, www, слэш) — 301-редирект на единственный канонический URL. Редирект передаёт накопленные сигналы и исключает параллельную индексацию.

Для фильтров, сортировок и параметров URL — rel="canonical" на основную страницу категории или на специально созданную посадочную под востребованную комбинацию. Canonical не удаляет URL, но подсказывает поисковику главную версию.

Содержательные дубли лечатся иначе: объединение страниц в одну сильную (301 со слабых на сильную), уникализация контента или закрытие малополезных страниц через noindex. Если две статьи отвечают на один запрос — оставьте одну, вторую переработайте под смежный интент.

После исправлений проверьте sitemap: в нём должны остаться только канонические URL с кодом 200. Отправьте обновлённую карту в Search Console и через 2–4 недели сравните число проиндексированных страниц и динамику по целевым запросам.

Не пытайтесь закрыть все дубли через robots.txt — робот не увидит noindex на заблокированных URL, и страницы могут остаться в индексе по внешним ссылкам. Для удаления из индекса нужен именно noindex или 301 на каноническую версию.

• canonical для фильтров, сортировок и параметров
• 301-редиректы для склейки технических дублей
• Уникализация или объединение содержательных дублей

Профилактика дублей

Задайте единые правила URL при разработке: только https, один вариант www, единообразные слэши, транслит или латиница — и зафиксируйте их в документации. Любая новая фича (фильтры, теги, гео-страницы) должна проходить проверку на риск дублей.

Шаблоны CMS часто генерируют дубли «из коробки»: версии для печати, RSS, AMP, мобильные поддомены. Проверяйте canonical в шаблонах категорий, товаров и статей до запуска.

При добавлении фильтров в каталог заранее определите белый список комбинаций под посадочные страницы, остальное — canonical на категорию. Это дешевле, чем чистить тысячи проиндексированных дублей post factum.

Раз в квартал запускайте контрольный краул или аудит — особенно после релизов и интеграций. Дубли имеют свойство накапливаться незаметно, пока не ударят по трафику.