Проверка индексации: все ли нужные страницы в поиске

Карта причин: от hard-блока до soft-исключения

Hard-блок: Disallow, meta robots noindex, x-robots-tag, авторизация, 4xx/5xx. Soft-сценарии: canonical на другой документ, тонкий контент и дубли (риск pandaDemotion / LOW_DEMAND), сирота без ссылок, переизбыток параметрических URL.

• Согласованность robots ↔ meta robots ↔ canonical
• Страницы в sitemap, но закрытые от индекса
• Индексируемые URL вне перелинковки (сироты)
• Пагинация и фильтры без политики index/noindex
• Расхождения «должна индексироваться» vs статус в GSC/Вебмастере

Как доказательный подход меняет приоритеты

Имеет смысл чинить индексацию там, где есть спрос: запросы и показы в Search Console. URL без спроса и без коммерческой роли часто правильнее сознательно оставить вне индекса (приём 4), чем насильно «протолкнуть» тонкую страницу.

Так вы защищаете Q* сайта: меньше малоценных документов в индексе — чище topicality и меньше риска массовых DELETE по LOW_DEMAND.

Дубли и каноникал как индексационный фактор

Несколько почти одинаковых URL (www/non-www, слэш, параметры, сортировки) конкурируют друг с другом. ContentChecksum-подобная логика поисковиков склеивает близкие документы; без явного canonical/301 вы теряете фокус релевантности.

В отчёте группируем кластеры дублей и рекомендуем стратегию: 301 при слиянии навсегда, canonical когда вариант нужен пользователю, noindex для бесконечных комбинаций фильтров.

Crawl budget на больших сайтах

На каталогах от десятков тысяч URL лишние комбинации отнимают обход у карточек и категорий с деньгами. Модуль показывает «шумные» шаблоны и предлагает политику: что индексировать, что закрыть, что оставить для UX без индекса.

После исправлений

Индексация не мгновенна. Операционный цикл: fix → повторный краул → запрос переобхода важных URL в консолях → контроль покрытия через 1–4 недели. Повторный аудит фиксирует, какие блокировки сняты и не появились ли новые.