Почему страницы не индексируются и как это исправить

Проверьте запреты

Сначала исключите очевидные технические запреты — они блокируют индексацию напрямую и исправляются быстро. Большинство «пропавших» страниц имеют именно техническую причину.

Disallow в robots.txt на нужном разделе — робот просто не заходит на страницы. Проверьте файл /robots.txt: нет ли строки Disallow, закрывающей каталог, блог или другой важный раздел. Одна ошибка разработчика может закрыть весь сайт.

Meta robots noindex на странице — явный запрет индексации. Часто остаётся после тестового окружения или staging. Проверьте исходный код: <meta name="robots" content="noindex">. Для WordPress noindex может включаться настройкой «видимость для поисковых систем».

Canonical, указывающий на другую страницу — поисковик индексирует канонический URL, а не текущий. Если canonical на всех страницах каталога указывает на главную — каталог выпадет из индекса.

Ошибки сервера при обходе (5xx) — робот не может получить страницу. Проверьте в Search Console → «Страницы» → «Ошибка сервера». Массовые 500/503 часто связаны с перегрузкой или некорректным деплоем.

• Disallow в robots.txt на нужном разделе
• meta robots noindex на странице
• canonical, указывающий на другую страницу
• Ошибки сервера при обходе (5xx)

Оцените качество страницы

Если запретов нет, но страница всё равно не в индексе, причина может быть в качестве: тонкий контент, дубль, отсутствие спроса. Поисковик просто не считает страницу достойной индекса.

Тонкий контент — страница с минимумом текста, без уникальной ценности. Типичные примеры: страницы фильтров без описания, карточки товаров с одной строкой от поставщика, автосгенерированные гео-страницы.

Дубль — страница с содержимым, которое уже есть на другом URL. Поисковик выбирает один канонический вариант и может не индексировать остальные. Проверьте, нет ли идентичных Title и H1 на разных URL.

Отсутствие спроса — страница технически корректна, но никто не ищет эту тему. Поисковик может обойти страницу, но не добавить в индекс. Данные Wordstat помогут оценить, есть ли запрос.

Soft 404 — страница отдаёт код 200, но по сути пустая или с сообщением «ничего не найдено». Google распознаёт такие страницы и исключает из индекса.

Помогите роботу найти страницу

Добавьте страницу в sitemap, поставьте на неё внутренние ссылки и уберите её из «сирот». Чем лучше страница вписана в структуру, тем выше шанс индексации.

Страницы-сироты — URL без входящих внутренних ссылок. Робот может их не найти, даже если они в sitemap. Добавьте ссылки из меню, категорий, хлебных крошек или блоков «похожие материалы».

Sitemap ускоряет обнаружение, но не гарантирует индексацию. Убедитесь, что URL в sitemap отдаёт 200, не имеет noindex и не является редиректом.

Запрос на переобход в Search Console («Проверка URL» → «Запросить индексирование») ускоряет процесс для отдельных страниц. Для массовых проблем это не масштабируется — нужно устранять причину.

Внешние ссылки на страницу тоже помогают роботу её обнаружить, но для внутренних страниц достаточно грамотной перелинковки.

Диагностика через Search Console

Google Search Console → «Страницы» — главный инструмент диагностики. Здесь видно, сколько URL проиндексировано, сколько исключено и по какой причине.

Типичные причины исключения: «Заблокировано robots.txt», «Страница с перенаправлением», «Дубль без выбранной канонической версии», «Исключено тегом noindex», «Обнаружена, не проиндексирована».

Последняя причина («Обнаружена, не проиндексирована») означает, что Google знает о странице, но считает её недостаточно ценной. Решение — улучшить контент и перелинковку.

Яндекс.Вебмастер → «Индексирование» показывает аналогичные данные для Яндекса. Проблемы могут отличаться: страница в Google есть, в Яндексе — нет, и наоборот.

План действий

Составьте таблицу: URL → статус в GSC → статус в Вебмастере → предполагаемая причина → действие. Начните с URL, которые раньше давали трафик.

Технические проблемы (noindex, robots, canonical) исправляйте первыми — эффект виден через 3–14 дней после переобхода.

Проблемы качества требуют доработки контента — это дольше, но без этого страница не удержится в индексе.

SEOSCANUM при аудите автоматически находит страницы с проблемами индексации и связывает их с данными Search Console — вы видите, что именно чинить.