Проверка robots.txt и sitemap.xml
robots.txt и sitemap.xml управляют тем, как робот обходит сайт. Одна ошибка здесь способна закрыть от индексации целый раздел.
Два небольших файла с непропорционально большим влиянием. Модуль сверяет robots, sitemap и фактический краул.
Что проверяем
Эти два файла — «правила дорожного движения» для поисковых роботов.
- robots.txt: нет ли случайных Disallow на важные разделы
- Указание sitemap в robots.txt
- sitemap.xml: актуальность, корректный формат, коды ответов URL
- Соответствие sitemap реальной структуре сайта
URL в sitemap с noindex
Противоречивые сигналы — находка. Либо убрать из sitemap, либо открыть индексацию.
Index sitemap
Крупные сайты — несколько файлов и sitemap index. Проверяем доступность каждого child sitemap.
После релиза CMS
Обновление плагина SEO часто меняет robots/sitemap — повторный аудит после деплоя.
Частые вопросы
Disallow / запрещает всё?
Sitemap в Search Console достаточно?
Lastmod в sitemap?
Читайте также
Проверка технических ошибок сайта
Технические ошибки — первое, что мешает сайту нормально индексироваться. Проверяем доступность, коды ответов и директивы для роботов.
Проверка индексации: все ли нужные страницы в поиске
Если страница не в индексе — она не приносит трафик. Находим, что мешает индексации и почему нужные страницы не попадают в поиск.
Структура сайта и перелинковка
Логичная структура помогает и пользователю, и роботу. Проверяем вложенность, перелинковку и находим потерянные страницы без входящих ссылок.
Проверьте свой сайт за пару минут
Запустите бесплатное демо-аудита — увидите главные проблемы без оплаты и без подписки.