Проверка robots.txt

Зачем проверять robots.txt

robots.txt — первое, что читает робот поисковой системы. Одна лишняя строка Disallow: / прячет весь сайт из обхода. Запрос «проверка robots txt» обычно значит: убедиться, что каталог, блог и фильтры не закрыты случайно после переноса, смены CMS или правок разработчика.

Файл не ранжирует страницы и не заменяет noindex. Он говорит роботу, куда ходить. Если раздел закрыт здесь, контент на этих URL робот может не увидеть — даже если в Search Console карта сайта стояла правильно.

Что смотрит этот инструмент

Мы запрашиваем https://ваш-домен/robots.txt тем же маршрутом, что и остальные публичные проверки SEOSCANUM. Показываем код ответа, сырой текст, список Disallow/Allow для User-agent: * и указанные Sitemap. Если файла нет или сервер отдал 404 — так и пишем, без «скорее всего всё хорошо».

Правила других агентов (AdsBot, спецдирективы Битрикса) в этой быстрой проверке не разбираем по отдельности: для этого нужен полный краул. Конфликт Allow и Disallow на одном пути считаем по длине совпадения: более длинное правило сильнее, при равенстве Allow побеждает.

• Код ответа файла и факт, что текст не пустой
• Запрет всего сайта директивой Disallow: /
• Указание Sitemap: в файле
• Список путей, которые робот не должен обходить

Частые ошибки в robots.txt

Закрывают /catalog/ вместе с карточками товара. Пишут Disallow: /wp-admin и случайно режут /wp-content/themes — Google не рендерит CSS. Ставят Crawl-delay для Googlebot: Google его игнорирует, Яндекс — нет. Указывают Sitemap на HTML-страницу или на старый домен после переезда.

Отдельная ловушка — отдавать robots.txt с 301 на главную или с заголовком noindex. Робот может перестать доверять файлу. Проверка статуса здесь как раз для этого: 200 и текст директив, не редирект на лендинг.

Чем проверка файла отличается от аудита

Один robots.txt не покажет noindex в HTML, X-Robots-Tag и страницы, которые закрыты только в шаблоне CMS. Аудит SEOSCANUM обходит URL, сверяет карту сайта и — если подключены Search Console и Вебмастер — фактическую индексацию.

Инструмент бесплатный и без кабинета. Результат можно скопировать и отправить разработчику. Если нужно понять масштаб по всему сайту — запустите технический модуль.