Проверка robots.txt: не закрыто ли лишнее

Полный аудит vs точечная проверка

Описательные страницы инструментов объясняют, на что смотреть. Полный аудит SEOSCANUM собирает краул, интеграции, приоритеты и ТЗ в одном отчёте — оплата за запуск, без подписки.

Если нужна только одна проверка — демо-аудит до 15 страниц бесплатно покажет масштаб проблем. Для сайта с сотнями URL имеет смысл полный технический модуль с данными GSC.

Как SEOSCANUM использует данные

Находки строятся на реальном обходе и подключённых API (PageSpeed Insights, Search Console, Яндекс.Вебмастер). Блоки без данных честно помечены — мы не подставляем средние по рынку цифры.

Результат — список проблем с приоритетом и экспорт в ТЗ, а не синтетический «балл SEO 73/100».

На что смотреть в robots.txt

Файл маленький, но цена ошибки высокая. Типичные промахи: закрыли весь /catalog из-за лишнего слэша, забыли Allow для CSS/JS (Google нужен рендер), указали sitemap на несуществующий URL.

• Не закрыты ли важные разделы директивой Disallow
• Указана ли ссылка на sitemap.xml
• Нет ли конфликтов правил для разных роботов
• Доступен ли сам файл (код ответа 200)

robots.txt vs meta robots

robots.txt запрещает обход, но URL может оказаться в индексе по внешним ссылкам — без содержимого страницы. meta robots noindex на странице — другой механизм. В полном аудите SEOSCANUM проверяет оба слоя и конфликты между ними.

Что даёт полный аудит

Проверка одного файла не заменяет обход сайта. Аудит находит страницы с noindex в HTML, X-Robots-Tag в заголовках и расхождения с robots.txt по всему дереву URL.

Каждая проблема — с приоритетом и списком затронутых адресов. Оплата за запуск, без подписки.

Типичные ошибки по CMS

WordPress: закрытие /wp-admin/ нормально, но иногда вместе с ним блокируют нужные пути плагина. Битрикс: служебные параметры в Disallow. Tilda: ограниченный ручной контроль — важнее проверить фактическую индексацию через GSC.