Тестер пути в robots.txt
Заберём robots.txt и применим правила User-agent: * к вашему пути. Как в спецификации: длинное совпадение сильнее.
Как пользоваться
- 1Укажите сайт и путь вида /catalog/filter/.
- 2Смотрим, какое правило Disallow сработало.
- 3Allow той же или большей длины снимает запрет.
- 4Правила других User-agent смотрите в полном тексте файла.
Чем тестер отличается от просмотра файла
Просмотр robots.txt показывает директивы списком. Тестер отвечает на вопрос: «этот путь робот с User-agent: * не должен обходить?» Это частый спор после того, как разработчик добавил Disallow: /? и закрыл ЧПУ с вопросом.
Совпадение считаем по префиксу и простым шаблонам * и $. Не эмулируем всех ботов Яндекса и Google с их историческими нюансами. Для спорных случаев держите официальные тестеры в Вебмастере и Search Console.
Как выбираем правило
Среди Disallow берём самое длинное совпадение. Если Allow не короче — путь открыт. Пустой Disallow ничего не закрывает. Disallow: / закрывает всё, кроме более точных Allow.
Группы другого User-agent в расчёт не берём: иначе пришлось бы угадывать, каким ботом вы себя считаете. Файл целиком виден в проверке robots.txt.
Примеры, которые путают
Disallow: /admin и путь /administration — префикс совпал, путь закрыт. Disallow: /*.pdf$ закрывает PDF в конце URL. Пробелы и комментарии после # отбрасываем.
Кодировка кириллицы в пути: лучше тестировать тот вид, который отдаёт сервер после нормализации. Если сомневаетесь, вставьте полный URL — путь возьмём из него.
Когда идти в аудит
Если закрытыми оказались категории, которые должны продаваться, чинить файл нужно сразу. Аудит покажет, сколько URL попали под правило, а не один путь.
Инструмент бесплатный. Не заменяет официальные тестеры кабинетов, но совпадает с ними на типовых правилах.
Частые вопросы
Это официальный тестер Google?
Можно проверить YandexBot?
Allow важнее Disallow?
Путь без слэша в начале?
Нужна регистрация?
Ещё на сайте
Проверка robots.txt
Откроем /robots.txt сайта, разберём директивы User-agent: * и покажем, не закрыт ли весь сайт. Регистрация не нужна.
Проверка сигналов индексации URL
Покажем, не закрыта ли страница от индекса тегами и robots.txt. В выдачу Google и Яндекса мы не подглядываем.
Генератор robots.txt
Отметьте запреты и укажите карту сайта — скачаете готовый файл. Считаем его у вас в браузере, на сервер ничего не уходит.
Проверка sitemap.xml
Найдём /sitemap.xml, посчитаем <loc> и точечно сходим по нескольким адресам из карты. Без кабинета.
Определить CMS
Движок по HTML и заголовкам.
Генератор UTM
Собрать метки для рекламы.
Проверьте свой сайт за пару минут
Запустите бесплатное демо-аудита — увидите главные проблемы без оплаты и без подписки.
Платный аудит — от 99 ₽ за запуск. Все тарифы