Генератор robots.txt
Отметьте запреты и укажите карту сайта — скачаете готовый файл. Считаем его у вас в браузере, на сервер ничего не уходит.
Как пользоваться
- 1Укажите пути Disallow и Allow — по одному на строку.
- 2Добавьте абсолютный адрес sitemap.xml, если он есть.
- 3Скопируйте или скачайте файл в корень сайта.
- 4Проверьте его живым инструментом проверки robots.txt.
Зачем генератор, а не пустой файл из головы
Готовый robots.txt из блога 2014 года часто закрывает /cgi-bin и ничего больше не знает про вашу CMS. Генератор нужен, чтобы собрать минимальный валидный файл: User-agent: *, свои запреты, Allow для исключений, Sitemap и при желании Host для Яндекса.
Расчёт на клиенте: мы не храним ваши пути. После выкладки обязательно прогоните проверку и тестер пути — иначе легко закрыть /admin вместе с /administrator-cabinet, который продаёт услуги.
Какие поля имеют смысл
Disallow — префиксы, которые робот не должен обходить: корзина, поиск, личный кабинет, служебные параметры. Allow — исключения из широкого запрета. Sitemap — абсолютный https-адрес карты. Host — предпочитаемое зеркало для Яндекса; Google это поле игнорирует.
Crawl-delay ставьте только если понимаете эффект: Google его не читает, Яндекс может замедлить обход. Для большинства сайтов поле лучше оставить пустым.
Чего не делать
Не закрывайте CSS и JS, которые нужны для рендера. Не копируйте Disallow: / на время разработки и не забывайте снять. Не указывайте Sitemap на HTML. Не держите два противоречивых файла на www и без www — склейте зеркала редиректом.
Генератор не знает вашу CMS. Шаблоны Битрикса и WordPress лучше сверить с документацией платформы и с проверкой живого файла.
llms.txt и robots — разные файлы
robots.txt — для поисковых роботов. llms.txt — подсказка для ИИ-агентов, что читать на сайте. Их путают. Генератор llms.txt — соседняя страница.
После публикации обоих файлов имеет смысл технический аудит: он увидит конфликты noindex и карты сайта, которых генератор не знает.
Частые вопросы
Куда класть файл?
Нужен ли Host?
Можно закрыть сайт от ИИ в robots?
Файл уходит на сервер SEOSCANUM?
Нужна регистрация?
Ещё на сайте
Проверка robots.txt
Откроем /robots.txt сайта, разберём директивы User-agent: * и покажем, не закрыт ли весь сайт. Регистрация не нужна.
Тестер пути в robots.txt
Заберём robots.txt и применим правила User-agent: * к вашему пути. Как в спецификации: длинное совпадение сильнее.
Генератор llms.txt
Файл для ИИ-агентов: коротко кто вы и какие страницы читать. Это не robots.txt и не гарантия цитирования.
Проверка sitemap.xml
Найдём /sitemap.xml, посчитаем <loc> и точечно сходим по нескольким адресам из карты. Без кабинета.
Определить CMS
Движок по HTML и заголовкам.
Генератор UTM
Собрать метки для рекламы.
Проверьте свой сайт за пару минут
Запустите бесплатное демо-аудита — увидите главные проблемы без оплаты и без подписки.
Платный аудит — от 99 ₽ за запуск. Все тарифы