robots.txt
robots.txt — служебный файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно обходить, а какие нет.
Файл управляет обходом, но не гарантирует исключение из индекса — для этого используется meta robots noindex. Одна лишняя строка Disallow способна закрыть от робота важный раздел.
В robots.txt также принято указывать ссылку на sitemap.xml. Файл должен отдавать код 200 и быть доступен по адресу /robots.txt.
Не блокируйте CSS и JS — Googlebot не сможет отрендерить страницу. Не используйте Disallow для deindex — робот не увидит noindex.
После каждой доработки сайта перечитывайте robots.txt: staging-конфиги с Disallow: / часто попадают в production.
Смотрите также
Проверьте свой сайт за пару минут
Запустите бесплатное демо-аудита — увидите главные проблемы без оплаты и без подписки.