Проверка технических ошибок сайта

Что именно измеряем в обходе

Краулер ходит по внутренним ссылкам в заданных пределах глубины и объёма — как production-обход, а не проверка «главной за 30 секунд». На каждый URL фиксируем evidence: статус, цепочку редиректов, итоговый адрес, заголовки, которые влияют на индексацию.

• Коды 200 / 3xx / 4xx / 5xx и длина цепочек редиректов (петли, mixed http→https→http)
• robots.txt: Disallow на важные разделы, конфликты Allow/Disallow, блокировка sitemap
• XML-sitemap: доступность, битые URL в карте, смешение indexable и noindex
• canonical, meta robots, x-robots-tag — согласованность сигналов
• Время ответа и доступность: таймауты и нестабильный origin

Почему это связано с pandaDemotion и crawl budget

Книга «Доказательное SEO» прямо связывает массу «пустых» и ошибочных URL с размытием E-E-A-T и штрафами качества. Технический шум (параметры, 404 в меню, sitemap с мусором) заставляет робота тратить обход на бесполезные адреса и ослабляет сигнал важных страниц.

Поэтому находки не равны: 404 в футере на money-page с кликами из GSC важнее сотни 404 в старом архиве без показов. Приоритет — пересечение ошибки и поискового спроса, а не «количество ошибок в отчёте».

robots.txt как управление памятью индекса

Приём 4 доказательного подхода: сознательно исключать пустые и тонкие URL до того, как они закрепятся в индексе. В отчёте мы показываем, что закрыто ошибочно (каталог, фильтры с ценностью) и что, наоборот, открыто без смысла (служебные параметры, корзины, личные кабинеты).

Исправление — не «открыть всё», а whitelist важных сущностей и Disallow для заведомо бесполезных шаблонов. Это защита topicality сайта, а не косметика файла.

Связь с консолями поиска

Без GSC/Вебмастера модуль честно ограничивается краулом. С интеграцией сопоставляем: URL с ошибкой покрытия, «обнаружено — не проиндексировано», сканирование с ошибкой сервера. Расхождение «на сайте 200, в консоли исключено» — отдельная высокоприоритетная находка.

Что получаете на выходе

Список URL с типом проблемы, severity и рекомендуемым действием (301, правка robots, вычистка sitemap, выравнивание canonical). Находки уходят в задачи проекта; повторный аудит показывает закрытие и регрессии после деплоя. Выдуманных «баллов здоровья 87/100» нет — только измеримые факты.