Screaming Frog

Определение: Screaming Frog (SEO Spider) — это программа-краулер, которая «обходит» сайт как поисковый робот и собирает технические данные по URL: коды ответов, редиректы, мета-теги, заголовки, каноникалы, ссылки и многое другое. В техничeском SEO её используют, чтобы быстро найти проблемы, влияющие на индексацию и качество сайта.

Зачем это нужно

• Находить ошибки 404/5xx и «битые» ссылки, которые ухудшают обход сайта.
• Выявлять цепочки редиректов и лишние переходы, которые замедляют загрузку.
• Проверять дубли Title/Description/H1 и другие повторяющиеся элементы.
• Контролировать канонические URL, www/non-www, http/https и слеш в конце URL.
• Собирать карту внутренних ссылок и понимать, какие страницы «сироты» (на них никто не ссылается).
• Экспортировать отчёты для задач разработчику и контроля внедрений.

Пример

Нужно проверить, почему часть страниц «плохо индексируется». Вы запускаете обход сайта в Screaming Frog и фильтруете результаты по статус-кодам: сначала смотрите все 404 и откуда на них ведут ссылки, затем — редиректы и их цепочки. После этого проверяете, чтобы важные страницы отдавали 200 OK, имели корректный canonical и не дублировали мета-теги.

Итог — вы получаете список конкретных URL и проблем (например: «/old-page/ → 301 → /new-page → 302 → /final-page»), который можно передать разработчику как понятное ТЗ и после правок повторно прогнать скан, чтобы убедиться, что ошибки исчезли.

Скриншот

Подпись к скриншоту: вкладка Internal в Screaming Frog с фильтром по Status Code (например, 404): видно проблемные URL и их коды ответа

Частые ошибки

• Сканировать не тот хост (www вместо non-www или http вместо https) и получить «неверную картину».
• Не учитывать редиректы и цепочки, из-за чего кажется, что страниц 200 OK меньше, чем есть на самом деле.
• Оставлять настройки по умолчанию и не адаптировать обход под сайт (например, игнорировать нужные поддомены или параметры).
• Сравнивать результаты без фиксации условий: разные настройки/режимы дают разные списки проблем.
• Использовать отчёт как «приговор», не проверяя приоритет: не каждая найденная мелочь критична для SEO.

Связанные термины

• Crawl budget (краулинговый бюджет)
• Цепочки редиректов
• Дубли HTTP/HTTPS
• www / non-www
• Sitemap (карта сайта)
• robots.txt
• Канонический URL (rel="canonical")

Наши услуги

• SEO-продвижение сайтов — проводим техаудит с краулером, приоритизируем ошибки и связываем их с ростом трафика.
• Доработка сайтов — исправляем найденные проблемы: редиректы, дубли, ошибки ответов сервера, каноникалы и перелинковку.
• Техническая поддержка сайта — регулярно мониторим сайт, чтобы ошибки не возвращались после обновлений.