Crawl budget (краулинговый бюджет)

Определение: crawl budget — это условный «лимит внимания» поискового робота к вашему сайту: сколько страниц и как часто он готов сканировать за определённый период. Если бюджет тратится на мусорные URL, дубли и ошибки, важные страницы могут обходиться реже и попадать в индекс медленнее.

Зачем это нужно

• Быстрее доводить до индекса новые и обновлённые страницы.
• Не тратить обход на дубли (http/https, www/non-www, слеш/без слеша, параметры).
• Снижать долю сканирования ошибок (404/5xx) и «битых» внутренних ссылок.
• Контролировать фильтры и сортировки в каталогах, чтобы не плодить бесконечные URL.
• Улучшать стабильность сайта: быстрый и надёжный сервер обычно сканируется охотнее.

Пример

Интернет-магазин имеет много вариантов URL из-за фильтров и параметров: страницы категорий открываются в десятках комбинаций, плюс встречаются редирект-цепочки и устаревшие товары с 404. Робот регулярно «гуляет» по этим адресам, но ключевые карточки и важные категории переобходятся реже.

Решение обычно такое: приводят сайт к одному каноническому виду URL, закрывают или нормализуют параметрные страницы (в зависимости от задачи), чистят карту сайта, исправляют внутренние ссылки и ошибки, убирают цепочки редиректов. В итоге робот чаще попадает на действительно ценные страницы, а скорость появления обновлений в поиске растёт.

Скриншот

Подпись к скриншоту: отчёт «Статистика сканирования» в Google Search Console (или анализ access log): видно, куда робот тратит сканирование и есть ли всплески ошибок

Частые ошибки

• Оставлять доступными бесконечные URL с параметрами, фильтрами и сортировками без контроля.
• Держать в sitemap страницы с 404/редиректами или включать туда неканонические версии URL.
• Игнорировать 5xx и медленный сервер: робот начинает снижать активность сканирования.
• Создавать дубли из-за разных «версий» сайта (http/https, www/non-www, слеш), не настроив единые правила.
• Закрывать всё подряд в robots.txt и случайно прятать важные разделы от сканирования.

Связанные термины

• Сканирование (crawl)
• Индексация
• robots.txt
• Meta robots
• Sitemap (карта сайта)
• Access log

Наши услуги

• SEO-продвижение сайтов — анализируем, куда уходит сканирование, находим дубли/параметры/ошибки и собираем план улучшений.
• Доработка сайтов — настраиваем правила URL, чистим редиректы, правим sitemap/robots/meta robots и убираем причины «пустого» обхода.
• Техническая поддержка сайта — мониторим ошибки сервера и стабильность, чтобы робот не снижал активность сканирования.