robots.txt

Определение: robots.txt — это служебный файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно обходить, а какие лучше не сканировать. Он не “ставит пароль” на страницы, а именно задаёт правила обхода для роботов.

Зачем это нужно

• Закрывать от обхода технические разделы: админку, служебные папки, параметры фильтров, дубли.
• Экономить краулинговый бюджет на больших сайтах: робот меньше тратит времени на мусорные URL.
• Уменьшать риск индексации дублей и “бесконечных” страниц (например, сортировки и комбинации фильтров).
• Указывать ссылку на sitemap.xml, чтобы поисковикам было проще находить карту сайта.
• Быстрее диагностировать проблемы индексации: если что-то не индексируется, часто причина в robots.txt.
• Разделять правила для разных роботов (как правило) через разные блоки User-agent.

Пример

Пример кода:

User-agent: * Disallow: /admin/ Sitemap: https://example.ru/sitemap.xml

Скриншот

Подпись к скриншоту: откройте в браузере файл /robots.txt на вашем домене и покажите строки с правилами и ссылкой на sitemap.xml

Частые ошибки

• Случайно закрыть весь сайт строкой Disallow: / и забыть убрать после разработки.
• Путать robots.txt с запретом индексации: он управляет обходом, а не гарантированно запрещает попадание в выдачу.
• Закрывать важные разделы (каталог, карточки товаров, статьи) и терять трафик из поиска.
• Оставлять в robots.txt “старые” правила после смены структуры URL.
• Писать некорректные пути и маски — робот трактует правила не так, как ожидалось.

Связанные термины

• Sitemap (карта сайта)
• Noindex
• Индексация
• Краулинговый бюджет
• URL-параметры
• Canonical (rel="canonical")
• 404 ошибка

Наши услуги

• SEO-продвижение сайтов — настроим robots.txt так, чтобы поисковики обходили нужные страницы и не индексировали мусор.
• Доработка сайтов — уберём дубли, закроем технические URL и приведём правила к понятной логике.
• Техническая поддержка сайтов — проверим, не “закрыт ли сайт”, и будем поддерживать robots.txt актуальным после обновлений.