Индексация

Определение: индексация — это процесс, когда поисковая система (Яндекс/Google) находит страницы сайта, «читает» их и добавляет в свою базу, чтобы потом показывать их в результатах поиска. Если страница не проиндексирована, она обычно не будет приносить трафик из поиска.

Зачем это нужно

• Чтобы новые и обновлённые страницы появлялись в поисковой выдаче.
• Чтобы важные разделы (услуги, товары, статьи) реально участвовали в ранжировании.
• Чтобы поисковик не тратил «внимание» на мусорные URL (дубли, фильтры, техстраницы).
• Чтобы быстрее находить проблемы: запреты в robots.txt, noindex, ошибки 404, неправильные редиректы.
• Чтобы управлять тем, какие версии страниц должны быть основными (например, через canonical).

Пример

Пример кода:

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.ru/sitemap.xml

<meta name="robots" content="index,follow">
<!-- а для закрытия страницы: <meta name="robots" content="noindex,nofollow"> -->

В этом примере служебные разделы закрыты от обхода, а карта сайта подсказывает поисковику, какие URL стоит проверить в первую очередь. Если же на важной странице случайно стоит noindex, она может так и не попасть в индекс.

Скриншот

Подпись к скриншоту: отчёт в Google Search Console по индексации: блок «Проиндексировано» и список «Исключено» с причинами (noindex, заблокировано robots.txt, дубликат, 404 и т.д.).

Частые ошибки

• Закрыли важные страницы в robots.txt или поставили на них noindex.
• Сделали много дублей URL (с параметрами, сортировками, одинаковым контентом) и «размыли» индекс.
• Неправильные canonical: поисковик индексирует не ту версию страницы, которую вы считаете основной.
• Карта сайта не обновляется или содержит битые/закрытые URL.
• Страницы отдают ошибки (404/500) или цепочки редиректов — поисковик исключает их из индекса.

Связанные термины

• Сканирование (краулинг)
• robots.txt
• Sitemap (карта сайта)
• Meta robots (index/noindex)
• Canonical
• 301-редирект
• Google Search Console / Яндекс Вебмастер

Наши услуги

• SEO-продвижение сайтов — наладим индексацию, уберём дубли, усилим структуру и рост органики.
• Доработка сайтов — исправим технические причины, из-за которых страницы не попадают в индекс.
• Техническая поддержка сайтов — регулярный контроль ошибок, карты сайта, редиректов и статуса индексации.