Статистическая значимость
Определение: Статистическая значимость — это проверка, что разница в метриках (например, конверсии) между двумя вариантами не похожа на случайную “погрешность”, а с высокой вероятностью связана с внесённым изменением. В веб-аналитике это ключевой фильтр, который помогает не принимать решения по шуму данных.
Зачем это нужно
- Понимать, можно ли доверять результатам A/B-теста, а не “кажется, стало лучше”.
- Не внедрять изменения, которые дали рост только из-за удачного периода, малого трафика или случайности.
- Корректно сравнивать варианты по конверсии, доходу, кликам и другим метрикам.
- Планировать тесты: заранее определить, сколько данных нужно собрать и когда останавливать эксперимент.
- Избегать ложных выводов при сегментации (например, “на мобайле лучше”), где выборка часто маленькая.
Пример
Пример кода:
Дано: вариант A и вариант B
CR_A = conversions_A / sessions_A
CR_B = conversions_B / sessions_B
Проверка: считаем p-value (или доверительный интервал) для разницы CR_B - CR_A
Если p-value меньше заранее выбранного порога (часто используют 0,05),
то результат считают статистически значимым и принимают решение
Например, в A/B-тесте кнопки вариант B показывает конверсию выше, чем A. Но если трафика мало или разница “плавает” по дням, рост может быть случайным. Тогда статистическая проверка подсказывает: это устойчивый эффект или шум. Важно заранее фиксировать метрику (например, “успешная отправка формы”), период и правила остановки теста, иначе легко “дотянуть” результат подбором момента.
Скриншот
Подпись к скриншоту: отчёт по эксперименту, где видно CR по вариантам и блок статистики: p-value или доверительный интервал, а также статус “значимо/не значимо”.
Частые ошибки
- Останавливать тест при первом “красивом” росте, не дождавшись достаточного объёма данных.
- Проверять значимость на промежуточной метрике (клик), когда важна финальная (успешная заявка/покупка).
- Дробить данные на много сегментов и радоваться “победе” в одном маленьком сегменте.
- Менять правила по ходу: метрику, период, порог — и получать удобный, но ненадёжный вывод.
- Не учитывать дубли и ошибки трекинга событий, из-за которых конверсии завышаются.
Связанные термины
Наши услуги
- Доработка сайтов — внедряем изменения для экспериментов и помогаем корректно измерять эффект на конверсиях.
- Реклама Яндекс Директ — настраиваем цели и аналитику, чтобы оценка результатов кампаний и тестов была честной.
- SEO-продвижение сайтов — улучшаем посадочные страницы и проверяем гипотезы на данных, а не “по ощущениям”.