Чувствительность
t-теста Стьюдента

Что такое лифт (Δ)?

Лифт — это ожидаемое абсолютное изменение метрики между контрольной и тестовой группой. Если средняя выручка на пользователя в контроле равна 100 ₽, а в тесте ожидается 105 ₽ — лифт равен 5.

Лифт — это то минимальное изменение, которое вы хотите уметь обнаруживать. Чем меньше лифт, который нужно поймать — тем больше нужна выборка.

Что такое МС (Монте-Карло)?

Монте-Карло — класс вычислительных алгоритмов, которые используют многократную случайную выборку для получения численных результатов. В контексте A/B-тестов метод позволяет эмпирически оценить мощность статистического критерия без аналитических формул.

Идея проста: мы знаем параметры популяции (μ, σ), поэтому можем генерировать сколько угодно синтетических экспериментов и смотреть, как часто критерий «срабатывает» при известном истинном эффекте.

Что такое TPR (мощность теста)?

TPR (True Positive Rate), или мощность теста — это вероятность того, что тест обнаружит реальный эффект, если он существует. Иначе говоря: в какой доле симуляций p-value окажется меньше α при ненулевом лифте.

TPR зависит от четырёх вещей: размера эффекта (Δ), объёма выборки (N), дисперсии метрики (σ²) и уровня значимости (α). Именно поэтому метрики с высокой дисперсией требуют значительно большей выборки — и дольше набираются.

Алгоритм симуляции

Одна итерация для проверки лифта Δ при N наблюдениях:

1. Генерируем выборку из N наблюдений из распределения N(μ, σ²)
2. Делим выборку пополам — группы A и B, по N/2 наблюдений каждая
3. Сдвигаем все значения в группе B на величину лифта Δ
4. Применяем t-тест Уэлча к группам A и B, получаем p-value
5. Фиксируем: p-value < α → успех (обнаружили эффект)

Повторяем K раз (K = кол-во симуляций на лифт). TPR = число успехов / K.

TPR — True Positive Rate

TPR (мощность теста, 1 − β) — вероятность того, что тест обнаружит эффект, если он действительно существует.

В практике A/B-тестирования принято стремиться к TPR ≥ 80%. При 1000 симуляций это означает отклонение H₀ не менее чем в 800 случаях из 1000.

Что влияет на TPR?

• Размер эффекта (Δ) — чем больше лифт, тем выше TPR
• Размер выборки (N) — больше наблюдений → выше мощность
• Дисперсия (σ²) — ключевой инсайт: чем выше σ, тем ниже TPR при тех же N и Δ
• Уровень значимости (α) — выше α → выше TPR, но растёт FPR

Как читать кривую мощности

По оси X — лифт Δ в единицах метрики. По оси Y — TPR в процентах. Кривая показывает, насколько чувствителен тест к эффектам разного размера при заданных N и σ.

• Если при минимальном значимом лифте TPR < 80% — нужно увеличить N или снизить σ (CUPED, стратификация, трансформация метрики)
• Сравнение двух кривых показывает, какая метрика «чувствительнее» к одному и тому же эффекту

Распределение p-value

При ненулевом эффекте p-value концентрируются у нуля. Чем выше мощность, тем сильнее «скос» влево. Если распределение близко к равномерному — тест почти не различает H₁ и H₀.