ОНЛАЙН-ТРЕНАЖЁРЫ · ЭКСПЕРИМЕНТЫ

Учись и практикуйся на симуляторах экспериментов

Научишься экспериментировать через интерактивные задачи, взятые из реальной практики экспертов.

Смотреть треки →Что внутри

ДЛЯ КОГОНачинаешь или уже знаком с экспериментами

ФорматТеория, практика и задачи

ДоступНавсегда

ТРЕКИ ОБУЧЕНИЯ1-й трек уже доступен

— знакомо?

Какие проблемы решает симулятор?

Обучение строится от конкретных задач и проблем с которыми сталкивается аналитик каждый день. Симулятор сфокусирован на том, чтобы вы смогли решать эти задачи эффективнее.

Запустили тест на месяц. p=0.07. Объем выборки посчитали не точно. Руководитель спрашивает: «держим эксперимент еще или нет?»

решает →трек «Как планировать время»

Эксперимент закончили. Лифт +1.2 %, p=0.06. Раскатывать или нет? Что с остальными метриками? Руководитель ждет ответа сегодня, команда – завтра, CPO – на следующей неделе.

решает →трек «Как анализировать»

Каждый тест крутится 4 недели. Конкуренты выкатывают 2 фичи в месяц. Все говорят про CUPED и стратификацию, но у нас никто их не применяет.

решает →трек «Как ускорять»

— возможности платформы

Что внутри симулятора?

Платформа — это не только задачи. Внутри несколько типов учебных инструментов, между которыми ты переключаешься по ходу трека.

01 · теоретические материалы

Теоретические материалы

Короткие объяснения с интуицией, формулами и таблицами. Без академического языка — блоки 3–4 абзаца с подсветкой ключевой идеи. Пример из трека:

ТЕОРИЯ

Как масштаб бизнеса меняет ответ

Один и тот же продукт на разных стадиях имеет совершенно разные стоимости fp/fn:

Стадия	ПРИМЕРНАЯ СТОИМОСТЬ FP/FN	УРОВЕНЬ АЛЬФА
Pre-PMF, MVP	C_FP ≈ $5K, C_FN ≈ $50K	0.1–0.2 (быстрее, готовы на FP)
Post-PMF, рост	C_FP ≈ $25K, C_FN ≈ $50K	0.05–0.1 (стандарт)
Зрелый продукт	C_FP ≈ $200K, C_FN ≈ $50K	0.05
Финтех / e-com масштаб	C_FP ≈ $1M+, C_FN ≈ $100K	0.01
Регуляторика, фарма	C_FP — катастрофическая	0.005–0.001

«Катастрофическая» C_FP — когда у потери нет осмысленного верхнего предела: штраф регулятора в десятки миллионов, отзыв лицензии, групповой иск. Один такой FP способен закрыть направление. Поэтому здесь готовы платить 2–3× длительностью теста ради дополнительного контроля.

02 · симуляторы

Симуляторы

Двигаешь параметры — N, длительность и p-value пересчитываются мгновенно. Интуиция становится рабочей, а не теоретической. Пример из трека:

СИМУЛЯТОР

Цена строгости — детально

Двигай α и power. Видишь, как N меняется относительно baseline (α=0.05, power=0.8). Это — стоимость в днях.

СЦЕНАРИИ

α0.010

мощность0.90

N ОТНОСИТЕЛЬНО BASELINE1.90×

Baseline — α=0.05, power=0.8.

0.5×1×2×5×

03 · калькуляторы

Калькуляторы

Подставляешь свои числа — получаешь рекомендацию под свой кейс. Пример: ожидаемая прибыль экспериментальной программы в зависимости от α и мощности.

КАЛЬКУЛЯТОР

Калькулятор ожидаемой прибыли

Подставь свои стоимости — получи рекомендованный α/power.

V_TP — ВЫГОДА ОТ ИСТИННОГО РОСТА ($)

100000$

C_FP — ПОТЕРЯ ОТ ЛОЖНОГО РОСТА ($)

50000$

C_FN — ПОТЕРЯ ОТ ПРОПУЩЕННОГО РОСТА ($)

25000$

C_EXP — СТОИМОСТЬ ОДНОГО ТЕСТА ($)

5000$

π — доля истинных гипотез12%

α (текущий)0.024

мощность (текущая)82%

α \ pw.70.80.90.95

0.001$246K$396K$546K$621K

0.005$228K$378K$528K$603K

0.01$206K$356K$506K$581K

0.05$30K$180K$330K$405K

0.1−$190K−$40K$110K$185K

ОПТИМУМ

α = 0.001, power = 0.95 → $620 600/год

ВАШ ТЕКУЩИЙ ВЫБОР (α=0.024, power=0.82)

$324 400/год (−47.7% от оптимума)

E[П] = 100 тестов/год × [π·power·V_TP − π·β·C_FN − (1−π)·α·C_FP − C_exp]

04 · live-ide · скоро

Live-IDE

Placeholder. Описание Live-IDE — что это и зачем нужно.

контент будет добавлен позже

05 · jupyter hub · скоро

Jupyter Hub

Placeholder. Описание Jupyter Hub — что внутри.

контент будет добавлен позже

— ЦИКЛ

Как устроено решение задач в симуляторе?

Каждая отдельная задача исходит из ситуации в которой ты оказываешься. Сначала короткая теория с интуицией, затем симулятор, где можно закрепить теорию; потом быстрые вопросы для самопроверки, и в конце — закрепляющий пример.

1
Шаг 1
Ситуация
СИТУАЦИЯ
Колода из 41 карты. Каждая карта – гипотеза. Запусти 41 t-тест с α = 0.05.
Вероятность, что хотя бы одна «прокрасится» по случайности:
1 − (1 − 0.05)⁴¹ ≈ 88%
Почти гарантированно одна-две карты окажутся «значимыми».
Конкретный пример из практики, который связывает всё вместе и остаётся в памяти.
2
Шаг 2
Теория
ТЕОРИЯ
Что такое «множественное сравнение»
Любая ситуация, где проверяешь больше одной гипотезы в одном эксперименте.
- 1.Несколько групп. A/B/C → 3 сравнения.
- 2.Несколько метрик. 12 метрик = 12 проверок.
- 3.Сегментная разбивка по странам, платформам.
- 4.Многократные временные срезы.
Объединяет: проверок больше одной.
Короткое объяснение — что это, зачем, какие частые ситуации. С минимумом академической базы: 3–4 абзаца с подсветкой ключевой идеи.
3
Шаг 3
Симулятор
КАЛЬКУЛЯТОР
Калькулятор размера выборки
MDE3.0%
σ11.0
DAU1 000
N / группу14 647
срок15 дн
Двигай δ и σ — N и срок пересчитываются в реальном времени.
Сразу за теорией — то, где её можно потрогать руками. Слайдеры пересчитывают результат и график мгновенно. Делаешь интуицию рабочей.
4
Шаг 4
Задача или вопрос
БЫСТРЫЙ ВОПРОСРешено
A/B/C тест, α = 0.05 на каждое из 3 сравнений. Вероятность хотя бы одного FP?
5%
14%
15%
✓ Правильно
Один вопрос с 3–4 вариантами. Ошибся — подсказка, почему, и можно попробовать ещё раз.

— программа

Какие треки уже доступны?

Платформа растёт и будет пополняться новыми треками. Следите за нашими обновлениями!

Как планировать время на эксперимент

Доступно

Учишься делать дизайн эксперимента, считать сэмпл-сайз и длительность так, чтобы не запускать вслепую. И не объяснять потом, почему «нужно продолжать эксперимент». Внутри трека множество теории, задач и практики.

MDE и σ: откуда берётся, как оценить из исторических данных
Формула N: как зависит от α, β, MDE, σ
Длительность с учётом дневной и недельной сезонности
Почему early stopping — это self-deception
«Нет эффекта» vs «недостаточная мощность»: как различать

~ 8 ЧАСОВ8 ЗАДАЧ~ 45-90 МИН / ЗАДАЧА

Как анализировать эксперимент

Готовится

Учишься читать результаты теста: где здесь шум, где эффект, можно ли подсмотреть на половине срока и как защитить решение перед командой и стейкхолдерами.

Доверительные интервалы как первичный инструмент, не p-value
Множественные сравнения: Bonferroni, Holm, BH, BY
Sequential testing: mSPRT, всегда-валидные p-value
Чтение и защита результатов перед нетехническими стейкхолдерами

~ 4 часазадачи готовятся

Как ускорять эксперимент

Готовится

Учишься уменьшать дисперсию метрики и сокращать длительность теста: CUPED, стратификация, variance-reduction. Без магии — на симуляторе видно, насколько каждый метод сокращает N.

CUPED: интуиция и калькулятор сокращения N
Стратификация: post-stratification, когда работает, когда нет
Variance-weighted estimators
Pre-period covariates

~ 4 часазадачи готовятся

— КАК ПЛАНИРОВАТЬ ВРЕМЯ НА ЭКСПЕРИМЕНТ

Что входит в трек?

Без расписания. Без домашних заданий. Полное погружение в тренажёр, в котором учишься через действие.

Без дедлайнов
и ограничений по времени. Доступ навсегда, прогресс сохраняется.
Опыт практиков
Программа собрана на основе опыта практикующих экспертов в A/B.
Море задач
Симуляторы и калькуляторы A/B — параметры крутишь сам, всё пересчитывается мгновенно.

01Зачем рассчитывать время заранее

Начнем с проблематики, ситуаций и задач, которые ведут к тому, чтобы рассчитывать время заранее.

02Ошибки I/II рода и мощность

Основные определения TP/FP/TN/FN
Мощность, основы FWER и FDR
Компромиссы по определению порогов значимости
Скорость итераций и зависимость от порогов FN/FP

03MDE, Lift и Effect Size

В чем разница MDE, Lift, ES
Способы расчета количества наблюдений
4 рычага управления дизайном эксперимента
Доверительный интервал для эффекта

04Трейдофф α, мощности и скорости

Прикладное использование в индустрии
Способы расчета ожидаемой выборки
Определение трейдоффов между точностью и скоростью
Как масштаб бизнеса влияет на статистическую методологию

05Множественные сравнения

Определение проблемы множественных сравнений
Family Wise Error Rate (FWER)
False Discovery Rate (FDR)
Способы борьбы с множественными сравнениями
Как это встроено в дизайн эксперимента и способы определения выборки

06Проблема подглядывания

Определение проблемы подглядываний
Способы борьбы с проблемой подглядываний
Как проблема подглядываний влияет на длину эксперимента

07Monte Carlo и проверка чувствительности

Определение метода Monte-Carlo
Как Monte-Carlo помогает определить длительность эксперимента
Диагностика FPR с помощью Monte-Carlo
Способы расчета выборки с помощью Monte-Carlo

— АУДИТОРИЯ

Кому подходит симулятор.

Это не «курс по азам экспериментов». Тренажёр работает, когда у тебя уже есть опыт запуска экспериментов и конкретные вопросы.

Знаком, но нет практики
Уже понимаешь базу, но осознаешь что не хватает задач для закрепления и получения новых знаний
Анализируешь поток тестов
Каждую неделю анализируешь 1–5 тестов и хочешь перестать угадывать MDE на глаз.
Продакт, который сам запускает A/B
Чтобы говорить с аналитиками на одном языке и уметь объяснить самому себе, откуда взялась та или иная цифра.

— часто спрашивают

FAQ.

В чём разница между тренажёром и классическим курсом? +

В курсе ты смотришь видео, читаешь конспект и сдаёшь домашку наставнику. В тренажёре ты крутишь параметры и видишь последствия — и пока не решишь задачу, следующий шаг не откроется.

Нет видео-лекций, нет наставника, нет дедлайнов. Есть 50+ задач, в каждой что-то можно подвигать. Учишься через действие, как в авиасимуляторе.

Когда выйдут второй и третий треки? +

Точной даты нет — будут выходить по мере готовности. Анонсируем в Telegram.

Сколько длится доступ к треку? +

Навсегда. Покупаешь один раз — он остаётся в твоём аккаунте.

Будут ли обновления внутри трека после покупки? +

Да — обновления входят в доступ. Мы постоянно работаем над улучшением симулятора. Если перепишем задачу, добавим новую или исправим формулу — ты получишь это бесплатно.

Подходит ли для продуктовых менеджеров без опыта в статистике? +

Да. Если нет опыта работы с Python/SQL/Статистикой, ты можешь использовать нашу внутреннюю библиотеку статистических калькуляторов и симуляторов.

Можно ли получить чек или счёт для компании? +

Да. Оплата проходит через Nethouse — они выдают электронный чек на e-mail. Для счёта на юр.лицо напиши на info@exp-tools.ru — оформим вручную.

Можно ли купить доступ на команду? +

Да — напиши на info@exp-tools.ru. Корпоративный счёт, доступ выдаём пакетом, прогресс у каждого свой.

Какой нужен бэкграунд в статистике? +

Минимальный. Нужно знать, что такое p-value и α, понимать смысл нормального распределения. Если запускал хотя бы один A/B-тест — этого хватит. Формулы выводим внутри задач, не предполагаем, что ты их помнишь со студенческой статистики. В будущем мы добавим вводные симуляторы для того, чтобы погрузиться в основы A/B-тестирования

Что если я не успею за месяц? +

Ничего страшного — доступ навсегда. Дедлайнов нет. Возвращайся когда удобно — прогресс сохраняется.

— оплата

Начни с первого трека.

«Как планировать время на эксперимент» — 20 000 ₽, доступ навсегда.

Оплата через Nethouse. Заявки на доступ обрабатываются в течение дня.