Начните проводить эксперименты, которые покажут вам реальные выводы и приведут к выгодным решениям.
Авторский курс для аналитиков, продактов и всех, кто работает с данными.
Этот курс — для вас, если вы...
Аналитик данных
Метрики не красятся, не понимаю: эффекта нет или тест плохо спроектирован?
От меня ждут результатов, а я не знаю, как посчитать объем выборки
Знаю теорию по книжкам, но не умею писать код для продвинутых методов
Менеджер продукта или маркетолог
Делаем фичи, которые не взлетают. Как перестать тратить ресурсы впустую?
Не понимаю, верить ли аналитику?
Нужно защитить бюджет перед руководством, нужны твердые цифры
Руководите командой аналитиков
В компании проводят 5 тестов в месяц, а надо 50. Как автоматизировать платформу?
Команда делает простые ошибки в дизайне экспериментов, устаю от неэффективности
Программа курса
Урок 1. Введение в A/B тестирование: основы и бизнес-ценность
• Что такое A/B тестирование и зачем оно нужно
• Эволюция A/B тестирования: от первых экспериментов до современных платформ
• Культура принятия решений на основе данных: успешные кейсы компаний
• Альтернативные методы принятия решений и их ограничения
• Основные сферы применения A/B тестов
Урок 2. Подготовка и планирование A/B теста
• Полный цикл A/B теста: от гипотезы до внедрения
• Формулирование гипотез (HADI, ICE, PIE)
• Определение целевой аудитории и выборки
• Планирование теста: длительность, размер выборки, критерии успеха
• Этические аспекты A/B тестирования
Урок 3. Метрики в A/B тестировании
• Типы метрик: пользовательские, бизнес-метрики, процессные
• Выбор целевой метрики и требования к ней
• Иерархия метрик
• Вспомогательные и контрольные метрики
• Эффект новизны и его влияние на результаты
• Смещения и искажения в метриках
Урок 4. Основы статистики для A/B тестирования
• Генеральная совокупность и выборка
• Среднее, медиана, процентили
• Стандартное отклонение и дисперсия
• Нормальное распределение и центральная предельная теорема
• Доверительные интервалы
• Визуализация распределений
Урок 5. Статистические гипотезы и проверка результатов
• Нулевая и альтернативная гипотезы
• Ошибки первого и второго рода и их бизнес последствия
• Уровень значимости и статистическая мощность
• Основные статистические тесты для A/B тестирования
• p value: корректная интерпретация и заблуждения
• Визуализация результатов тестирования
Урок 6. Размер выборки и длительность теста
• Минимальный детектируемый эффект (MDE)
• Расчет необходимого размера выборки
• Связь между альфой, мощностью, MDE и размером выборки
• Оптимальная длительность теста
• Сезонность и временные эффекты
• Компромисс между скоростью и точностью
Урок 7. Методы понижения дисперсии
• Проблема высокой дисперсии в данных
• Стратификация: принципы и применение
• CUPED: принципы работы и применимость
• Требования к ковариатам для CUPED
• Альтернативные методы снижения дисперсии
Урок 8. Работа со сложными метриками и метриками отношениями
• Метрики отношения: конверсия, ARPU, LTV/CAC, ROI
• Различия между простыми метриками и метриками отношениями
• Дельта метод для анализа отношений
• Линеаризация и бутстрэп
• Корреляции между метриками
• Краткосрочные и долгосрочные метрики
Урок 9. Множественное и последовательное тестирование
• Проблема множественных сравнений
• Методы коррекции: Бонферрони, Холма, Бенджамини Хохберга
• Параллельные A/B тесты и взаимодействие экспериментов
• Последовательное тестирование и проблема подглядывания
• SPRT и mSPRT
• Адаптивное распределение трафика
Урок 10. Интерпретация результатов и принятие решений
• Фреймворк интерпретации результатов
• Байесовский подход
• Влияние бизнес контекста
• Регламент принятия решений
• Типичные ошибки интерпретации
• Качественная оценка и количественные результаты
Урок 11. Построение культуры экспериментирования
• Создание системы A/B тестирования в компании
• Интеграция экспериментов в продуктовую разработку
• Масштабирование практики тестирования
• Обучение команды и развитие data культуры
• Преодоление организационных и технических барьеров
Урок 12. Платформы и инструменты для A/B тестирования
• Обзор платформ для A/B тестирования
• Компоненты системы экспериментирования
• Требования к системе в зависимости от масштаба
• Современная архитектура экспериментальных платформ
• Мониторинг качества экспериментов
• Интеграция с аналитической инфраструктурой
Урок 13. Продвинутые типы экспериментов
• Многорукие бандиты
• Квази и естественные эксперименты
• Switchback тесты
• Инкрементальные тесты и Ghost Ads
• Персонализированные эксперименты
Урок 14. Основы причинно следственного вывода
• Корреляция и причинность
• Модель потенциальных исходов Рубина
• Причинно следственные диаграммы
• Проблема спутывающих переменных
• Условия идентификации причинных эффектов
• Связь A/B тестирования и causal inference
• Ограничения традиционных A/B тестов
Урок 15. Продвинутые методы причинно следственного анализа
• Квази экспериментальные методы
• Difference in Differences DiD
• Instrumental Variables
• Regression Discontinuity Design RDD
• Synthetic Control Method
• Matching и Propensity Score Matching
• Интеграция causal методов в систему A/B тестирования
Урок 16. Заключительный практикум: от гипотезы до внедрения
• Полный цикл A/B тестирования на практике
• Типичные ошибки на каждом этапе
• Стратегии ускорения экспериментов
• Оценка влияния программы тестирования на бизнес
• Будущее методологии экспериментирования