Тесты: Эксперименты

Experiment Platforms — Продвинутый

Sequential testing, interference, stratified bucketing, фильтрация ботов, portfolio holdouts, миграция между платформами и governance на масштабе.

Experiment Platforms — Средний

Layers и holdouts, targeting и ramp, sticky assignment, SRM, выгрузки в DWH и операционная гигиена на платформах экспериментов.

Experiment Platforms — Начальный

Как платформы A/B и feature flags назначают пользователей, логируют экспозиции, распределяют трафик и поддерживают базовый безопасный rollout. Смесь одиночного и множественного выбора.

Power Analysis — Продвинутый

Продвинутая мощность для программ экспериментов: симуляции, кластерные и geo-дизайны, кратность проверок, sequential stopping, снижение дисперсии и согласование модели анализа с допущениями мощности.

Power Analysis — Средний

Планирование и интерпретация мощности продуктовых экспериментов: размеры эффекта, дисперсия, тесты для долей и средних, одно- vs двусторонние тесты и MDE. Смесь одиночного и множественного выбора.

Power Analysis — Начальный

Основы статистической мощности: ошибки I/II рода, уровень значимости, интуиция объёма выборки и почему слабомощные эксперименты не видят реальный эффект. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Causal Inference Basics — Продвинутый

Идентификация vs оценка, SUTVA, гетерогенные эффекты, медиация, double robustness, осторожность со staggered DiD и design-first рассуждения для сложных продуктовых и policy-контекстов. Смесь вопросов с одним и несколькими правильными ответами.

Causal Inference Basics — Средний

DAG и backdoor-коррекция, ловушки регрессии, интуиция diff-in-diff, инструментальные переменные, matching и угрозы валидности квази-экспериментов. Смесь вопросов с одним и несколькими правильными ответами.

Causal Inference Basics — Начальный

Основы причинно-следственных выводов: корреляция и причинность, смешивающие факторы, рандомизация, контрфакты и типичные ловушки наблюдательных данных. Смесь вопросов с одним и несколькими правильными ответами.