Тесты: Data Science

Batch Vs Realtime — Продвинутый

Продвинутый дизайн batch vs streaming: exactly-once, stream-table duality, dual pipelines, масштаб state, tradeoffs cost/latency и operational failure modes. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Batch Vs Realtime — Средний

Выбор и эксплуатация batch vs streaming: окна, watermarks, семантика доставки, backpressure, CDC и свежие фичи. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Batch Vs Realtime — Начальный

Основы пакетной и потоковой обработки данных: задержка, расписание, сценарии и отличия пайплайнов. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Data Drift — Продвинутый

Продвинутый data drift: multivariate и embedding drift, MMD и domain classifiers, concept vs covariate при задержке меток, causal-ловушки и governance retrain. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Data Drift — Средний

Операционный детект data drift: PSI и статтесты, drift признаков vs предсказаний, окна, алерты и триггеры retrain. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Data Drift — Начальный

Основы data drift в ML: covariate shift, мониторинг прод-входов относительно референса и почему распределения меняются. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Model Registry — Продвинутый

Продвинутое governance реестра: geo-replication, model cards, supply-chain attestations, shadow/canary, federated registration и enterprise audit. Смесь одиночного и множественного выбора.

Model Registry — Средний

Операционная практика реестра: aliases/champion, gates промоушена, signatures, RBAC, CI/CD и сравнение версий перед prod. Смесь одиночного и множественного выбора.

Model Registry — Начальный

Основы реестра ML-моделей: версии, стадии, артефакты, lineage и зачем централизовать модели. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Experiment Platforms — Продвинутый

Sequential testing, interference, stratified bucketing, фильтрация ботов, portfolio holdouts, миграция между платформами и governance на масштабе.

Experiment Platforms — Средний

Layers и holdouts, targeting и ramp, sticky assignment, SRM, выгрузки в DWH и операционная гигиена на платформах экспериментов.

Experiment Platforms — Начальный

Как платформы A/B и feature flags назначают пользователей, логируют экспозиции, распределяют трафик и поддерживают базовый безопасный rollout. Смесь одиночного и множественного выбора.

Power Analysis — Продвинутый

Продвинутая мощность для программ экспериментов: симуляции, кластерные и geo-дизайны, кратность проверок, sequential stopping, снижение дисперсии и согласование модели анализа с допущениями мощности.

Power Analysis — Средний

Планирование и интерпретация мощности продуктовых экспериментов: размеры эффекта, дисперсия, тесты для долей и средних, одно- vs двусторонние тесты и MDE. Смесь одиночного и множественного выбора.

Power Analysis — Начальный

Основы статистической мощности: ошибки I/II рода, уровень значимости, интуиция объёма выборки и почему слабомощные эксперименты не видят реальный эффект. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Causal Inference Basics — Продвинутый

Идентификация vs оценка, SUTVA, гетерогенные эффекты, медиация, double robustness, осторожность со staggered DiD и design-first рассуждения для сложных продуктовых и policy-контекстов. Смесь вопросов с одним и несколькими правильными ответами.

Causal Inference Basics — Средний

DAG и backdoor-коррекция, ловушки регрессии, интуиция diff-in-diff, инструментальные переменные, matching и угрозы валидности квази-экспериментов. Смесь вопросов с одним и несколькими правильными ответами.

Causal Inference Basics — Начальный

Основы причинно-следственных выводов: корреляция и причинность, смешивающие факторы, рандомизация, контрфакты и типичные ловушки наблюдательных данных. Смесь вопросов с одним и несколькими правильными ответами.

Feature Engineering — Продвинутый

Продвинутый feature engineering: temporal и nested-CV leakage, train–serve skew, entity embeddings, автоматические interactions, monotonic constraints, drift, null importance и predictive vs causal признаки. Смесь одиночного и множественного выбора.

Feature Engineering — Средний

Feature engineering среднего уровня: кодирование высокой кардинальности, бинning, interactions, point-in-time агрегаты, CV-кодировщики, мультиколлинеарность и отбор признаков. Смесь одиночного и множественного выбора.

Feature Engineering — Начальный

Основы feature engineering: сырые поля и признаки модели, числовые и категориальные данные, базовое кодирование, масштабирование, пропуски и простые ошибки leakage. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Model Evaluation — Продвинутый

Продвинутная оценка ML: nested CV, ECE и Brier, fairness, bootstrap и paired tests, OPE и slice analysis, CRPS и conformal prediction. Смесь одиночного и множественного выбора.

Model Evaluation — Средний

Средний уровень оценки ML: stratified splits, компромисс precision–recall, macro vs micro, основы калибровки, learning curves, пороги и диагностика регрессии. Смесь одиночного и множественного выбора.

Model Evaluation — Начальный

Основы оценки ML-моделей: train/validation/test, матрица ошибок, precision и recall, переобучение и осмысленные baselines. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Supervised Learning — Продвинутый

Продвинутый supervised ML: калибровка, иерархии классов, multi-label vs multiclass, веса примеров, label smoothing, дистилляция, ordinal и cost-sensitive обучение, kernel-методы и prod-ловушки. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Supervised Learning — Средний

Supervised ML среднего уровня: регуляризация, дисбаланс классов, границы решений, logistic/softmax, масштабирование признаков, кодирование категорий, деревья и типичные ошибки обучения. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Supervised Learning — Начальный

Основы обучения с учителем: размеченные данные, классификация и регрессия, обучение и предсказание, типичные функции потерь, переобучение и базовые семейства моделей. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Sampling Bias — Продвинутый

Механизмы отбора, colliders, left truncation, IPW, Heckman-коррекция, nonignorable nonresponse, transportability и sensitivity analysis для смещённых выборок. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Sampling Bias — Средний

Coverage error, квоты и панели, attrition, length-biased и berkson-подобный отбор, healthy worker, пределы взвешивания и диагностика bias в observational выборках. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Sampling Bias — Начальный

Основы смещения выборки: целевая совокупность, рамка выборки, удобная и добровольная выборка, неответ, survivorship и ограничения обобщения. Смесь одиночного и множественного выбора; в multi-select отметьте все верные утверждения.

Inferential Stats — Продвинутый

Продвинутая выводная статистика: правдоподобие и ММП, bootstrap, пермутационные тесты, байес vs частотный подход, смешанные модели, непараметрика, парадокс Simpson, критика p-hacking. Смесь одиночного и множественного выбора.

Inferential Stats — Средний

Выводная статистика среднего уровня: мощность и объём выборки, множественные сравнения, ANOVA, χ², парные дизайны, диагностика допущений, интервалы vs тесты. Смесь одиночного и множественного выбора.

Inferential Stats — Начальный

Основы выводной статистики: генеральная совокупность и выборка, оценивание, доверительные интервалы, основы проверки гипотез, p-value и семейства тестов. Смесь одиночного и множественного выбора; в multi-select нужно отметить все верные утверждения.

Описательная статистика — Продвинутый

Продвинутый уровень: парадокс Симпсона в агрегатах, устойчивые и преобразованные сводки, квантили и winsorization, пределы двумерной связи, мультимодальность и выбор формата отчёта.

Описательная статистика — Средний

Средний уровень описательной статистики: дисперсия и СКО, IQR и box plot, взвешенные средние, z-оценки, корреляция как связь и выбор сводок при асимметрии и выбросах. Вопросы с одним и несколькими правильными ответами.

Описательная статистика — Начальный

Основы описательной статистики: меры центра и разброса, таблицы и графики, типы переменных и чтение сводок без выводов о генеральной совокупности. Вопросы с одним и несколькими правильными ответами; в multi-select нужно отметить все верные утверждения.