Каталог тестов

Продвинутый промптинг: eval harnesses, устойчивость к adversarial-атакам, многошаговые агенты, tradeoff стоимость/latency, качество grounding и governance в проде. Смесь вопросов с одним и несколькими верными ответами.

Промптинг среднего уровня: chain-of-thought, структурированный вывод, оценка, RAG vs промпт, лимиты контекста и осведомлённость об injection. Смесь вопросов с одним и несколькими верными ответами.

Основы промптинга LLM: ясность, роли, few-shot, формат ответа и базовая безопасность. Смесь вопросов с одним и несколькими верными ответами; в multi-select нужно отметить все верные утверждения.

Failure modes RAG, агенты/tools, оговорки LLM-as-judge, jailbreaks, RAG vs fine-tune, KV cache, semantic cache, ACL retrieval, speculative decoding и SLO.

RAG chunking/retrieval, prompt injection, tools, структурированный вывод, evals, hybrid search, cost/latency, память, guardrails и faithfulness.

Основы LLM: токены, temperature, context window, галлюцинации, system prompts, введение в RAG/эмбеддинги, few-shot, rate limits и safety.

Bias–variance, калибровка, оговорки интерпретируемости, метрики дисбаланса, динамика обучения deep learning, transfer/domain shift, пределы каузальности, nested CV и drift.

Регуляризация, ROC/F1, дисбаланс, scaling, кодирования, ансамбли, утечки, early stopping, losses, softmax, эмбеддинги и дисциплина тюнинга.

Supervised vs unsupervised, сплиты, переобучение, метки, классификация vs регрессия, базовые метрики, loss, градиентный спуск и кросс-валидация.