{"data":{"suite":{"slug":"rummlu","name":"ruMMLU","tagline":"Знания на русском языке","description":"Знания на русском языке","methodology":"Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Набор — русская версия MMLU, поэтому наследует и её недостатки: часть вопросов спорна или устарела.","contaminationPolicy":"Русская версия MMLU опубликована, а английский оригинал заведомо входит в обучающие корпуса, поэтому знание может переноситься между языками. Число трактуется как оценка сверху.","adaptationNote":"русскоязычный оригинал · подмножество","license":"mit","organization":{"slug":"mera-evaluation","name":"MERA (AI Alliance Russia)"},"domains":[{"slug":"general-reasoning","name":"Универсальные знания и рассуждение"}],"capabilities":[{"slug":"russian-comprehension","name":"Понимание русского языка"},{"slug":"factual-knowledge","name":"Знание фактов"}],"modalities":[{"slug":"text","name":"Текст"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"Hugging Face — MERA-evaluation/MERA (конфигурация rummlu)","url":"https://huggingface.co/datasets/MERA-evaluation/MERA/viewer/rummlu","publisher":"MERA-evaluation","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"mit"}]},"versions":[],"current":null}}