{"data":{"suite":{"slug":"mmlu-pro","name":"MMLU-Pro","tagline":"Широкие знания и рассуждение, десять вариантов ответа","description":"Широкие знания и рассуждение, десять вариантов ответа","methodology":"Русскоязычная адаптация: задачи переводятся на русский, перевод вычитывается носителем языка; смысл задачи и эталонный ответ не меняются. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала.","contaminationPolicy":"Набор опубликован полностью и давно, поэтому риск попадания в обучение высок. Числа трактуются как оценка сверху; расхождение с моделями, вышедшими до и после публикации набора, отмечается в карточке прогона.","adaptationNote":"перевод на русский · подмножество оригинала","license":"mit","organization":{"slug":"tiger-lab","name":"TIGER-Lab"},"domains":[{"slug":"math","name":"Математика"},{"slug":"natural-sciences","name":"Естественные науки"},{"slug":"programming","name":"Программирование"},{"slug":"business","name":"Бизнес и предпринимательство"},{"slug":"general-reasoning","name":"Универсальные знания и рассуждение"},{"slug":"medicine","name":"Медицина и здравоохранение"},{"slug":"law","name":"Российское право"}],"capabilities":[{"slug":"logical-reasoning","name":"Логическое рассуждение"},{"slug":"factual-knowledge","name":"Знание фактов"}],"modalities":[{"slug":"text","name":"Текст"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"Hugging Face — TIGER-Lab/MMLU-Pro","url":"https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro","publisher":"TIGER-Lab","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"mit"}]},"versions":[],"current":null}}