{"data":{"suite":{"slug":"mmmu","name":"MMMU","tagline":"Мультимодальное рассуждение","description":"Мультимодальное рассуждение","methodology":"Текстовая часть вопросов переводится на русский, изображения остаются оригинальными. Прогон возможен только для моделей, принимающих изображения на вход.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала. Надписи внутри изображений остаются английскими, поэтому часть заданий проверяет и чтение английского текста на картинке.","contaminationPolicy":"Набор публичен. Вопросы с изображениями хуже запоминаются текстовыми моделями, но риск не нулевой; отдельных мер не принимается.","adaptationNote":"перевод текста · изображения оригинальные","license":"Apache-2.0","organization":{"slug":"mmmu","name":"MMMU Benchmark"},"domains":[{"slug":"education","name":"Образование"},{"slug":"general-reasoning","name":"Универсальные знания и рассуждение"}],"capabilities":[{"slug":"logical-reasoning","name":"Логическое рассуждение"},{"slug":"computer-vision","name":"Computer vision"}],"modalities":[{"slug":"image","name":"Изображение"},{"slug":"multimodal","name":"Мультимодальный ввод-вывод"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"GitHub — MMMU-Benchmark/MMMU","url":"https://github.com/MMMU-Benchmark/MMMU","publisher":"MMMU-Benchmark","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"Apache-2.0"}]},"versions":[],"current":null}}