НАБОР ЗАДАЧ
Мультимодальное рассуждение
Отличие от оригинала: перевод текста · изображения оригинальные
Мультимодальное рассуждение
Текстовая часть вопросов переводится на русский, изображения остаются оригинальными. Прогон возможен только для моделей, принимающих изображения на вход.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала. Надписи внутри изображений остаются английскими, поэтому часть заданий проверяет и чтение английского текста на картинке.
Набор публичен. Вопросы с изображениями хуже запоминаются текстовыми моделями, но риск не нулевой; отдельных мер не принимается.
MMMU-Benchmark · Apache-2.0 · дата обращения 3 сентября 2026 г.