НАБОР ЗАДАЧ
Математика среднего уровня
Отличие от оригинала: перевод на русский · подмножество оригинала
Математика среднего уровня
Русскоязычная адаптация: задачи переводятся на русский, перевод вычитывается носителем языка; смысл задачи и эталонный ответ не меняются. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала.
MATH опубликован в 2021 году и почти наверняка входит в обучающие корпуса. Набор используется как базовая проверка, а не как различающий тест для фронтирных моделей.
Hugging Face — HuggingFaceH4/MATH-500
HuggingFaceH4 · дата обращения 3 сентября 2026 г.