НАБОР ЗАДАЧ
Сводная оценка русскоязычных моделей
Отличие от оригинала: русскоязычный оригинал · подмножество, без закрытой части
Сводная оценка русскоязычных моделей
Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество задач MERA, а не вся сводная оценка, поэтому наше число не является баллом MERA и не сравнимо с публичным лидербордом MERA. Приватного холдаута у нас нет — он есть у самой MERA.
Открытая часть MERA опубликована и может входить в обучение. Закрытая часть держится авторами набора, и мы к ней доступа не имеем — это ограничение указывается рядом с результатом.
Hugging Face — MERA-evaluation/MERA
MERA-evaluation · mit · дата обращения 3 сентября 2026 г.