Бенчмарки

AIME

Олимпиадная математика

Математика · версии пока нет · apache-2.0

перевод на русский · отдельные годы

BFCL

Вызов функций и инструментов

Программирование · версии пока нет · Apache-2.0

перевод запросов · схемы функций оригинальные

GPQA Diamond

Экспертные вопросы уровня PhD по биологии, химии и физике

Естественные науки · версии пока нет · cc-by-4.0

перевод на русский · подмножество Diamond

HumanEval

Базовая проверка генерации кода

Программирование · версии пока нет · MIT

перевод постановок · тесты авторские

IFEval

Точность следования инструкции

Универсальные знания и рассуждение · версии пока нет · apache-2.0

перевод на русский · часть ограничений неприменима

LiveCodeBench

Алгоритмический код, устойчивый к контаминации

Программирование · версии пока нет · MIT

язык оригинала · окно задач по дате

LongBench

Работа с длинным контекстом

Универсальные знания и рассуждение · версии пока нет · MIT

подмножество · часть документов переведена

MATH-500

Математика среднего уровня

Математика · версии пока нет

перевод на русский · подмножество оригинала

MERA

Сводная оценка русскоязычных моделей

Универсальные знания и рассуждение · версии пока нет · mit

русскоязычный оригинал · подмножество, без закрытой части

MMLU-Pro

Широкие знания и рассуждение, десять вариантов ответа

Математика, Естественные науки, Программирование, Бизнес и предпринимательство, Универсальные знания и рассуждение, Медицина и здравоохранение, Российское право · версии пока нет · mit

перевод на русский · подмножество оригинала

MMMU

Мультимодальное рассуждение

Образование, Универсальные знания и рассуждение · версии пока нет · Apache-2.0

перевод текста · изображения оригинальные

Ru-HumanEval

Код с русскоязычной постановкой задачи

Программирование · версии пока нет · mit

русскоязычный оригинал · подмножество

RuBQ

Вопросы к знаниям о России

Культура, литература и история России, География и регионы России, Универсальные знания и рассуждение · версии пока нет · CC-BY-SA-4.0

русскоязычный оригинал · подмножество

ruEthics

Этические суждения на русском языке

Универсальные знания и рассуждение · версии пока нет · mit

русскоязычный оригинал · подмножество

ruMMLU

Знания на русском языке

Универсальные знания и рассуждение · версии пока нет · mit

русскоязычный оригинал · подмножество

RussianSuperGLUE

Понимание русского языка

Универсальные знания и рассуждение · версии пока нет · MIT

русскоязычный оригинал · подмножество

SWE-bench Verified

Реальные баг-фиксы в открытых репозиториях

Программирование · версии пока нет

язык оригинала · подмножество задач

TAPE

Few-shot и робастность на русском языке

Универсальные знания и рассуждение · версии пока нет · Apache-2.0

русскоязычный оригинал · подмножество

TAU-bench

Агентные диалоги с инструментами

Поддержка клиентов, Электронная коммерция, Транспорт и логистика · версии пока нет · MIT

перевод реплик · API инструментов оригинальный