Каталог · редакция 2026-09

Бенчмарки

Наборы задач с версионированием, открытой методологией и честными ограничениями. Ранжирование ведётся внутри конкретной версии набора.

Все области Российское право Медицина и здравоохранение Математика Естественные науки Программирование Бизнес и предпринимательство Универсальные знания и рассуждение

Область «Программирование»: 6 наборов

Наборы задач в каталоге
Набор	Области	Версия	Задач	Лицензия
BFCL Вызов функций и инструментов перевод запросов · схемы функций оригинальные	Программирование	—	—	Apache-2.0
HumanEval Базовая проверка генерации кода перевод постановок · тесты авторские	Программирование	—	—	MIT
LiveCodeBench Алгоритмический код, устойчивый к контаминации язык оригинала · окно задач по дате	Программирование	—	—	MIT
MMLU-Pro Широкие знания и рассуждение, десять вариантов ответа перевод на русский · подмножество оригинала	Математика, Естественные науки, Программирование, Бизнес и предпринимательство, Универсальные знания и рассуждение, Медицина и здравоохранение, Российское право	—	—	mit
Ru-HumanEval Код с русскоязычной постановкой задачи

Опубликованных версий пока нет ни у одного набора: наборы занесены в каталог по первоисточникам, а состав задач и метрик фиксируется версией. Пока версии нет, испытания по набору не публикуются.