КАТЕГОРИЯ · предметная область
Генерация, отладка и ревью кода, задачи с русскоязычными постановками и комментариями.
6 наборов · ведомость по области →
| Набор | Версия | Задач | Лицензия |
|---|---|---|---|
| BFCL Вызов функций и инструментов | — | — | Apache-2.0 |
| HumanEval Базовая проверка генерации кода | — | — | MIT |
| LiveCodeBench Алгоритмический код, устойчивый к контаминации | — | — | MIT |
| MMLU-Pro Широкие знания и рассуждение, десять вариантов ответа | — | — | mit |
| Ru-HumanEval Код с русскоязычной постановкой задачи | — | — | mit |
| SWE-bench Verified Реальные баг-фиксы в открытых репозиториях | — | — | — |
BFCL
Вызов функций и инструментов
версии пока нет · Apache-2.0
HumanEval
Базовая проверка генерации кода
версии пока нет · MIT
LiveCodeBench
Алгоритмический код, устойчивый к контаминации
версии пока нет · MIT
MMLU-Pro
Широкие знания и рассуждение, десять вариантов ответа
версии пока нет · mit
Ru-HumanEval
Код с русскоязычной постановкой задачи
версии пока нет · mit
SWE-bench Verified
Реальные баг-фиксы в открытых репозиториях
Состав задач ещё не зафиксирован: у наборов области нет опубликованных версий, поэтому считать нечего. Числа появятся вместе с первой версией набора.
версии пока нет