КАТЕГОРИЯ · предметная область
Общие знания, логика, здравый смысл, междоменное рассуждение на русском языке.
10 наборов · ведомость по области →
| Набор | Версия | Задач | Лицензия |
|---|---|---|---|
| IFEval Точность следования инструкции | — | — | apache-2.0 |
| LongBench Работа с длинным контекстом | — | — | MIT |
| MERA Сводная оценка русскоязычных моделей | — | — | mit |
| MMLU-Pro Широкие знания и рассуждение, десять вариантов ответа | — | — | mit |
| MMMU Мультимодальное рассуждение | — | — | Apache-2.0 |
| RuBQ Вопросы к знаниям о России | — | — | CC-BY-SA-4.0 |
| ruEthics Этические суждения на русском языке | — | — | mit |
| ruMMLU Знания на русском языке | — | — | mit |
| RussianSuperGLUE Понимание русского языка | — | — | MIT |
| TAPE Few-shot и робастность на русском языке | — | — | Apache-2.0 |
IFEval
Точность следования инструкции
версии пока нет · apache-2.0
LongBench
Работа с длинным контекстом
версии пока нет · MIT
MERA
Сводная оценка русскоязычных моделей
версии пока нет · mit
MMLU-Pro
Широкие знания и рассуждение, десять вариантов ответа
версии пока нет · mit
MMMU
Мультимодальное рассуждение
версии пока нет · Apache-2.0
RuBQ
Вопросы к знаниям о России
версии пока нет
Состав задач ещё не зафиксирован: у наборов области нет опубликованных версий, поэтому считать нечего. Числа появятся вместе с первой версией набора.