НАБОР ЗАДАЧ
Понимание русского языка
Отличие от оригинала: русскоязычный оригинал · подмножество
Понимание русского языка
Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Набор создавался для моделей до эпохи инструкционных LLM, и фронтирные модели решают большинство задач почти полностью — различающая способность низкая.
Опубликован в 2020 году и заведомо входит в обучающие корпуса. Используется как проверка базового понимания языка, а не как рейтинговый набор.
GitHub — RussianNLP/RussianSuperGLUE
RussianNLP · MIT · дата обращения 3 сентября 2026 г.