{"data":{"suite":{"slug":"russian-super-glue","name":"RussianSuperGLUE","tagline":"Понимание русского языка","description":"Понимание русского языка","methodology":"Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Набор создавался для моделей до эпохи инструкционных LLM, и фронтирные модели решают большинство задач почти полностью — различающая способность низкая.","contaminationPolicy":"Опубликован в 2020 году и заведомо входит в обучающие корпуса. Используется как проверка базового понимания языка, а не как рейтинговый набор.","adaptationNote":"русскоязычный оригинал · подмножество","license":"MIT","organization":{"slug":"russiannlp","name":"RussianNLP"},"domains":[{"slug":"general-reasoning","name":"Универсальные знания и рассуждение"}],"capabilities":[{"slug":"logical-reasoning","name":"Логическое рассуждение"},{"slug":"russian-comprehension","name":"Понимание русского языка"}],"modalities":[{"slug":"text","name":"Текст"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"GitHub — RussianNLP/RussianSuperGLUE","url":"https://github.com/RussianNLP/RussianSuperGLUE","publisher":"RussianNLP","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"MIT"}]},"versions":[],"current":null}}