Набор задач
BenchRUверсия 1.0.0Собственная лицензия BenchRU (публичный образец)
Ударение, слитно-раздельно-дефис, прописные буквы, «ё» и трудные формы — по академическому словарю ИРЯ РАН
Отличие от оригинала: Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
Набор один, а профили оценки разные (API, рассуждение включено, temperature=0, API, прямой ответ, temperature=0): условия измерения различались, места сравнивать напрямую нельзя.
| Раздел | Задач | Claude Fable | GPT Astra | GPT Sol | Gemini Pro | GPT Sol |
|---|
Собственный набор BenchRU. Проверяет владение кодифицированной письменной и акцентологической нормой современного русского литературного языка. Каждая задача авторская; каждый факт о норме взят из словарной статьи академического ресурса «Академос» ИРЯ РАН и сверяется с источником заново перед каждым релизом.
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность по норме, доля 0–1 | Качество | 0,85 | — | больше |
| Соблюдение формата ответа, доля 0–1 | Надёжность | 0,15 | — | больше |
Показаны 36 задач из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 16 · короткий точный ответ · публичный образец
| 1 | Claude Fable claude-fable-5.2 | 93,9 | 100,0 | 40,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 40,00 $ / 1 млн вывода · GoogleОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 2 | GPT Astra gpt-6-astra | 93,3 | 100,0 | 25,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 3 | GPT Sol gpt-6.1-sol | 91,7 | 100,0 | 5,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 4 | Gemini Pro gemini-2.5-pro | 86,1 | 99,4 | 5,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · Google AI StudioОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 5 | GPT Sol gpt-5.6-sol | 82,2 | 99,4 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 5 | DeepSeek Pro deepseek-v4-pro-0813 | 82,2 | 96,1 | 1,98 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 7 | Kimi K3 kimi-k3 | 74,4 | 100,0 | 9,34 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 9,34 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 8 | Claude Sonnet claude-sonnet-5 | 71,1 | 98,3 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 9 | GPT Luna gpt-5.6-luna | 70,6 | 98,9 | 0,60 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 10 | Gemma 31B gemma-4-31b-it | 68,3 | 97,8 | 0,10 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
№ 1
Claude Fable claude-fable-5.2
OpenRouter
Качество
93,9
Н 100,0 · П 100 % · 40,00 $/1 млн
11 ноября 2026 г.
№ 2
GPT Astra gpt-6-astra
OpenRouter
Качество
93,3
Н 100,0 · П 100 % · 25,00 $/1 млн
11 ноября 2026 г.
№ 3
GPT Sol gpt-6.1-sol
OpenRouter
Качество
91,7
Н 100,0 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 4
Gemini Pro gemini-2.5-pro
Качество
86,1
Н 99,4 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 5
GPT Sol gpt-5.6-sol
OpenRouter
Качество
82,2
Н 99,4 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 5
DeepSeek Pro deepseek-v4-pro-0813
OpenRouter
Качество
82,2
Н 96,1 · П 100 % · 1,98 $/1 млн
11 ноября 2026 г.
№ 7
Kimi K3 kimi-k3
OpenRouter
Качество
74,4
Н 100,0 · П 100 % · 9,34 $/1 млн
11 ноября 2026 г.
№ 8
Claude Sonnet claude-sonnet-5
Качество
71,1
Н 98,3 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 9
GPT Luna gpt-5.6-luna
OpenRouter
Качество
70,6
Н 98,9 · П 100 % · 0,60 $/1 млн
11 ноября 2026 г.
№ 10
Gemma 31B gemma-4-31b-it
OpenRouter
Качество
68,3
Н 97,8 · П 100 % · 0,10 $/1 млн
11 ноября 2026 г.
| Kimi K3 |
|---|
| Claude Sonnet |
|---|
| GPT Luna |
|---|
| Gemma 31B |
|---|
| Разброс |
|---|
| Ударение | 45 | 93,3 | 88,9 | 86,7 | 84,4 | 80,0 | 64,4 | 51,1 | 55,6 | 60,0 | 53,3 | 28,9 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Слитно/раздельно/дефис | 40 | 92,5 | 95,0 | 95,0 | 87,5 | 92,5 | 90,0 | 90,0 | 80,0 | 87,5 | 82,5 | 12,5 |
| Прописная/строчная | 35 | 94,3 | 97,1 | 94,3 | 85,7 | 68,6 | 82,9 | 77,1 | 65,7 | 54,3 | 65,7 | 28,6 |
| Буквы е и ё | 20 | 100,0 | 100,0 | 100,0 | 90,0 | 95,0 | 95,0 | 90,0 | 80,0 | 80,0 | 85,0 | 15,0 |
| Трудные формы | 25 | 92,0 | 92,0 | 92,0 | 88,0 | 84,0 | 96,0 | 80,0 | 84,0 | 84,0 | 76,0 | 20,0 |
| Вариативность | 15 | 93,3 | 86,7 | 80,0 | 80,0 | 73,3 | 73,3 | 66,7 | 73,3 | 60,0 | 46,7 | 26,6 |
| Весь набор | 180 | 93,9 | 93,3 | 91,7 | 86,1 | 82,2 | 82,2 | 74,4 | 71,1 | 70,6 | 68,3 | 13,9 |
|---|
Прочитайте предложение и запишите слово, взятое в фигурные скобки, в той форме, в какой оно должно стоять в этом предложении. Ударный гласный обозначьте ЗАГЛАВНОЙ буквой, остальные буквы — строчные. Ответ — одно слово, без пояснений и без знака ударения. Билеты в {партер} разобрали за первые сутки. (идентификатор задания: BENCHRU-RU-NORMA-1.0.0-K7QX2M)
Задача № 19 · короткий точный ответ · публичный образец
Прочитайте предложение и запишите слово, взятое в фигурные скобки, в той форме, в какой оно должно стоять в этом предложении. Ударный гласный обозначьте ЗАГЛАВНОЙ буквой, остальные буквы — строчные. Ответ — одно слово, без пояснений и без знака ударения. В глубине парка стоит гипсовая {статуя}.
Задача № 22 · короткий точный ответ · публичный образец
Прочитайте предложение и запишите слово, взятое в фигурные скобки, в той форме, в какой оно должно стоять в этом предложении. Ударный гласный обозначьте ЗАГЛАВНОЙ буквой, остальные буквы — строчные. Ответ — одно слово, без пояснений и без знака ударения. Он высказал твёрдое {намерение} довести дело до конца.
Задача № 23 · короткий точный ответ · публичный образец
Прочитайте предложение и запишите слово, взятое в фигурные скобки, в той форме, в какой оно должно стоять в этом предложении. Ударный гласный обозначьте ЗАГЛАВНОЙ буквой, остальные буквы — строчные. Ответ — одно слово, без пояснений и без знака ударения. Слушать его было {завидно} и немного обидно.
Задача № 27 · короткий точный ответ · публичный образец
Прочитайте предложение и запишите слово, взятое в фигурные скобки, в той форме, в какой оно должно стоять в этом предложении. Ударный гласный обозначьте ЗАГЛАВНОЙ буквой, остальные буквы — строчные. Ответ — одно слово, без пояснений и без знака ударения. На снимке хорошо видна {асимметрия} свода.
Задача № 28 · короткий точный ответ · публичный образец
Прочитайте предложение и запишите слово, взятое в фигурные скобки, в той форме, в какой оно должно стоять в этом предложении. Ударный гласный обозначьте ЗАГЛАВНОЙ буквой, остальные буквы — строчные. Ответ — одно слово, без пояснений и без знака ударения. Мешки, в которых был {цемент}, отсырели за ночь.
Набор авторский: задачи написаны BenchRU, факты о норме взяты из первоисточника. Источник нормы — орфографический академический ресурс «Академос» Института русского языка им. В. В. Виноградова РАН (orfo.ruslang.ru), электронный нормативный словарь, преемник академического «Русского орфографического словаря» (1999–2023). Каждая задача хранит на сервере точный текст словарной статьи и то её место, которое делает ответ верным; перед каждым релизом статья запрашивается заново и сверяется. Расхождение — не предупреждение, а ошибка: кейс выводится из набора, набор получает новую версию. Что проверяется. Шесть разделов: ударение в словоформе (45 задач), слитно-раздельно-дефис (40), прописная и строчная буква (35), буквы «е» и «ё» (20), трудные формы слова (25), вариативность нормы (15). Задание даёт слово не списком, а в авторском предложении, поэтому модель обязана сначала определить нужную форму и лишь затем её написание. Как оценивается. Программно и детерминированно, без судьи-модели. «Точность по норме» (вес 0,85) — совпадение нормализованного ответа с эталоном. «Соблюдение формата ответа» (вес 0,15) — соответствие объявленному в задании формату, как в IFEval. Знание и управляемость разведены намеренно: модель может знать норму и всё равно получить ноль за формат. Раздел «Вариативность нормы» проверяет то, чего не проверяет ни один известный нам набор: не переуверена ли модель. Там, где академический словарь даёт два равноправных варианта, ответ «верен только один» — ошибка. Порядок вариантов в каждом задании перемешан детерминированно, поэтому стратегия «всегда отвечать В» не работает. Набор не является пособием по русскому языку и не даёт рекомендаций по языку: он измеряет модели.
1. Пунктуация в версию 1.0.0 не входит. Единственный официально утверждённый текст правил — «Правила русской орфографии и пунктуации» 1956 г.; академический справочник 2006 г. доступен на gramota.ru, который на программный запрос отвечает 403 (проверено 05.09.2026). Публиковать пунктуационные задачи без открывающегося источника запрещено регламентом. 2. Набор меряет кодифицированную норму, а не живой узус: написание, распространённое в интернете, но не поддержанное словарём, считается ошибкой. 3. Норма привязана к дате обращения к источнику. При перекодификации кейс выводится из набора, а не переписывается в опубликованной версии. 4. Набор не покрывает измерение «Безопасность» и не даёт BenchRU Overall в одиночку: у орфографической задачи нет осмысленного риска безопасности. 5. Раздел «Прописная и строчная буква» опирается на область, где сам издатель называет свои правила рекомендательными. Задачи взяты только там, где словарная статья даёт написание прямо. 6. Ударение обозначается заглавной буквой, а не знаком U+0301: комбинирующий знак модели воспроизводят нестабильно, и набор мерил бы токенизатор, а не норму.
Дата создания каждой задачи — сентябрь 2026, хранится в самой задаче. Canary. В версии есть задание с уникальной строкой-маркером. Появление этой строки в ответе модели на любой другой вопрос означает, что набор попал в обучающие данные; такой факт публикуется на этой странице. Маркер встроен в обычное задание, поэтому набор не получает даровых баллов. Публикуется только публичный образец — 20% веса. Задачи и эталоны сплитов «для отладки» и «закрытый holdout» не выкладываются нигде: ни в репозитории, ни на Hugging Face, ни в issues, ни в скриншотах. Закрытый holdout восстанавливается только из резервной копии базы. Ротация. В каждой минорной версии не менее 20% закрытого холдаута заменяется новыми задачами; выведенные задачи переходят в публичный образец следующей версии или в статус «выведен». Естественная ротация источника. «Академос» пополняется и перекодифицируется; сверка с источником перед каждым релизом гарантирует, что набор идёт за источником, а не расходится с ним молча.