Набор задач
BenchRUверсия 1.0.0Собственная лицензия BenchRU (публичный образец)
Поля, реквизиты, дата, подпись, сроки и хранение — по Примерной инструкции по делопроизводству Росархива
Отличие от оригинала: Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации
Набор один, а профили оценки разные (API, рассуждение включено, temperature=0, API, прямой ответ, temperature=0): условия измерения различались, места сравнивать напрямую нельзя.
| Раздел | Задач | Claude Fable | GPT Astra | GPT Sol | Claude Opus | GPT Sol |
|---|
Собственный набор BenchRU. Проверяет знание правил подготовки и оформления служебных документов в государственных организациях Российской Федерации. Каждая задача авторская; каждое требование взято из нумерованного пункта Примерной инструкции по делопроизводству, утверждённой приказом Росархива от 11.04.2018 № 44, и сверяется с источником заново перед каждым релизом.
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность по требованию, доля 0–1 | Качество | 0,85 | — | больше |
| Соблюдение формата ответа, доля 0–1 | Надёжность | 0,15 | — | больше |
Показаны 36 задач из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 4 · короткий точный ответ · публичный образец
| 1 | Claude Fable claude-fable-5.2 | 91,7 | 95,6 | 40,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 40,00 $ / 1 млн вывода · GoogleОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 2 | GPT Astra gpt-6-astra | 91,1 | 99,4 | 25,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 3 | GPT Sol gpt-6.1-sol | 90,6 | 99,4 | 5,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 4 | Claude Opus claude-opus-5.5 | 88,9 | 96,7 | 20,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 20,00 $ / 1 млн вывода · Amazon BedrockОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 5 | GPT Sol gpt-5.6-sol | 85,0 | 99,4 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 6 | Claude Opus claude-opus-5 | 77,2 | 91,1 | 25,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 6 | GPT Luna gpt-5.6-luna | 77,2 | 98,3 | 0,60 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 8 | Kimi K3 kimi-k3 | 76,1 | 98,9 | 9,34 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 9,34 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 9 | Claude Sonnet claude-sonnet-5 | 75,0 | 98,9 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 10 | DeepSeek Pro deepseek-v4-pro-0813 | 73,9 | 99,4 | 1,98 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
№ 1
Claude Fable claude-fable-5.2
OpenRouter
Качество
91,7
Н 95,6 · П 100 % · 40,00 $/1 млн
11 ноября 2026 г.
№ 2
GPT Astra gpt-6-astra
OpenRouter
Качество
91,1
Н 99,4 · П 100 % · 25,00 $/1 млн
11 ноября 2026 г.
№ 3
GPT Sol gpt-6.1-sol
OpenRouter
Качество
90,6
Н 99,4 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 4
Claude Opus claude-opus-5.5
OpenRouter
Качество
88,9
Н 96,7 · П 100 % · 20,00 $/1 млн
11 ноября 2026 г.
№ 5
GPT Sol gpt-5.6-sol
OpenRouter
Качество
85,0
Н 99,4 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 6
Claude Opus claude-opus-5
OpenRouter
Качество
77,2
Н 91,1 · П 100 % · 25,00 $/1 млн
11 ноября 2026 г.
№ 6
GPT Luna gpt-5.6-luna
OpenRouter
Качество
77,2
Н 98,3 · П 100 % · 0,60 $/1 млн
11 ноября 2026 г.
№ 8
Kimi K3 kimi-k3
OpenRouter
Качество
76,1
Н 98,9 · П 100 % · 9,34 $/1 млн
11 ноября 2026 г.
№ 9
Claude Sonnet claude-sonnet-5
Качество
75,0
Н 98,9 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 10
DeepSeek Pro deepseek-v4-pro-0813
OpenRouter
Качество
73,9
Н 99,4 · П 100 % · 1,98 $/1 млн
11 ноября 2026 г.
| GPT Luna |
|---|
| Kimi K3 |
|---|
| Claude Sonnet |
|---|
| DeepSeek Pro |
|---|
| Разброс |
|---|
| Параметры оформления | 25 | 88,0 | 92,0 | 92,0 | 88,0 | 92,0 | 84,0 | 76,0 | 72,0 | 84,0 | 44,0 | 48,0 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Реквизиты | 40 | 100,0 | 100,0 | 100,0 | 100,0 | 95,0 | 90,0 | 82,5 | 87,5 | 85,0 | 85,0 | 12,5 |
| Дата, регистрация, номер | 25 | 96,0 | 92,0 | 84,0 | 92,0 | 80,0 | 76,0 | 96,0 | 76,0 | 72,0 | 88,0 | 24,0 |
| Виды документов | 35 | 85,7 | 82,9 | 82,9 | 88,6 | 80,0 | 71,4 | 71,4 | 82,9 | 77,1 | 74,3 | 11,5 |
| Документооборот и сроки | 30 | 83,3 | 86,7 | 86,7 | 66,7 | 66,7 | 63,3 | 70,0 | 53,3 | 53,3 | 66,7 | 16,7 |
| Документальный фонд | 25 | 96,0 | 92,0 | 96,0 | 96,0 | 96,0 | 76,0 | 68,0 | 80,0 | 76,0 | 80,0 | 28,0 |
| Весь набор | 180 | 91,7 | 91,1 | 90,6 | 88,9 | 85,0 | 77,2 | 77,2 | 76,1 | 75,0 | 73,9 | 11,1 |
|---|
Ответьте на вопрос о требованиях Примерной инструкции по делопроизводству в государственных организациях (утверждена приказом Росархива от 11.04.2018 № 44). Ответ — только размер с единицей измерения (например, 5 мм), без пояснений. На каком расстоянии от верхнего края листа проставляются номера страниц документа? (идентификатор задания: BENCHRU-RU-DOC-1.0.0-P4W9ZT)
Задача № 5 · один вариант · публичный образец
Ответьте на вопрос о требованиях Примерной инструкции по делопроизводству в государственных организациях (утверждена приказом Росархива от 11.04.2018 № 44). Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Какие страницы документа, созданного на двух и более страницах, нумеруются? А. только страницы с приложениями Б. все страницы, включая первую В. только нечётные страницы Г. вторая и последующие
Задача № 15 · короткий точный ответ · публичный образец
Ответьте на вопрос о требованиях Примерной инструкции по делопроизводству в государственных организациях (утверждена приказом Росархива от 11.04.2018 № 44). Ответ — только размер в миллиметрах, без пояснений. На каком расстоянии от верхнего края листа помещается изображение эмблемы организации?
Задача № 17 · короткий точный ответ · публичный образец
Ответьте на вопрос о требованиях Примерной инструкции по делопроизводству в государственных организациях (утверждена приказом Росархива от 11.04.2018 № 44). Ответ — только число, без пояснений. Какое наибольшее число адресатов допускается в одном деловом письме?
Задача № 23 · короткий точный ответ · публичный образец
Ответьте на вопрос о требованиях Примерной инструкции по делопроизводству в государственных организациях (утверждена приказом Росархива от 11.04.2018 № 44). Ответ — только число, без пояснений. В сколько проколов подшиваются документы, составляющие дело постоянного срока хранения?
Задача № 26 · один вариант · публичный образец
Ответьте на вопрос о требованиях Примерной инструкции по делопроизводству в государственных организациях (утверждена приказом Росархива от 11.04.2018 № 44). Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Как размещается изображение эмблемы организации относительно реквизитов организации на бланке документа? А. центрованно над реквизитами организации Б. справа от наименования организации В. под наименованием организации Г. слева от наименования организации
Набор авторский: задачи написаны BenchRU, требования взяты из первоисточника. Источник — Примерная инструкция по делопроизводству в государственных организациях, утверждённая приказом Федерального архивного агентства (Росархива) от 11.04.2018 № 44 и зарегистрированная Минюстом России 17.08.2018 № 51922. Полный текст берётся из ИПС «Законодательство России» на официальном интернет-портале правовой информации: 189 628 знаков, 352 нумерованных пункта в десяти главах. Каждая задача хранит на сервере точный текст пункта и то его место, которое делает ответ верным; перед каждым релизом текст акта запрашивается заново и сверяется. Расхождение — не предупреждение, а ошибка: кейс выводится из набора, набор получает новую версию. Почему не ГОСТ Р 7.0.97. Стандарт, на который принято ссылаться в делопроизводстве, полного текста программно не отдаёт: карточка на protect.gost.ru доступна, а API просмотрщика возвращает пустой список страниц, изображения страниц подменяются заглушкой «только авторизованным пользователям», PDF не существует. Сверх того редакция 2016 года заменена редакцией 2025 года с 18.08.2025. Публиковать задачи на источнике, который нельзя открыть и процитировать, запрещено регламентом набора. Неизменённость источника проверяется не статусом. ИПС не консолидирует ведомственные акты: изменяющий приказ лежит отдельным документом, а у изменённого остаётся пометка «Действует без изменений» даже тогда, когда изменения уже внесены. Поэтому перед публикацией версии выполняется поиск изменяющих актов; на 06.09.2026 ни один акт приказ Росархива № 44 не изменял. Что проверяется. Шесть разделов: параметры оформления документа (25 задач), реквизиты (40), дата, регистрация и номер (25), отдельные виды документов (35), документооборот и сроки (30), документальный фонд и хранение (25). Всего задействовано 136 нумерованных пунктов инструкции из 352. Форму ответа задаёт задача, а не раздел. Точное значение (112 задач) — там, где ответ есть число, дата, величина с единицей измерения, устойчивый термин или пропуск в дословной формулировке акта. Выбор из четырёх вариантов (68 задач) — там, где ответ есть утверждение, которое можно пересказать разными словами: иначе метрика точности мерила бы везение в формулировке, а не знание требования. Смешанный состав нужен и по другой причине: набор только из точных ответов дал бы слишком низкий пол, только из выбора — слишком высокий потолок за счёт угадывания. Пол угадывания версии 1.0.0 — 9,4% точности. Часть задач не спрашивает требование, а требует его применить: «срок исполнения поручения — 30 дней, не позднее какого дня направляется обоснование продления», «дело закончено в 2019 году со сроком хранения 5 лет, начиная с какого года можно составить акт о выделении к уничтожению», «в деле 700 листов, на сколько томов оно делится». Правило берётся из акта, ответ выводится из правила и проверяется точным сравнением. Как оценивается. Программно и детерминированно, без судьи-модели. «Точность по требованию» — совпадение нормализованного ответа с эталоном; ответ предварительно извлекается из вывода по опубликованным правилам, поэтому «Ответ: 25 мм» засчитывается как знание требования. «Соблюдение формата ответа» — соответствие всего вывода объявленному в задании формату; та же приписка «Ответ:» даёт здесь ноль. Десятичная точка приравнивается к запятой, числительное словом — к цифре, «ё» — к «е», пробел перед единицей измерения необязателен, хвостовое уточнение внутри скобок снимается: «А4 (210 × 297 мм)» — тот же «А4». Набор меряет знание требования, а не выбор записи. Набор не является пособием по делопроизводству и не даёт рекомендаций: он измеряет модели.
1. Набор меряет требования одного акта — Примерной инструкции, утверждённой приказом Росархива от 11.04.2018 № 44. Отраслевые инструкции ведомств и локальные акты организаций могут устанавливать иное; такие задачи в набор не входят. 2. Инструкция называется примерной: организации разрабатывают на её основе свои. Каждое задание называет источник требования, поэтому вопрос остаётся однозначным, но переносить ответы набора на конкретную организацию нельзя. 3. Инструкция ссылается на ГОСТ Р 7.0.97 в редакции 2016 года, которая заменена редакцией 2025 года. Задачи о составе реквизитов взяты только там, где требование сформулировано в самой инструкции, а не отсылкой к стандарту. 4. Требование привязано к дате обращения к источнику. При изменении акта кейс выводится из набора, а не переписывается в опубликованной версии. 5. Набор не покрывает измерение «Безопасность» и не даёт BenchRU Overall в одиночку. 6. HTTPS у портала правовой информации с наших машин не отвечает, обращение идёт по HTTP. Именно поэтому текст пункта сохраняется целиком и сверяется заново перед каждым релизом: канал без TLS подмену не исключает, а повторная сверка — ловит.
Дата создания каждой задачи — сентябрь 2026, хранится в самой задаче. Canary. В версии есть задание с уникальной строкой-маркером. Появление этой строки в ответе модели на любой другой вопрос означает, что набор попал в обучающие данные; такой факт публикуется на этой странице. Маркер встроен в обычное задание, поэтому набор не получает даровых баллов. Особый риск этого набора. Текст источника открыт и наверняка есть в обучающих корпусах. Набор поэтому меряет не доступ к тексту, а знание требований: задание формулирует вопрос своими словами и никогда не называет номер пункта. Восемь заданий из 180 намеренно оставляют пропуск в дословной формулировке акта — там, где вопрос иначе допускал бы несколько верных пересказов одного и того же требования. Номер пункта — серверная величина, он живёт на источнике задачи и в публичные данные не попадает. Публикуется только публичный образец — около 20% веса. Задачи и эталоны сплитов «для отладки» и «закрытый holdout» не выкладываются нигде: ни в репозитории, ни на Hugging Face, ни в issues, ни в скриншотах. Ротация. В каждой минорной версии не менее 20% закрытого холдаута заменяется новыми задачами. Материал для ротации есть в самом источнике: из 352 нумерованных пунктов инструкции версия 1.0.0 использует 157. Прогон сам по себе — канал контаминации, и мы это признаём. Провайдер вправе сохранять входы своего API; холдаут ветшает от каждого прогона, и это одна из причин обязательной ротации.