Набор задач
BenchRUверсия 1.0.0Собственная лицензия BenchRU (публичный образец)
Сроки, документы, основания отказа и порядок процедур — по административному регламенту МВД России
Отличие от оригинала: Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации
Набор один, а профили оценки разные (API, рассуждение включено, temperature=0, API, прямой ответ, temperature=0): условия измерения различались, места сравнивать напрямую нельзя.
| Раздел | Задач | GPT Sol | GPT Sol | Kimi K3 | Claude Sonnet | DeepSeek Pro | GPT |
|---|
Собственный набор BenchRU. Проверяет знание порядка предоставления государственной услуги так, как он записан в административном регламенте: сроки, исчерпывающие перечни документов и оснований отказа, последовательность процедур, роль многофункционального центра и Единого портала. Каждая задача авторская; каждое требование взято из нумерованного пункта Административного регламента МВД России, утверждённого приказом от 31.03.2021 № 186, и сверяется с источником заново перед каждым релизом.
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность по требованию, доля 0–1 | Качество | 0,85 | — | больше |
| Соблюдение формата ответа, доля 0–1 | Надёжность | 0,15 | — | больше |
Показаны 37 задач из публичного образца. Закрытый holdout не публикуется — известно только число задач.
| 1 | GPT Sol gpt-6.1-sol | 82,2 | 98,9 | 5,00 $ | 100 % | |
Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 2 | GPT Sol gpt-5.6-sol | 77,2 | 97,2 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 3 | Kimi K3 kimi-k3 | 66,1 | 95,0 | 9,34 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 9,34 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 4 | Claude Sonnet claude-sonnet-5 | 62,2 | 94,4 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 5 | DeepSeek Pro deepseek-v4-pro-0813 | 58,3 | 98,9 | 1,98 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 6 | GPT gpt-5.1 | 57,2 | 96,1 | 5,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 7 | GPT Luna gpt-5.6-luna | 56,7 | 93,3 | 0,60 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 8 | Qwen3.8 Flash qwen3.8-flash | 53,9 | 98,3 | 0,47 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,47 $ / 1 млн вывода · AlibabaОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 9 | Gemma 31B gemma-4-31b-it | 52,8 | 95,0 | 0,10 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 10 | DeepSeek Flash deepseek-v4-flash-0731 | 51,7 | 97,2 | 0,14 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,14 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
№ 1
GPT Sol gpt-6.1-sol
OpenRouter
Качество
82,2
Н 98,9 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 2
GPT Sol gpt-5.6-sol
OpenRouter
Качество
77,2
Н 97,2 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 3
Kimi K3 kimi-k3
OpenRouter
Качество
66,1
Н 95,0 · П 100 % · 9,34 $/1 млн
11 ноября 2026 г.
№ 4
Claude Sonnet claude-sonnet-5
Качество
62,2
Н 94,4 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 5
DeepSeek Pro deepseek-v4-pro-0813
OpenRouter
Качество
58,3
Н 98,9 · П 100 % · 1,98 $/1 млн
11 ноября 2026 г.
№ 6
GPT gpt-5.1
Качество
57,2
Н 96,1 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 7
GPT Luna gpt-5.6-luna
OpenRouter
Качество
56,7
Н 93,3 · П 100 % · 0,60 $/1 млн
11 ноября 2026 г.
№ 8
Qwen3.8 Flash qwen3.8-flash
OpenRouter
Качество
53,9
Н 98,3 · П 100 % · 0,47 $/1 млн
11 ноября 2026 г.
№ 9
Gemma 31B gemma-4-31b-it
OpenRouter
Качество
52,8
Н 95,0 · П 100 % · 0,10 $/1 млн
11 ноября 2026 г.
№ 10
DeepSeek Flash deepseek-v4-flash-0731
OpenRouter
Качество
51,7
Н 97,2 · П 100 % · 0,14 $/1 млн
11 ноября 2026 г.
| Qwen3.8 Flash |
|---|
| Gemma 31B |
|---|
| DeepSeek Flash |
|---|
| Разброс |
|---|
| Сроки и приостановление | 25 | 72,0 | 60,0 | 52,0 | 44,0 | 40,0 | 44,0 | 48,0 | 32,0 | 40,0 | 32,0 | 28,0 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Документы, заявление, фотографии | 40 | 97,5 | 85,0 | 82,5 | 80,0 | 75,0 | 77,5 | 70,0 | 70,0 | 67,5 | 72,5 | 17,5 |
| Отказ и его основания | 25 | 96,0 | 80,0 | 76,0 | 68,0 | 80,0 | 68,0 | 76,0 | 72,0 | 68,0 | 76,0 | 12,0 |
| Административные процедуры | 40 | 72,5 | 75,0 | 70,0 | 57,5 | 52,5 | 47,5 | 42,5 | 45,0 | 37,5 | 42,5 | 37,5 |
| МФЦ и Единый портал | 30 | 73,3 | 76,7 | 46,7 | 50,0 | 40,0 | 50,0 | 43,3 | 50,0 | 46,7 | 26,7 | 50,0 |
| Стандарт услуги, контроль, обжалование | 20 | 80,0 | 85,0 | 60,0 | 70,0 | 60,0 | 50,0 | 65,0 | 50,0 | 60,0 | 60,0 | 35,0 |
| Весь набор | 180 | 82,2 | 77,2 | 66,1 | 62,2 | 58,3 | 57,2 | 56,7 | 53,9 | 52,8 | 51,7 | 25,5 |
|---|
Задача № 1 · один вариант · публичный образец
Ответьте на вопрос о требованиях Административного регламента МВД России по оформлению и выдаче заграничного паспорта (утверждён приказом МВД России от 31.03.2021 № 186). Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Согласно общему правилу Административного регламента, со дня совершения какого действия исчисляется срок предоставления государственной услуги? А. Со дня уплаты государственной пошлины Б. Со дня подачи заявления В. Со дня приглашения заявителя на приём Г. Со дня получения ответов на межведомственные запросы (идентификатор задания: BENCHRU-RU-REGLAMENT-1.0.0-K7QM3V)
Задача № 3 · короткий точный ответ · публичный образец
Ответьте на вопрос о требованиях Административного регламента МВД России по оформлению и выдаче заграничного паспорта (утверждён приказом МВД России от 31.03.2021 № 186). Ответ — только срок: число и единица времени (например, «2 недели»), без пояснений. Заявитель подаёт заявление не по месту жительства, а по месту своего пребывания. Какой предельный срок предоставления государственной услуги установлен для этого случая?
Задача № 6 · один вариант · публичный образец
Ответьте на вопрос о требованиях Административного регламента МВД России по оформлению и выдаче заграничного паспорта (утверждён приказом МВД России от 31.03.2021 № 186). Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Заявитель лично подал в подразделение по вопросам миграции заявление, необходимые документы и фотографии. Какой день считается датой подачи заявления? А. День, когда уполномоченный руководитель принял заявление к рассмотрению Б. День регистрации заявления в ведомственном сегменте системы «Мир» В. День подачи заявления с приложением необходимых документов и фотографий Г. Рабочий день, следующий за днём приёма заявления
Задача № 10 · один вариант · публичный образец
Ответьте на вопрос о требованиях Административного регламента МВД России по оформлению и выдаче заграничного паспорта (утверждён приказом МВД России от 31.03.2021 № 186). Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Заявителя проинформировали о необходимости получения оформленного паспорта, и он обратился за ним. Когда осуществляется выдача паспорта? А. В день, назначенный подразделением по вопросам миграции в письменном сообщении Б. После поступления в подразделение документа об уплате государственной пошлины В. В день обращения заявителя Г. Не позднее рабочего дня, следующего за днём обращения заявителя
Задача № 22 · один вариант · публичный образец
Ответьте на вопрос о требованиях Административного регламента МВД России по оформлению и выдаче заграничного паспорта (утверждён приказом МВД России от 31.03.2021 № 186). Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Гражданину отказано в оформлении паспорта из-за того, что он не явился для представления документов после подачи заявления через Единый портал. Что регламент разрешает ему сделать для получения паспорта? А. Подать новое заявление через Единый портал, многофункциональный центр либо подразделение Б. Подать новое заявление только при личном обращении в то подразделение, куда подавалось прежнее В. Дождаться, пока подразделение возобновит рассмотрение прежнего заявления Г. Обжаловать отказ вышестоящему должностному лицу — иного пути регламент не предусматривает
Задача № 43 · короткий точный ответ · публичный образец
Ответьте на вопрос о требованиях Административного регламента МВД России по оформлению и выдаче заграничного паспорта (утверждён приказом МВД России от 31.03.2021 № 186). Ответ — только одно слово, без пояснений. Заявитель желает изменить написание своей фамилии в оформляемом паспорте. Он подаёт заявление об изменении написания фамилии буквами ____ алфавита. Какое слово пропущено?
Набор авторский: задачи написаны BenchRU, требования взяты из первоисточника. Источник — Административный регламент Министерства внутренних дел Российской Федерации по предоставлению государственной услуги по оформлению и выдаче паспортов гражданина Российской Федерации, удостоверяющих личность гражданина Российской Федерации за пределами территории Российской Федерации, утверждённый приказом МВД России от 31 марта 2021 г. № 186. Полный текст берётся из ИПС «Законодательство России» на официальном интернет-портале правовой информации: 248 809 знаков, 243 нумерованных пункта и 501 пункт с подпунктами. Каждая задача хранит на сервере точный текст пункта и то его место, которое делает ответ верным; перед каждым релизом текст акта запрашивается заново и сверяется. Расхождение — не предупреждение, а ошибка: кейс выводится из набора, набор получает новую версию. Почему именно этот регламент. ИПС не сводит ведомственные акты в действующую редакцию: изменяющий приказ лежит отдельным документом, а у изменённого остаётся пометка «Действует без изменений» даже тогда, когда изменения уже внесены. Поэтому набор строится не на том акте, который удобнее, а на том, который проверяемо не менялся: сплошной просмотр приказов МВД России, зарегистрированных Минюстом, показал, что приказ № 186 не изменялся ни разу, тогда как соседние регламенты (№ 773, № 80, № 950) изменялись. Проверка повторяется перед каждым релизом версии. Почему не портал опубликования. PDF на publication.pravo.gov.ru — скан без текстового слоя: процитировать пункт из него нельзя, а задача без проверяемой цитаты в набор не идёт. Что проверяется. Шесть разделов: сроки предоставления услуги и её приостановления (25 задач), документы, заявление и фотографии (40), отказ и его основания (25), состав и последовательность административных процедур (40), многофункциональный центр и Единый портал (30), стандарт услуги, контроль и обжалование (20). Задействовано 162 пункта и подпункта регламента. Форму ответа задаёт задача, а не раздел. Точное значение (104 задачи) — там, где ответ есть число, срок, размер, устойчивый термин, название статуса или пропуск в дословной формулировке акта. Выбор из четырёх вариантов (76 задач) — там, где ответ есть утверждение, которое можно пересказать разными словами: иначе метрика точности мерила бы везение в формулировке, а не знание требования. Пол угадывания версии 1.0.0 — 10,6% точности. Длина вариантов выровнена: верный вариант оказывается самым длинным в 24% задач с выбором и самым коротким в 20% — то есть примерно так же часто, как любой другой, и подсказки в длине нет. Единица срока значима и не нормализуется. День, рабочий день и календарный день — три разные единицы, регламент различает их сам, и ответ с чужой единицей неверен. Поэтому задание всегда называет требуемую форму ответа, а эталон содержит единицу. Часть задач не спрашивает требование, а требует его применить: «заявитель зарегистрирован в одном субъекте, а подаёт заявление по месту пребывания в другом — какой предельный срок услуги», «гражданин родился в 1985 году в Свердловске — какая аббревиатура пишется в дублирующей части реквизита о месте рождения», «заявитель оформляет паспорт и хочет внести сведения о двух детях — сколько всего фотографий он прикладывает». Правило берётся из акта, ответ выводится из правила и проверяется точным сравнением. Как оценивается. Программно и детерминированно, без судьи-модели. «Точность по требованию» — совпадение нормализованного ответа с эталоном; ответ предварительно извлекается из вывода по опубликованным правилам, поэтому приписка «Ответ:» знания не отменяет. «Соблюдение формата ответа» — соответствие всего вывода объявленному в задании формату; та же приписка даёт здесь ноль. Десятичная точка приравнивается к запятой, числительное словом — к цифре, «ё» — к «е», пробел перед единицей необязателен, хвостовое уточнение внутри скобок снимается. Набор не служит справочником по оформлению заграничного паспорта и рекомендаций заявителям не даёт: он измеряет модели.
1. Набор меряет требования одного акта — приказа МВД России от 31.03.2021 № 186. Порядок предоставления других государственных услуг устроен иначе; переносить ответы набора на другие услуги нельзя. 2. Размера государственной пошлины в регламенте нет: он отсылает к Налоговому кодексу. Задачи о размере пошлины в набор не входят — такая задача опиралась бы на второй источник, который набор не сверяет. Понижающий коэффициент при подаче через Единый портал в наборе есть: он назван в самом регламенте. 3. Требование привязано к дате обращения к источнику. При изменении акта кейс выводится из набора, а не переписывается в опубликованной версии. 4. Регламент местами противоречив: срок явки после приглашения назван и в календарных, и в рабочих днях в разных пунктах. Такие места разведены по разным задачам, каждая из которых называет свою единицу; задача, где противоречие делает ответ неоднозначным, в набор не берётся. 5. ИПС теряет точку в номере статьи Налогового кодекса («333 28» вместо «333.28»). Задачи, ответом на которые был бы номер статьи, из набора исключены. 6. Набор не покрывает измерение «Безопасность» и не даёт BenchRU Overall в одиночку. 7. HTTPS у портала правовой информации с наших машин не отвечает, обращение идёт по HTTP. Именно поэтому текст пункта сохраняется целиком и сверяется заново перед каждым релизом: канал без TLS подмену не исключает, а повторная сверка — ловит.
Дата создания каждой задачи — сентябрь 2026, хранится в самой задаче. Canary. В версии есть задание с уникальной строкой-маркером. Появление этой строки в ответе модели на любой другой вопрос означает, что набор попал в обучающие данные; такой факт публикуется на этой странице. Маркер встроен в обычное задание, поэтому набор не получает даровых баллов. Особый риск этого набора. Текст источника открыт и наверняка есть в обучающих корпусах. Набор поэтому меряет не доступ к тексту, а знание требований: задание формулирует вопрос своими словами и никогда не называет номер пункта. Часть заданий намеренно оставляет пропуск в дословной формулировке акта — там, где вопрос иначе допускал бы несколько верных пересказов одного и того же требования. Номер пункта — серверная величина, он живёт на источнике задачи и в публичные данные не попадает. Публикуется только публичный образец — около 20% веса. Задачи и эталоны сплитов «для отладки» и «закрытый holdout» не выкладываются нигде: ни в репозитории, ни на Hugging Face, ни в issues, ни в скриншотах. Ротация. В каждой минорной версии не менее 20% закрытого холдаута заменяется новыми задачами. Материал для ротации есть в самом источнике: версия 1.0.0 использует 162 пункта и подпункта из 501. Прогон сам по себе — канал контаминации, и мы это признаём. Провайдер вправе сохранять входы своего API; холдаут ветшает от каждого прогона, и это одна из причин обязательной ротации.