Набор задач
BenchRUверсия 1.0.0Собственная лицензия BenchRU (публичный образец)
Не что написано в кодексе, а какую норму применить к описанным обстоятельствам
Отличие от оригинала: Собственный набор BenchRU; нормы сверены с текстом закреплённых редакций шести кодексов в консолидированном банке правовых актов на официальном портале правовой информации
| Подробности запуска | № | Система | Качество | Надёжность | Цена / 1 млн | Покрытие |
|---|---|---|---|---|---|---|
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| Раздел | GPT Sol | Claude Opus | Claude Sonnet | GPT | DeepSeek Pro | Qwen3.8 Flash |
|---|
Собственный набор BenchRU. Проверяет умение применить норму шести кодексов Российской Федерации к описанной ситуации: выбрать применимую норму и назвать последствие, которое кодекс определяет однозначно. Задача — фабула и вопрос, а не вопрос о статье. Источник меняется, поэтому каждое задание называет кодекс и дату, на которую действует редакция, а каждая задача закрепляет её идентификатор и сверяется с ней программно перед каждым релизом.
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность по норме, доля 0–1 | Качество | 0,85 | — | больше |
| Соблюдение формата ответа, доля 0–1 | Надёжность | 0,15 | — | больше |
Показаны 36 задач из публичного образца. Закрытый holdout не публикуется — известно только число задач.
| 1 |
GPT Sol gpt-5.6-sol |
| 87,2 |
| 98,9 |
| 10,00 $ |
| 100 % |
| 2 | Claude Opus claude-opus-5 | 78,9 | 93,9 | 25,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 3 | Claude Sonnet claude-sonnet-5 | 75,6 | 100,0 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 4 | GPT gpt-5.1 | 65,0 | 100,0 | 5,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 5 | DeepSeek Pro deepseek-v4-pro-0813 | 62,2 | 100,0 | 1,98 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 6 | Qwen3.8 Flash qwen3.8-flash | 59,4 | 100,0 | 0,47 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,47 $ / 1 млн вывода · AlibabaОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 6 | GPT Luna gpt-5.6-luna | 59,4 | 91,1 | 0,60 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 8 | Gemma 31B gemma-4-31b-it | 58,9 | 100,0 | 0,10 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 9 | DeepSeek Flash deepseek-v4-flash-0731 | 51,1 | 100,0 | 0,14 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,14 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 10 | MiniMax M3 minimax-m3 | 50,0 | 98,9 | 0,88 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,88 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
№ 1
GPT Sol gpt-5.6-sol
OpenRouter
Качество
87,2
Н 98,9 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 2
Claude Opus claude-opus-5
OpenRouter
Качество
78,9
Н 93,9 · П 100 % · 25,00 $/1 млн
11 ноября 2026 г.
№ 3
Claude Sonnet claude-sonnet-5
OpenRouter
Качество
75,6
Н 100,0 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 4
GPT gpt-5.1
OpenRouter
Качество
65,0
Н 100,0 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 5
DeepSeek Pro deepseek-v4-pro-0813
OpenRouter
Качество
62,2
Н 100,0 · П 100 % · 1,98 $/1 млн
11 ноября 2026 г.
№ 6
Qwen3.8 Flash qwen3.8-flash
OpenRouter
Качество
59,4
Н 100,0 · П 100 % · 0,47 $/1 млн
11 ноября 2026 г.
№ 6
GPT Luna gpt-5.6-luna
OpenRouter
Качество
59,4
Н 91,1 · П 100 % · 0,60 $/1 млн
11 ноября 2026 г.
№ 8
Gemma 31B gemma-4-31b-it
OpenRouter
Качество
58,9
Н 100,0 · П 100 % · 0,10 $/1 млн
11 ноября 2026 г.
№ 9
DeepSeek Flash deepseek-v4-flash-0731
OpenRouter
Качество
51,1
Н 100,0 · П 100 % · 0,14 $/1 млн
11 ноября 2026 г.
№ 10
MiniMax M3 minimax-m3
OpenRouter
Качество
50,0
Н 98,9 · П 100 % · 0,88 $/1 млн
11 ноября 2026 г.
| Gemma 31B |
|---|
| DeepSeek Flash |
|---|
| MiniMax M3 |
|---|
| Разброс |
|---|
| Гражданские сроки | 83,3 | 73,3 | 73,3 | 73,3 | 56,7 | 73,3 | 66,7 | 70,0 | 63,3 | 56,7 | 26,6 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Договор и обязательство | 83,3 | 80,0 | 70,0 | 56,7 | 56,7 | 46,7 | 60,0 | 53,3 | 43,3 | 46,7 | 40,0 |
| Трудовые отношения | 86,7 | 80,0 | 73,3 | 66,7 | 56,7 | 56,7 | 60,0 | 53,3 | 50,0 | 33,3 | 53,4 |
| Административная ответственность | 90,0 | 80,0 | 76,7 | 63,3 | 63,3 | 53,3 | 40,0 | 56,7 | 53,3 | 46,7 | 50,0 |
| Гражданский процесс | 86,7 | 73,3 | 76,7 | 63,3 | 66,7 | 60,0 | 73,3 | 60,0 | 50,0 | 50,0 | 36,7 |
| Жилищные отношения | 93,3 | 86,7 | 83,3 | 66,7 | 73,3 | 66,7 | 56,7 | 60,0 | 46,7 | 66,7 | 46,6 |
| Весь набор | 87,2 | 78,9 | 75,6 | 65,0 | 62,2 | 59,4 | 59,4 | 58,9 | 51,1 | 50,0 | 37,2 |
|---|
Задача № 6 · короткий точный ответ · публичный образец
Ответьте на вопрос о первой части Гражданского кодекса Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только число обстоятельств, без рассуждений и пояснений. Истец ссылается на четыре обстоятельства, каждое из которых, по его мнению, приостановило течение срока исковой давности: чрезвычайное и непредотвратимое при данных условиях обстоятельство, препятствовавшее предъявлению иска; нахождение истца в составе Вооружённых Сил Российской Федерации, переведённых на военное положение; тяжёлая болезнь самого истца; длительный отъезд ответчика за пределы страны. Сколько из этих четырёх обстоятельств пункт статьи прямо относит к основаниям приостановления? (идентификатор задания: BENCHRU-RU-PRAVO-1.0.0-M2VQ8K)
Задача № 12 · короткий точный ответ · публичный образец
Ответьте на вопрос о первой части Гражданского кодекса Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только дата: число и месяц, без рассуждений и пояснений. Учётные записи о владельцах именных документарных ценных бумаг утрачены. Лицо, ведущее учёт, опубликовало информацию об этом 10 января и должно указать срок представления бумаг их владельцами. Оно хочет назначить этот срок настолько коротким, насколько это допускает Кодекс. Каким самым ранним числом может быть определён последний день срока представления?
Задача № 13 · короткий точный ответ · публичный образец
Ответьте на вопрос о первой части Гражданского кодекса Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только дата: число и месяц, без рассуждений и пояснений. Срок представления именных документарных ценных бумаг их владельцами окончился 3 июня. После этого лицо, ведущее учёт, обязано восстановить утраченные учётные записи. За восстановлением в суд никто не обращался. Не позднее какого числа записи должны быть восстановлены?
Задача № 14 · короткий точный ответ · публичный образец
Ответьте на вопрос о первой части Гражданского кодекса Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только год четырьмя цифрами, без рассуждений и пояснений. Гражданин, не являющийся собственником, с 4 июня 2016 года добросовестно, открыто и непрерывно владеет как своим собственным чужой движимой вещью. Иные срок и условия приобретения для такого имущества статья не предусматривает. Владение не прерывалось. В каком году он приобретает право собственности на эту вещь?
Задача № 21 · один вариант · публичный образец
Ответьте на вопрос о первой части Гражданского кодекса Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Истец обратился в суд с требованием о защите нарушенного права. Из содержания искового заявления видно, что срок исковой давности по этому требованию истёк. Ответчик к этому моменту никаких заявлений по делу не делал. Как суд поступает с таким требованием на стадии его принятия? А. Принимает и отказывает в иске по давности Б. Возвращает исковое заявление В. Принимает его к рассмотрению независимо от истечения срока Г. Оставляет исковое заявление без движения до объяснений истца о причинах пропуска
Задача № 26 · один вариант · публичный образец
Ответьте на вопрос о первой части Гражданского кодекса Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — одна заглавная буква: А, Б, В или Г. Без пояснений. Должник в письме кредитору подтвердил наличие долга и попросил об отсрочке. Письмо отправлено до истечения срока исковой давности. Никаких платежей должник не делал и в суд стороны не обращались. Как это письмо влияет на течение срока исковой давности? А. Течение срока не изменяется Б. Течение срока приостанавливается до истечения испрошенной должником отсрочки В. Срок продлевается на шесть месяцев Г. Течение срока исковой давности прерывается
Набор авторский: задачи написаны BenchRU, нормы взяты из первоисточника. Что набор меряет. Не то, что написано в акте, а какую норму применить к описанным обстоятельствам. Задача — это фабула на три-пять предложений и вопрос, ответ на который кодекс определяет однозначно: срок, размер, предел, кто вправе, что происходит с договором, что обязан сделать суд или орган. Вопрос «каков общий срок исковой давности» в набор не берётся: это припоминание. Берётся «товар передан 3 марта, требование заявлено 10 сентября следующего года, специального срока кодекс не устанавливает — истёк ли срок». Источник — шесть кодексов Российской Федерации в редакциях, действующих на 6 сентября 2026 года. Текст берётся из консолидированного банка правовых актов на официальном интернет-портале правовой информации: Гражданский кодекс Российской Федерации. Часть первая — редакция 495930, действующая с 1 сентября 2026 года (594 статьи, 1744 деления); Гражданский кодекс Российской Федерации. Часть вторая — редакция 493400, действующая с 10 июня 2026 года (685 статей, 1574 деления); Трудовой кодекс Российской Федерации — редакция 492286, действующая с 1 сентября 2026 года (540 статей, 1832 деления); Кодекс Российской Федерации об административных правонарушениях — редакция 495400, действующая с 1 сентября 2026 года (1155 статей, 3966 делений); Гражданский процессуальный кодекс Российской Федерации — редакция 496093, действующая с 1 сентября 2026 года (514 статей, 2033 деления); Жилищный кодекс Российской Федерации — редакция 488169, действующая с 1 сентября 2026 года (243 статьи, 1768 делений). Каждая задача хранит на сервере точный текст своего пункта или части и то его место, которое делает ответ верным; перед каждым релизом текст закреплённой редакции запрашивается заново и сверяется. Задание всегда называет кодекс и дату, на которую действует редакция. Опубликованная версия набора неизменяема, а кодексы меняются: КоАП выдержал сто с лишним редакций, и у четырёх из шести кодексов уже приняты редакции, не вступившие в силу. Разрешается это не оговоркой в методологии, а самим текстом задания: вопрос спрашивает не «как сейчас», а «как в редакции, действующей на названную дату». Шесть кодексов, а не один, потому что набор меряет выбор нормы. Набор из одного кодекса подсказывал бы половину ответа самой принадлежностью: если всё про Гражданский кодекс, то «какой срок» — почти наверняка исковая давность. Что проверяется. Шесть разделов: гражданские сроки (30 задач), договор и обязательство (30), трудовые отношения (30), административная ответственность (30), гражданский процесс (30), жилищные отношения (30). Задействовано 167 статей и их делений. Форму ответа задаёт задача, а не раздел. Точное значение (100 задач) — там, где ответ есть число, срок, размер, доля или дата. Выбор из четырёх вариантов (80 задач) — там, где ответ есть утверждение, которое можно пересказать разными словами. Пол угадывания версии 1.0.0 — 11,1% точности. Длина вариантов выровнена: верный вариант оказывается самым длинным в 1% задач с выбором и самым коротким в 5%. Единица срока значима и не нормализуется: день, рабочий день и календарный день — три разные единицы, кодексы различают их сами, и задание всегда называет требуемую форму ответа. Чего набор не берёт. Норму, помеченную в тексте источника постановлением Конституционного Суда о несоответствии Конституции: она продолжает действовать, но её содержание оспорено, и правильный ответ перестаёт быть вопросом чтения кодекса. Это правило проверяется машиной, и стоило оно дорого — из набора вышла сердцевина исковой давности. Дальше: норму, ответ по которой зависит от обстоятельства, которого фабула не называет; случай, к которому применимы и общая норма, и специальная; вопрос, отданный на усмотрение суда, кроме самих пределов усмотрения; величину, которую кодекс берёт из другого источника; уголовное право целиком. Как оценивается. Программно и детерминированно, без судьи-модели: судья оценивал бы юридическую аргументацию, которой набор не меряет. «Точность по норме» — совпадение нормализованного ответа с эталоном. «Соблюдение формата ответа» — соответствие всего вывода объявленному в задании формату. Отказ отвечать со ссылкой на то, что нужен юрист, — это ноль по точности, а не ошибка сбора: ответ измерен и неверен. Набор не является юридической консультацией и не даёт рекомендаций по конкретной ситуации: он измеряет модели.
1. Набор меряет применение одной закреплённой редакции каждого кодекса. За её пределами ответы неверны по построению — именно поэтому каждое задание называет редакцию. 2. Набор не меряет исход дела, судебную практику и разъяснения высших судов. Норма, содержание которой оспорено постановлением Конституционного Суда, в набор не берётся вовсе. 3. Набор не меряет региональные и муниципальные акты и величины, которые кодекс берёт из другого источника: ключевую ставку Банка России, минимальный размер оплаты труда, прожиточный минимум. 4. Набор не меряет то, что закон отдаёт на усмотрение суда или органа, кроме самих пределов этого усмотрения. 5. Фабулы упрощены намеренно: в них ровно те обстоятельства, от которых зависит ответ. Настоящее дело так не выглядит, и высокий результат на наборе не означает пригодности модели для работы с настоящим делом. 6. Шесть кодексов — не всё право. Уголовного и уголовно-процессуального права в наборе нет намеренно: квалификация там упирается в признаки, которые устанавливает суд. Разбивка по разделам показывает, где именно измерено; переносить результат на неизмеренные отрасли нельзя. 7. Набор не покрывает измерение «Безопасность» и не даёт BenchRU Overall в одиночку. 8. HTTPS у портала правовой информации с наших машин не отвечает, обращение идёт по HTTP. Поэтому текст сохраняется целиком и сверяется заново перед каждым релизом. 9. Набор не является юридической консультацией. Норму устанавливает кодекс, а не BenchRU.
Дата создания каждой задачи — сентябрь 2026, хранится в самой задаче. Canary. В версии есть задание с уникальной строкой-маркером. Появление этой строки в ответе модели на любой другой вопрос означает, что набор попал в обучающие данные. Маркер встроен в обычное задание, поэтому набор не получает даровых баллов. Особый риск этого набора зеркальный. Тексты кодексов открыты и наверняка есть в обучающих корпусах — но устаревшие. Набор поэтому не проверяет доступ к тексту и не наказывает за него: он проверяет применение названной редакции. Фабула формулируется своими словами и не называет номер статьи; номер статьи и деления — серверная величина. Ротация. В каждой минорной версии не менее 20% закрытого холдаута заменяется новыми задачами. Норма, которую изменили или которую оспорил Конституционный Суд, выводится из набора независимо от квоты. Прогон сам по себе — канал контаминации, и мы это признаём: провайдер вправе сохранять входы своего API.