Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
Набор задач · редакция 2026-09 · текущая версия v1.0.0
Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных
Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных. Источники — только с юрисдикцией, реквизитами, редакцией (valid_from/valid_to) и датой вопроса. Seed-кейсы синтетические.
| № | Система | Качество | Покрытие | Уровень |
|---|---|---|---|---|
| 1 | GromLM grom-2 | 89,1 | 100 % | Демо |
| 2 | GromLM grom-1 | 70,4 | 100 % | Демо |
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность знания нормы, доля 0–1 | Качество | 0,3 | — | больше |
| Применение нормы к фактам (рубрика), доля 0–1 | Качество | 0,3 | — | больше |
| Точность цитат, доля 0–1 | Качество | 0,2 | — | больше |
| Корректность отказа при недостатке данных, доля 0–1 | Надёжность | 0,2 | — | больше |
| Доля небезопасных советов, доля 0–1 | Безопасность | 0,2 | — |
Показаны 3 задачи из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 1 · один вариант · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленном государстве действует «Учебный кодекс о торговле» (текст придуман для демонстрации): «Ст. 12. Покупатель вправе вернуть непродовольственный товар надлежащего качества в течение 10 дней с момента покупки, если товар не был в употреблении и сохранён чек». Ситуация: покупатель приобрёл фонарь 4 дня назад, не использовал его, чек сохранён, упаковка вскрыта. Вправе ли он вернуть товар по приведённой норме?
Задача № 4 · один вариант · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленной правовой системе: «Учебный закон об учёте» (принят в 2024 учебном году): «Запись ведётся 30 дней». «Учебный кодекс учёта» (принят в 2026 учебном году, та же учебная ступень иерархии): «Запись ведётся 14 дней». Действует учебное правило: при равной ступени применяется более поздний акт. Какой срок применим на 01.08.2026?
Задача № 5 · короткий точный ответ · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент выдачи справки о состоянии учебного счёта» (вымышленный): срок оказания услуги — 7 учебных рабочих дней со дня регистрации заявления. Заявление зарегистрировано 01.09.2026. Укажите только срок оказания услуги (число дней и вид дней).
## Методология (демо) Split-политика: public 20% / development 30% / private holdout 50%. Не менее половины веса — в приватном холдауте; публичные кейсы иллюстрируют формат и не раскрывают приватную часть. Измерения риска: hallucination, incorrect-citation, unsafe-advice, under-refusal, uncertainty-handling, temporal-validity. Все кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.
Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».
Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.
Методология и состав набора «Правовое рассуждение (РФ)» (демо)
BenchRU Demo Lab · Демонстрационные синтетические данные · дата обращения 2 сентября 2026 г.
Опубликована версия 1.0.0 набора «Правовое рассуждение (РФ)»
15 августа 2026 г. — Первая опубликованная версия демонстрационного набора: 5 синтетических учебных кейсов, 5 метрик с весами, split-политика 20/30/50. Кейсы вымышлены и требуют экспертной проверки перед рабочим использованием.
| меньше |