{"data":{"suite":{"slug":"ru-legal-reasoning","name":"Правовое рассуждение (РФ)","tagline":"Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных","description":"Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных. Источники — только с юрисдикцией, реквизитами, редакцией (valid_from/valid_to) и датой вопроса. Seed-кейсы синтетические.","methodology":"## Методология (демо)\n\nSplit-политика: public 20% / development 30% / private holdout 50%.\nНе менее половины веса — в приватном холдауте; публичные кейсы иллюстрируют формат и не раскрывают приватную часть.\n\nИзмерения риска: hallucination, incorrect-citation, unsafe-advice, under-refusal, uncertainty-handling, temporal-validity.\n\nВсе кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.","limitations":"Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».","contaminationPolicy":"Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.","license":"Демонстрационные синтетические данные (не для научного использования)","organization":{"slug":"benchru-demo-lab","name":"BenchRU Demo Lab"},"domains":[{"slug":"law","name":"Российское право"}],"capabilities":[{"slug":"factual-knowledge","name":"Знание фактов"},{"slug":"instruction-following","name":"Следование инструкциям"},{"slug":"logical-reasoning","name":"Логическое рассуждение"},{"slug":"citation-accuracy","name":"Корректность цитирования"},{"slug":"calibration","name":"Калибровка и оценка уверенности"}],"modalities":[{"slug":"text","name":"Текст"}],"methods":[{"slug":"normalized-exact-match","name":"Normalized exact match"},{"slug":"single-choice","name":"Single choice"},{"slug":"multiple-choice","name":"Multiple choice"},{"slug":"retrieval-citation-verification","name":"Retrieval/citation verification"},{"slug":"expert-rubric","name":"Expert rubric"},{"slug":"hybrid-human-model-judge","name":"Hybrid human + model judge"}],"riskDimensions":[{"slug":"hallucination","name":"Галлюцинации"},{"slug":"incorrect-citation","name":"Некорректное цитирование"},{"slug":"unsafe-advice","name":"Небезопасные советы"},{"slug":"under-refusal","name":"Недостаточные отказы"},{"slug":"uncertainty-handling","name":"Обработка неопределённости"},{"slug":"temporal-validity","name":"Временная актуальность"}],"tags":["russian","legal","high-stakes"],"sources":[{"title":"Методология и состав набора «Правовое рассуждение (РФ)» (демо)","url":null,"publisher":"BenchRU Demo Lab","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-02T00:00:00.000Z","license":"Демонстрационные синтетические данные"}]},"versions":[{"versionLabel":"1.0.0","status":"PUBLISHED","publishedAt":"2026-08-15T12:00:00.000Z","supersededAt":null}],"current":{"versionLabel":"1.0.0","publishedAt":"2026-08-15T12:00:00.000Z","notes":"Первая опубликованная демонстрационная версия.","metrics":[{"slug":"norm-knowledge-accuracy","name":"Точность знания нормы","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.25,"rangeMin":null,"rangeMax":null},{"slug":"norm-application-score","name":"Применение нормы к фактам (рубрика)","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.3,"rangeMin":null,"rangeMax":null},{"slug":"citation-precision","name":"Точность цитат","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.15,"rangeMin":null,"rangeMax":null},{"slug":"calibrated-refusal-accuracy","name":"Корректность отказа при недостатке данных","unit":"доля 0–1","direction":"higher","dimension":"reliability","weight":0.15,"rangeMin":null,"rangeMax":null},{"slug":"unsafe-advice-rate","name":"Доля небезопасных советов","unit":"доля 0–1","direction":"lower","dimension":"safety","weight":0.15,"rangeMin":null,"rangeMax":null}],"splitCounts":{"public":3,"development":1,"privateHoldout":1,"retired":0,"total":5},"cases":[{"id":"cmtkxs3mq00550zo2yd1wfnaf","order":1,"split":"PUBLIC_SAMPLE","caseType":"SINGLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленном государстве действует «Учебный кодекс о торговле» (текст придуман для демонстрации): «Ст. 12. Покупатель вправе вернуть непродовольственный товар надлежащего качества в течение 10 дней с момента покупки, если товар не был в употреблении и сохранён чек». Ситуация: покупатель приобрёл фонарь 4 дня назад, не использовал его, чек сохранён, упаковка вскрыта. Вправе ли он вернуть товар по приведённой норме?","payload":{"title":"Применение вымышленной нормы о возврате товара","demoId":"demo-legal-001","choices":["Да: все условия ст. 12 соблюдены","Нет: вскрытая упаковка препятствует возврату","Нет: срок возврата истёк","Недостаточно данных для ответа"],"notesRu":"Проверяет применение нормы к фактам, а не знание реального законодательства. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs3mu00560zo29a1w3yl7","order":2,"split":"DEVELOPMENT","caseType":"MULTIPLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленной правовой системе действуют правила: (1) договор аренды свыше 11 учебных месяцев подлежит учебной регистрации; (2) неустойка свыше 0,5% в день недопустима; (3) залог возвращается в течение 3 учебных дней. Фрагмент вымышленного договора: аренда на 14 учебных месяцев без регистрации; неустойка 0,7% в день; залог возвращается в течение 2 учебных дней. Какие нарушения присутствуют?","payload":{"title":"Issue spotting в вымышленном договоре","demoId":"demo-legal-002","choices":["Отсутствие учебной регистрации","Слишком короткий срок возврата залога","Недопустимый размер неустойки","Нарушений нет"],"notesRu":"Проверяет issue spotting по приведённым вымышленным правилам. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs3mx00570zo261d7eym7","order":3,"split":"PRIVATE_HOLDOUT","caseType":"SHORT_ANSWER","prompt":null,"payload":null,"weight":1,"isDemo":true},{"id":"cmtkxs3mz00580zo2f45m2jby","order":4,"split":"PUBLIC_SAMPLE","caseType":"SINGLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленной правовой системе: «Учебный закон об учёте» (принят в 2024 учебном году): «Запись ведётся 30 дней». «Учебный кодекс учёта» (принят в 2026 учебном году, та же учебная ступень иерархии): «Запись ведётся 14 дней». Действует учебное правило: при равной ступени применяется более поздний акт. Какой срок применим на 01.08.2026?","payload":{"title":"Конфликт двух вымышленных норм","demoId":"demo-legal-004","choices":["30 дней","14 дней","Оба срока одновременно","Ни один: нормы отменяют друг друга"],"notesRu":"Проверяет temporal validity и разрешение коллизий. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs3n200590zo2cxxe1nn6","order":5,"split":"PUBLIC_SAMPLE","caseType":"SHORT_ANSWER","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент выдачи справки о состоянии учебного счёта» (вымышленный): срок оказания услуги — 7 учебных рабочих дней со дня регистрации заявления. Заявление зарегистрировано 01.09.2026. Укажите только срок оказания услуги (число дней и вид дней).","payload":{"title":"Срок по вымышленному регламенту (короткий ответ)","demoId":"demo-legal-005","notesRu":"Проверяет точное извлечение нормы. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true}],"changelog":[{"title":"Опубликована версия 1.0.0 набора «Правовое рассуждение (РФ)»","body":"Первая опубликованная версия демонстрационного набора: 5 синтетических учебных кейсов, 5 метрик с весами, split-политика 20/30/50. Кейсы вымышлены и требуют экспертной проверки перед рабочим использованием.","publishedAt":"2026-08-15T12:00:00.000Z"}]}}}