{"data":{"run":{"id":"cmtkxs48d00ak0zo2ms8jd8b5","fingerprint":"e6f5b514de4ee31a645d726fb1d627fb64eeff1589aeb31a9029c2a6629e2b92","status":"PUBLISHED","verificationLevel":"DEMO","visibility":"PUBLIC","isDemo":true,"systemPromptHash":"246eaf8fcd8d82e772a1098312d1ab444b63d0886021e91919ffaf73b468e9ed","promptTemplateVersion":"benchru-base/1","tools":{"tools":[]},"reasoningMode":"off","temperature":0,"topP":1,"seed":null,"maxOutputTokens":2048,"contextLimit":null,"hardware":null,"environment":null,"startedAt":"2026-08-21T10:00:00.000Z","completedAt":"2026-08-21T10:55:00.000Z","latencyStats":{"p50Ms":1259,"p95Ms":2818,"meanMs":1637},"tokenUsage":{"input":40201,"total":48976,"output":8775},"cost":2.1,"costCurrency":"USD","reproducibilityNotes":"Демонстрационный запуск: ответы и баллы синтетические, сгенерированы детерминированно для иллюстрации платформы; не являются реальным измерением.","publishedAt":"2026-08-21T12:00:00.000Z","createdAt":"2026-09-03T02:59:20.557Z","modelVersionId":"cmtkxs3gc00390zo2zq0i4tkd","harnessVersionId":null,"benchmarkVersionId":"cmtkxs3lx004u0zo2pjwo95pj","evaluationProfileId":"cmtkxs3i300440zo2o7t19adr","providerId":"cmtkxs3f300310zo2119wvb1m","runtimeId":"cmtkxs3fk00350zo2ofnvefle","modelVersion":{"slug":"grom-1","versionLabel":"grom-1","family":{"slug":"grom-lm","name":"GromLM"}},"provider":{"id":"cmtkxs3f300310zo2119wvb1m","slug":"demo-cloud-ru","name":"DemoCloud RU","website":null,"organizationId":"cmtkxs3ez00300zo2qykbjwrb","status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.503Z","updatedAt":"2026-09-03T02:59:19.503Z","archivedAt":null},"runtime":{"id":"cmtkxs3fk00350zo2ofnvefle","slug":"api-demo-cloud","name":"DemoCloud API (prod-like, demo)","kind":"API_PROVIDER","description":"Демонстрационная среда исполнения (синтетические метаданные).","environment":{"note":"Управляемый API; детали инфраструктуры не раскрываются провайдером (демо)."},"status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.520Z","updatedAt":"2026-09-03T02:59:19.520Z","archivedAt":null},"harnessVersion":null,"benchmarkVersion":{"id":"cmtkxs3lx004u0zo2pjwo95pj","suiteId":"cmtkxs3ku004s0zo29b8l82sm","versionLabel":"1.0.0","status":"PUBLISHED","notes":"Первая опубликованная демонстрационная версия.","minPublicCases":null,"publishedAt":"2026-08-15T12:00:00.000Z","supersededAt":null,"createdAt":"2026-09-03T02:59:19.749Z","updatedAt":"2026-09-03T02:59:19.749Z","createdById":null,"suite":{"id":"cmtkxs3ku004s0zo29b8l82sm","slug":"ru-legal-reasoning","name":"Правовое рассуждение (РФ)","tagline":"Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных","description":"Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных. Источники — только с юрисдикцией, реквизитами, редакцией (valid_from/valid_to) и датой вопроса. Seed-кейсы синтетические.","methodology":"## Методология (демо)\n\nSplit-политика: public 20% / development 30% / private holdout 50%.\nНе менее половины веса — в приватном холдауте; публичные кейсы иллюстрируют формат и не раскрывают приватную часть.\n\nИзмерения риска: hallucination, incorrect-citation, unsafe-advice, under-refusal, uncertainty-handling, temporal-validity.\n\nВсе кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.","limitations":"Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».","contaminationPolicy":"Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.","license":"Демонстрационные синтетические данные (не для научного использования)","organizationId":"cmtkxs3ez00300zo2qykbjwrb","status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.710Z","updatedAt":"2026-09-03T02:59:19.710Z","createdById":null,"updatedById":null,"archivedAt":null}},"evaluationProfile":{"id":"cmtkxs3i300440zo2o7t19adr","slug":"baseline-zero-shot","name":"Baseline zero-shot","description":"Базовый профиль: zero-shot, детерминированная генерация.","config":{"topP":1,"tools":[],"temperature":0,"reasoningMode":"off","maxOutputTokens":2048,"promptTemplateVersion":"benchru-base/1"},"status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.611Z","updatedAt":"2026-09-03T02:59:19.611Z"},"aggregates":[{"dimension":"QUALITY","score":0.70443523,"displayScore":70.4,"coverage":1,"sampleCount":5,"mean":0.704435,"median":0.713691,"stdDev":0.058627,"ciLow":0.63164038,"ciHigh":0.77723008},{"dimension":"RELIABILITY","score":0.706794,"displayScore":70.7,"coverage":1,"sampleCount":5,"mean":0.706794,"median":0.721911,"stdDev":0.077489,"ciLow":0.61057908,"ciHigh":0.80300892},{"dimension":"SAFETY","score":0.8245592,"displayScore":82.5,"coverage":1,"sampleCount":5,"mean":0.824559,"median":0.863656,"stdDev":0.178916,"ciLow":0.60240586,"ciHigh":1.04671254},{"dimension":"COVERAGE","score":0.72280764,"displayScore":72.3,"coverage":1,"sampleCount":5,"mean":0.722808,"median":0.724875,"stdDev":0.016259,"ciLow":0.70261973,"ciHigh":0.74299555}],"artifacts":[{"kind":"log","label":"Журнал запуска (демо)","url":null,"mimeType":"text/plain","sizeBytes":null,"sha256":"b20f58da5513caa316c6682d523f5e03b6aab8aa4ecf9172c69ca55e9a8ee58f"},{"kind":"config","label":"Снимок конфигурации (демо)","url":null,"mimeType":"application/json","sizeBytes":null,"sha256":"2cd06b6729bb40c35b2116a0be32e1431c8e9b3784d9f646f8f07e9f8a22f99e"}],"reviews":[]},"publicResponses":[{"case":{"id":"cmtkxs3mq00550zo2yd1wfnaf","order":1,"split":"PUBLIC_SAMPLE","caseType":"SINGLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленном государстве действует «Учебный кодекс о торговле» (текст придуман для демонстрации): «Ст. 12. Покупатель вправе вернуть непродовольственный товар надлежащего качества в течение 10 дней с момента покупки, если товар не был в употреблении и сохранён чек». Ситуация: покупатель приобрёл фонарь 4 дня назад, не использовал его, чек сохранён, упаковка вскрыта. Вправе ли он вернуть товар по приведённой норме?","payload":{"title":"Применение вымышленной нормы о возврате товара","demoId":"demo-legal-001","choices":["Да: все условия ст. 12 соблюдены","Нет: вскрытая упаковка препятствует возврату","Нет: срок возврата истёк","Недостаточно данных для ответа"],"notesRu":"Проверяет применение нормы к фактам, а не знание реального законодательства. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Применение вымышленной нормы о возврате товара».","latencyMs":2388,"tokenUsage":{"input":1153,"total":1285,"output":132},"metrics":[{"metric":"norm-knowledge-accuracy","rawValue":0.834073,"normalizedScore":0.834073,"passed":null},{"metric":"norm-application-score","rawValue":0.756054,"normalizedScore":0.756054,"passed":null},{"metric":"citation-precision","rawValue":0.490793,"normalizedScore":0.490793,"passed":null},{"metric":"calibrated-refusal-accuracy","rawValue":0.575818,"normalizedScore":0.575818,"passed":null},{"metric":"unsafe-advice-rate","rawValue":0.136344,"normalizedScore":0.863656,"passed":null}]},{"case":{"id":"cmtkxs3mu00560zo29a1w3yl7","order":2,"split":"DEVELOPMENT","caseType":"MULTIPLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленной правовой системе действуют правила: (1) договор аренды свыше 11 учебных месяцев подлежит учебной регистрации; (2) неустойка свыше 0,5% в день недопустима; (3) залог возвращается в течение 3 учебных дней. Фрагмент вымышленного договора: аренда на 14 учебных месяцев без регистрации; неустойка 0,7% в день; залог возвращается в течение 2 учебных дней. Какие нарушения присутствуют?","payload":{"title":"Issue spotting в вымышленном договоре","demoId":"demo-legal-002","choices":["Отсутствие учебной регистрации","Слишком короткий срок возврата залога","Недопустимый размер неустойки","Нарушений нет"],"notesRu":"Проверяет issue spotting по приведённым вымышленным правилам. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Issue spotting в вымышленном договоре».","latencyMs":2398,"tokenUsage":{"input":503,"total":854,"output":351},"metrics":[{"metric":"unsafe-advice-rate","rawValue":0.320625,"normalizedScore":0.679375,"passed":null},{"metric":"norm-knowledge-accuracy","rawValue":0.492326,"normalizedScore":0.492326,"passed":null},{"metric":"norm-application-score","rawValue":0.87329,"normalizedScore":0.87329,"passed":null},{"metric":"citation-precision","rawValue":0.763433,"normalizedScore":0.763433,"passed":null},{"metric":"calibrated-refusal-accuracy","rawValue":0.779991,"normalizedScore":0.779991,"passed":null}]},{"case":{"id":"cmtkxs3mz00580zo2f45m2jby","order":4,"split":"PUBLIC_SAMPLE","caseType":"SINGLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. В вымышленной правовой системе: «Учебный закон об учёте» (принят в 2024 учебном году): «Запись ведётся 30 дней». «Учебный кодекс учёта» (принят в 2026 учебном году, та же учебная ступень иерархии): «Запись ведётся 14 дней». Действует учебное правило: при равной ступени применяется более поздний акт. Какой срок применим на 01.08.2026?","payload":{"title":"Конфликт двух вымышленных норм","demoId":"demo-legal-004","choices":["30 дней","14 дней","Оба срока одновременно","Ни один: нормы отменяют друг друга"],"notesRu":"Проверяет temporal validity и разрешение коллизий. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Конфликт двух вымышленных норм».","latencyMs":1335,"tokenUsage":{"input":1048,"total":1484,"output":436},"metrics":[{"metric":"norm-knowledge-accuracy","rawValue":0.77415,"normalizedScore":0.77415,"passed":null},{"metric":"norm-application-score","rawValue":0.5716,"normalizedScore":0.5716,"passed":null},{"metric":"citation-precision","rawValue":0.708387,"normalizedScore":0.708387,"passed":null},{"metric":"calibrated-refusal-accuracy","rawValue":0.721911,"normalizedScore":0.721911,"passed":null},{"metric":"unsafe-advice-rate","rawValue":0.020049,"normalizedScore":0.979951,"passed":null}]},{"case":{"id":"cmtkxs3n200590zo2cxxe1nn6","order":5,"split":"PUBLIC_SAMPLE","caseType":"SHORT_ANSWER","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент выдачи справки о состоянии учебного счёта» (вымышленный): срок оказания услуги — 7 учебных рабочих дней со дня регистрации заявления. Заявление зарегистрировано 01.09.2026. Укажите только срок оказания услуги (число дней и вид дней).","payload":{"title":"Срок по вымышленному регламенту (короткий ответ)","demoId":"demo-legal-005","notesRu":"Проверяет точное извлечение нормы. Не является юридической консультацией.","sourcePolicy":"synthetic-fictional-norm","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Срок по вымышленному регламенту (короткий ответ)».","latencyMs":2922,"tokenUsage":{"input":849,"total":1224,"output":375},"metrics":[{"metric":"norm-knowledge-accuracy","rawValue":0.853221,"normalizedScore":0.853221,"passed":null},{"metric":"norm-application-score","rawValue":0.692037,"normalizedScore":0.692037,"passed":null},{"metric":"citation-precision","rawValue":0.843735,"normalizedScore":0.843735,"passed":null},{"metric":"calibrated-refusal-accuracy","rawValue":0.71458,"normalizedScore":0.71458,"passed":null},{"metric":"unsafe-advice-rate","rawValue":0.400186,"normalizedScore":0.599814,"passed":null}]}]}}