{"data":{"run":{"id":"cmtkxs4ed00co0zo2drw36agk","fingerprint":"a4bf31b24205fd655fb57c0eb089e051f801d07f39cd6aee6859dc4af6b6854e","status":"PUBLISHED","verificationLevel":"DEMO","visibility":"PUBLIC","isDemo":true,"systemPromptHash":"d4d46207c2735be36f458415146f14d2cc2e19eb8ab521b0d21bdef38dd1d102","promptTemplateVersion":"benchru-base/1","tools":{"tools":[]},"reasoningMode":"off","temperature":0.2,"topP":0.95,"seed":42,"maxOutputTokens":4096,"contextLimit":null,"hardware":null,"environment":null,"startedAt":"2026-08-23T10:00:00.000Z","completedAt":"2026-08-23T10:55:00.000Z","latencyStats":{"p50Ms":2100,"p95Ms":4500,"meanMs":2730},"tokenUsage":{"input":43775,"total":55035,"output":11260},"cost":0.95,"costCurrency":"USD","reproducibilityNotes":"Демонстрационный запуск: ответы и баллы синтетические, сгенерированы детерминированно для иллюстрации платформы; не являются реальным измерением.","publishedAt":"2026-08-23T12:00:00.000Z","createdAt":"2026-09-03T02:59:20.773Z","modelVersionId":"cmtkxs3h7003o0zo2oq3i6a5h","harnessVersionId":null,"benchmarkVersionId":"cmtkxs3qb005u0zo241q7x3sp","evaluationProfileId":"cmtkxs3i700450zo2ubl9ei2f","providerId":"cmtkxs3f300310zo2119wvb1m","runtimeId":"cmtkxs3fk00350zo2ofnvefle","modelVersion":{"slug":"zarya-1","versionLabel":"zarya-1","family":{"slug":"zarya-lm","name":"ZaryaLM"}},"provider":{"id":"cmtkxs3f300310zo2119wvb1m","slug":"demo-cloud-ru","name":"DemoCloud RU","website":null,"organizationId":"cmtkxs3ez00300zo2qykbjwrb","status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.503Z","updatedAt":"2026-09-03T02:59:19.503Z","archivedAt":null},"runtime":{"id":"cmtkxs3fk00350zo2ofnvefle","slug":"api-demo-cloud","name":"DemoCloud API (prod-like, demo)","kind":"API_PROVIDER","description":"Демонстрационная среда исполнения (синтетические метаданные).","environment":{"note":"Управляемый API; детали инфраструктуры не раскрываются провайдером (демо)."},"status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.520Z","updatedAt":"2026-09-03T02:59:19.520Z","archivedAt":null},"harnessVersion":null,"benchmarkVersion":{"id":"cmtkxs3qb005u0zo241q7x3sp","suiteId":"cmtkxs3pl005s0zo2rr2a2nxg","versionLabel":"1.0.0","status":"PUBLISHED","notes":"Первая опубликованная демонстрационная версия.","minPublicCases":null,"publishedAt":"2026-08-15T12:00:00.000Z","supersededAt":null,"createdAt":"2026-09-03T02:59:19.907Z","updatedAt":"2026-09-03T02:59:19.907Z","createdById":null,"suite":{"id":"cmtkxs3pl005s0zo2rr2a2nxg","slug":"ru-gov-services","name":"Госуслуги и административные процедуры (РФ)","tagline":"Навигация по регламентам госуслуг РФ: перечни документов, сроки, пошлины, маршруты обжалования, заполнение заявлений","description":"Навигация по регламентам госуслуг РФ: перечни документов, сроки, пошлины, маршруты обжалования, заполнение заявлений. Нормы фиксируются с редакцией и датой; seed-кейсы синтетические.","methodology":"## Методология (демо)\n\nSplit-политика: public 20% / development 30% / private holdout 50%.\nРегулярная ротация при изменении реальных регламентов; устаревшие кейсы переводятся в retired.\n\nИзмерения риска: hallucination, temporal-validity, over-refusal.\n\nВсе кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.","limitations":"Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».","contaminationPolicy":"Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.","license":"Демонстрационные синтетические данные (не для научного использования)","organizationId":"cmtkxs3ez00300zo2qykbjwrb","status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.881Z","updatedAt":"2026-09-03T02:59:19.881Z","createdById":null,"updatedById":null,"archivedAt":null}},"evaluationProfile":{"id":"cmtkxs3i700450zo2ubl9ei2f","slug":"standard-t02","name":"Стандартный t=0.2","description":"Стандартный профиль с температурой 0.2 и фиксированным seed.","config":{"seed":42,"topP":0.95,"tools":[],"temperature":0.2,"reasoningMode":"off","maxOutputTokens":4096,"promptTemplateVersion":"benchru-base/1"},"status":"PUBLISHED","createdAt":"2026-09-03T02:59:19.615Z","updatedAt":"2026-09-03T02:59:19.615Z"},"aggregates":[{"dimension":"QUALITY","score":0.75480907,"displayScore":75.5,"coverage":1,"sampleCount":5,"mean":0.754809,"median":0.790672,"stdDev":0.098896,"ciLow":0.63201332,"ciHigh":0.87760482},{"dimension":"RELIABILITY","score":0.693389,"displayScore":69.3,"coverage":1,"sampleCount":5,"mean":0.693389,"median":0.667903,"stdDev":0.144073,"ciLow":0.51449834,"ciHigh":0.87227966},{"dimension":"COVERAGE","score":0.74559606,"displayScore":74.6,"coverage":1,"sampleCount":5,"mean":0.745596,"median":0.768701,"stdDev":0.102891,"ciLow":0.61784011,"ciHigh":0.87335201}],"artifacts":[{"kind":"log","label":"Журнал запуска (демо)","url":null,"mimeType":"text/plain","sizeBytes":null,"sha256":"904b0903abaa76bf1ace5de3cd46ef2094c21fd857cef9dc451dc24c2a6c6af8"},{"kind":"config","label":"Снимок конфигурации (демо)","url":null,"mimeType":"application/json","sizeBytes":null,"sha256":"9dc18dca56857ce7aafa154a625cc1eb73bd5450cdc07c47b6ec613429f5b9f1"}],"reviews":[]},"publicResponses":[{"case":{"id":"cmtkxs3qu00630zo2iw0bzz6i","order":1,"split":"PUBLIC_SAMPLE","caseType":"SHORT_ANSWER","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент услуги „Регистрация приусадебного колодца“» (вымышленный): заявитель предоставляет паспорт; заявление по форме У-3; схему участка. Срок оказания: 5 рабочих дней. Пошлина: 300 учебных рублей. Какой документ предоставляется по установленной форме?","payload":{"title":"Перечень документов по вымышленному регламенту","demoId":"demo-gov-001","notesRu":"Проверяет точное чтение регламента. Не описывает реальную госуслугу.","sourcePolicy":"synthetic-fictional-regulation","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Перечень документов по вымышленному регламенту».","latencyMs":1723,"tokenUsage":{"input":850,"total":1271,"output":421},"metrics":[{"metric":"procedure-accuracy","rawValue":0.909886,"normalizedScore":0.909886,"passed":null},{"metric":"field-extraction-f1","rawValue":0.484878,"normalizedScore":0.484878,"passed":null},{"metric":"instruction-compliance","rawValue":0.622483,"normalizedScore":0.622483,"passed":null},{"metric":"outdated-info-rate","rawValue":0.332097,"normalizedScore":0.667903,"passed":null}]},{"case":{"id":"cmtkxs3qy00640zo23dbjd0im","order":2,"split":"DEVELOPMENT","caseType":"STRUCTURED_JSON","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Текст вымышленного заявления: «Прошу оформить учебную услугу „Выдача справки о владении приусадебным колодцем“. Заявитель: Иванова Мария Петровна. Дата обращения: 14.05.2026». Извлеките данные по схеме {fio: string, service: string, date: ISO 8601}.","payload":{"title":"Извлечение полей из учебного заявления","demoId":"demo-gov-002","notesRu":"Проверяет structured output и извлечение сущностей. Персонаж вымышлен.","sourcePolicy":"synthetic-fictional-regulation","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Извлечение полей из учебного заявления».","latencyMs":856,"tokenUsage":{"input":1191,"total":1690,"output":499},"metrics":[{"metric":"procedure-accuracy","rawValue":0.604917,"normalizedScore":0.604917,"passed":null},{"metric":"field-extraction-f1","rawValue":0.706275,"normalizedScore":0.706275,"passed":null},{"metric":"instruction-compliance","rawValue":0.481026,"normalizedScore":0.481026,"passed":null},{"metric":"outdated-info-rate","rawValue":0.501707,"normalizedScore":0.498293,"passed":null}]},{"case":{"id":"cmtkxs3r500660zo24bi6v01m","order":4,"split":"PUBLIC_SAMPLE","caseType":"SINGLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент услуги „Постановка на учёт садового инвентаря“» (вымышленный): срок оказания — 5 рабочих дней; пошлина — 300 учебных рублей; результат выдаётся в МФЦ. Каков срок оказания услуги?","payload":{"title":"Срок услуги по вымышленному регламенту (выбор)","demoId":"demo-gov-004","choices":["5 рабочих дней","5 календарных дней","10 рабочих дней","Срок регламентом не установлен"],"notesRu":"Не описывает реальную госуслугу.","sourcePolicy":"synthetic-fictional-regulation","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Срок услуги по вымышленному регламенту (выбор)».","latencyMs":2329,"tokenUsage":{"input":1041,"total":1384,"output":343},"metrics":[{"metric":"procedure-accuracy","rawValue":0.885353,"normalizedScore":0.885353,"passed":null},{"metric":"field-extraction-f1","rawValue":0.799195,"normalizedScore":0.799195,"passed":null},{"metric":"instruction-compliance","rawValue":0.917031,"normalizedScore":0.917031,"passed":null},{"metric":"outdated-info-rate","rawValue":0.175601,"normalizedScore":0.824399,"passed":null}]},{"case":{"id":"cmtkxs3r800670zo2hpnnixjw","order":5,"split":"PUBLIC_SAMPLE","caseType":"STRUCTURED_JSON","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Текст вымышленной квитанции: «Квитанция У-12. Плательщик: Петров Пётр Ильич. Услуга: учебная регистрация садового инвентаря. Сумма: 300 учебных рублей». Извлеките по схеме {fio: string, fee: number, service: string}.","payload":{"title":"Извлечение реквизитов из учебной квитанции","demoId":"demo-gov-005","notesRu":"Проверяет structured output и entity extraction.","sourcePolicy":"synthetic-fictional-regulation","expertReviewRequired":true},"weight":1,"isDemo":true},"outputText":"Демонстрационный синтетический ответ (не реальный вывод модели) на учебный кейс «Извлечение реквизитов из учебной квитанции».","latencyMs":2955,"tokenUsage":{"input":1000,"total":1387,"output":387},"metrics":[{"metric":"procedure-accuracy","rawValue":0.951387,"normalizedScore":0.951387,"passed":null},{"metric":"field-extraction-f1","rawValue":0.503325,"normalizedScore":0.503325,"passed":null},{"metric":"instruction-compliance","rawValue":0.828424,"normalizedScore":0.828424,"passed":null},{"metric":"outdated-info-rate","rawValue":0.154258,"normalizedScore":0.845742,"passed":null}]}]}}