{"data":{"run":{"id":"cmwdeqaet000b0zpk4eqai6x1","fingerprint":"823de5e6a4312fe76e71fc2505466224d84640bf96e334b9bf4a1568e014e2c2","status":"PUBLISHED","verificationLevel":"COMMUNITY_SUBMITTED","visibility":"PUBLIC","isDemo":false,"systemPromptHash":null,"promptTemplateVersion":null,"tools":null,"reasoningMode":"service-default","temperature":null,"topP":null,"seed":null,"maxOutputTokens":null,"contextLimit":null,"hardware":null,"environment":{"Режим":"консультант на главной кабинета, настройки по умолчанию","Тариф":"пробный «Бизнес»","Модель":"не раскрыта сервисом","Оценка":"модель-судья по рубрике N/L/C, одна для всех сервисов; второй оценки нет","Сервис":"LEGIUM.PRO, legium.pro","Способ прогона":"скрипт браузера (headless Chromium) в человеческом темпе, пауза 60–120 с, под обычной учётной записью; новая беседа на задачу, один ход без уточнений"},"startedAt":"2026-11-12T00:00:00.000Z","completedAt":"2026-11-12T00:00:00.000Z","latencyStats":null,"tokenUsage":null,"cost":null,"costCurrency":null,"reproducibilityNotes":"Прогон 2026-11-12: через веб-интерфейс скриптом браузера (headless Chromium) в человеческом темпе, пауза 60–120 с между задачами, под обычной учётной записью. Ответы сохранены дословно, со снимками экрана; на сайте публикуются только оценки. Условия использования и публичная оферта LEGIUM.PRO, редакция 2.2 от 04.11.2026, проверено 2026-11-12: Запрета на тестирование и публикацию результатов нет. П. 3 запрещает доступ в обход стандартного интерфейса — прогон шёл через стандартный веб-интерфейс. Ответы сервиса на сайте не публикуются, только оценки.","publishedAt":"2026-11-12T10:30:46.621Z","createdAt":"2026-11-12T10:30:46.325Z","modelVersionId":"cmwdeqaaq00090zpkkukfsr23","harnessVersionId":null,"benchmarkVersionId":"cmwdcnmhn00050zjz7cku5kjd","evaluationProfileId":"cmwdcnmec00000zjz0y95quzi","providerId":null,"runtimeId":null,"modelVersion":{"slug":"legium-pro-konsultant","versionLabel":"Консультант","family":{"slug":"legium-pro","name":"LEGIUM.PRO"}},"provider":null,"runtime":null,"harnessVersion":null,"benchmarkVersion":{"id":"cmwdcnmhn00050zjz7cku5kjd","suiteId":"cmwdcnmgx00040zjz54ltiotd","versionLabel":"1.0.0","status":"PUBLISHED","notes":"Соответствует набору задач v1 от 11.11.2026: 15 задач, формулировки дословно. К задаче T11 добавлено пояснение о приложенном файле — сам файл не публикуется.","minPublicCases":15,"publishedAt":"2026-11-12T09:32:42.941Z","supersededAt":null,"createdAt":"2026-11-12T09:32:42.779Z","updatedAt":"2026-11-12T09:32:42.942Z","createdById":"cmtkxsjkr00000znxxnmactxc","suite":{"id":"cmwdcnmgx00040zjz54ltiotd","slug":"legal-services-15","name":"Юридические ИИ-сервисы: 15 задач","tagline":"Юридический сервис целиком, с его поиском по базе и интерфейсом, на 15 типовых запросах; оценка N/L/C по шкале 0–3","description":"Пятнадцать типовых запросов к юридическим ИИ-сервисам: вопросы о сроках и санкциях, составление претензии, проверка договора, поиск позиции Верховного суда, свежая норма, вопрос о конкретной статье кодекса и проверка контрагента по ИНН. Измеряется не модель, а сервис в том виде, в каком его получает пользователь: обычная учётная запись, тариф, режим и встроенный поиск по базе входят в условия прогона.","methodology":"Набор v1 от 11.11.2026: 15 задач, тексты запросов опубликованы дословно. Задача T11 — проверка учебного договора поставки, приложенного файлом .docx.\n\nПрогон: обычная учётная запись, веб-интерфейс сервиса, новая беседа на каждую задачу, один ход, без уточнений. Если сервис переспрашивает, ему отвечают «Ответь по общему правилу, без дополнительных данных». Режим и модель — по умолчанию у тарифа; тариф, режим и способ прогона (вручную или скриптом браузера) указаны в паспорте каждого прогона.\n\nОценка каждой задачи по трём осям, 0–3. Оценки выставляет модель-судья по рубрике, одна и та же для всех сервисов:\nN — точность нормы: 3 — норма и содержание верны; 2 — норма верна, мелкая неточность; 1 — частично (не та часть или редакция); 0 — неверно или выдумано.\nL — проверяемая ссылка: 3 — ссылка открывает нужную статью или акт; 2 — назван акт или номер, проверить можно вручную; 1 — только упоминание без ссылки; 0 — ссылки нет, она битая или ведёт не туда.\nC — полнота: 3 — все ключевые элементы эталона; 2 — большинство; 1 — меньшинство; 0 — нет.\n\nЭталон каждой задачи сверен с действующей редакцией нормы на дату прогона. Эталоны, ключ задачи T11 и рубрики не публикуются: это закрытая часть набора.\n\nБалл прогона — среднее трёх осей с равными весами, каждая ось нормирована на 0–1. Сумма N+L+C по 15 задачам (максимум 135) пересчитывается в этот балл делением на 135.","limitations":"1. Один судья. Все оценки выставлены одной моделью-судьёй по рубрике выше. Второй независимой оценки и сверки разногласий нет; уровень доверия всех строк — «От сообщества».\n2. Один прогон на задачу. Повторов нет, поэтому разброс ответов сервиса не измерен. На 15 задачах разница в несколько баллов лежит в пределах случайности.\n3. Ответы сервисов не публикуются. Ответы сохранены дословно, со снимками экрана. На сайт они не выносятся: у части сервисов информация из программы предназначена «для внутреннего использования», а сами ответы раскрывали бы закрытые эталоны.\n4. Время ответа не публикуется. В браузере его снимали по моменту, когда текст страницы перестал меняться (погрешность около ±6 с); как метрика это число ненадёжно.\n5. Сервисы меняются. Модель, база и настройки тарифа меняются без уведомления. Результат относится к дате прогона, указанной в паспорте.\n6. Условия использования. Перед публикацией у каждого сервиса проверено пользовательское соглашение на запрет тестирования и публикации результатов; итог проверки записан в паспорте прогона.","contaminationPolicy":"Тексты запросов открыты с 12.11.2026, поэтому сервисы могут под них подстроиться. Эталоны, ключ задачи T11 и рубрики не публикуются. Следующая версия набора заменит задачи, а не дополнит их; результаты по этой версии останутся привязаны к ней.","adaptationNote":"Сервисы целиком, через веб-интерфейс под обычной учётной записью. 15 задач, один прогон, оценка одной моделью-судьёй без второй проверки.","license":"Тексты запросов опубликованы BenchRU; эталоны закрыты.","organizationId":null,"status":"PUBLISHED","createdAt":"2026-11-12T09:32:42.753Z","updatedAt":"2026-11-12T11:49:27.342Z","createdById":"cmtkxsjkr00000znxxnmactxc","updatedById":"cmtkxsjkr00000znxxnmactxc","archivedAt":null}},"evaluationProfile":{"id":"cmwdcnmec00000zjz0y95quzi","slug":"service-web-chat","name":"Сервис через веб-интерфейс","description":"Запрос отправлен в юридический ИИ-сервис через его веб-интерфейс под обычной учётной записью: новая беседа на задачу, один ход. Тариф и режим — по умолчанию у тарифа. Встроенный поиск по базе и инструменты сервиса работают так же, как у пользователя.","config":{"seed":null,"topP":null,"tools":"встроенные в сервис","interface":"service-web-ui","temperature":null,"systemPrompt":null,"comparability":"Сравнимы прогоны одного набора в этом профиле. Модель и настройки внутри сервиса не раскрыты и меняются без уведомления, поэтому результат относится к дате прогона.","reasoningMode":"service-default","maxOutputTokens":null},"status":"PUBLISHED","createdAt":"2026-11-12T09:32:42.660Z","updatedAt":"2026-11-12T11:49:27.250Z"},"aggregates":[{"dimension":"QUALITY","score":0.34816444,"displayScore":34.8,"coverage":1,"sampleCount":15,"mean":0.348164,"median":0.333333,"stdDev":0.191846,"ciLow":0.24192339,"ciHigh":0.45440549},{"dimension":"COVERAGE","score":0.34816444,"displayScore":34.8,"coverage":1,"sampleCount":15,"mean":0.348164,"median":0.333333,"stdDev":0.191846,"ciLow":0.24192339,"ciHigh":0.45440549}],"artifacts":[],"reviews":[{"decision":"APPROVE","comment":"Уровень «От сообщества». Импорт проверил формат и полноту: оценены 15 задач из 15, по три оси у каждой. Прогон не воспроизводился, оценки второй проверки не проходили (docs/LEGAL_SERVICES.md).","createdAt":"2026-11-12T10:30:46.499Z","reviewer":{"name":"Администратор"}}]},"publicResponses":[{"case":{"id":"cmwdcnmj4000c0zjz3810csrq","order":1,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой срок исковой давности по взысканию долга по договору займа с указанным сроком возврата и с какого момента он считается?","payload":{"title":"Исковая давность по займу со сроком возврата","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T01","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":2,"normalizedScore":0.66666667,"passed":null},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmj9000d0zjzy9tqs4g1","order":2,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Работодатель задерживает зарплату на 20 дней. Может ли работник не выходить на работу и какую компенсацию он получит?","payload":{"title":"Задержка зарплаты на 20 дней","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T02","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjd000e0zjz1yl25ufb","order":3,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Можно ли вернуть в магазин качественную куртку, которая не подошла по размеру, и в какой срок?","payload":{"title":"Возврат качественной одежды","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T03","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmjg000f0zjzpvctfjsk","order":4,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Купил товар в интернет-магазине. В какой срок можно от него отказаться без объяснения причин?","payload":{"title":"Отказ от товара, купленного в интернете","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T04","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":2,"normalizedScore":0.66666667,"passed":null},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmjk000g0zjzy6cyvjv3","order":5,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"В какой срок страховщик по ОСАГО обязан выплатить возмещение и что будет, если он просрочит?","payload":{"title":"Срок выплаты по ОСАГО и просрочка","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T05","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmjl000h0zjzdivf1dbs","order":6,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какое наказание за управление автомобилем в состоянии опьянения впервые?","payload":{"title":"Управление автомобилем в опьянении впервые","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T06","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmjn000i0zjzh6e7d5h4","order":7,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Как развестись, если у супругов есть общий ребёнок 5 лет и оба согласны на развод?","payload":{"title":"Развод по согласию при ребёнке 5 лет","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T07","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmjp000j0zjzoqgqs8jf","order":8,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой максимальный налоговый вычет за платное лечение можно получить в 2026 году?","payload":{"title":"Вычет за платное лечение в 2026 году","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T08","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmjs000k0zjzpai1tvs0","order":9,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Арендатор два раза подряд не внёс арендную плату. Может ли арендодатель расторгнуть договор и как?","payload":{"title":"Две просрочки арендной платы подряд","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T09","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmjv000l0zjziodgpdxv","order":10,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Составь претензию продавцу о возврате денег за неисправный смартфон, купленный 20 дней назад. Данные покупателя и продавца оставь пустыми полями.","payload":{"title":"Претензия продавцу о неисправном смартфоне","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T10","taskKind":"документ"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmjw000m0zjz65ckdahb","order":11,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"[К запросу приложен файл .docx — учебный договор поставки, составленный автором набора; сам договор не публикуется, потому что содержит закрытый ключ задачи.]\n\nПроверь договор и перечисли риски для покупателя.","payload":{"title":"Риски покупателя в договоре поставки","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T11","taskKind":"документ"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjz000n0zjzkw1qedmu","order":12,"split":"PUBLIC_SAMPLE","caseType":"CITATION_RETRIEVAL","prompt":"Найди позицию Верховного суда о снижении неустойки по статье 333 ГК РФ, когда должник — гражданин, а не предприниматель.","payload":{"title":"Позиция Верховного суда по ст. 333 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T12","taskKind":"практика"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]},{"case":{"id":"cmwdcnmk1000o0zjz73k1m2lc","order":13,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой МРОТ установлен с 1 января 2026 года и каким законом?","payload":{"title":"МРОТ с 1 января 2026 года","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T13","taskKind":"свежесть"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":0,"normalizedScore":0,"passed":false}]},{"case":{"id":"cmwdcnmk2000p0zjzo91sv2q8","order":14,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Что регулирует статья 1286.5 Гражданского кодекса РФ?","payload":{"title":"Содержание статьи 1286.5 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T14","taskKind":"ловушка"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmk7000q0zjzjzyq18ci","order":15,"split":"PUBLIC_SAMPLE","caseType":"TOOL_USE_TASK","prompt":"Проверь контрагента по ИНН 7707083893.","payload":{"title":"Проверка контрагента по ИНН","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T15","taskKind":"действие"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":0,"normalizedScore":0,"passed":false},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]}]}}