{"data":{"run":{"id":"cmwdcnmnm000v0zjz7vsysbu9","fingerprint":"689159a496e7ba74e34582f189cd9f1175e787462d057a5cee849452efcf3bb9","status":"PUBLISHED","verificationLevel":"COMMUNITY_SUBMITTED","visibility":"PUBLIC","isDemo":false,"systemPromptHash":null,"promptTemplateVersion":null,"tools":null,"reasoningMode":"service-default","temperature":null,"topP":null,"seed":null,"maxOutputTokens":null,"contextLimit":null,"hardware":null,"environment":{"Режим":"«Консультация», настройки по умолчанию","Тариф":"«Базовый», 3 900 ₽ в месяц, 100 запросов","Модель":"не раскрыта сервисом","Оценка":"модель-судья по рубрике N/L/C, одна для всех сервисов; второй оценки нет","Сервис":"ПравоКонсультант, consultant.pravo.tech","Способ прогона":"скрипт браузера (headless Chromium) под обычной учётной записью, новая беседа на задачу, один ход без уточнений"},"startedAt":"2026-11-12T00:00:00.000Z","completedAt":"2026-11-12T00:00:00.000Z","latencyStats":null,"tokenUsage":null,"cost":null,"costCurrency":null,"reproducibilityNotes":"Прогон 2026-11-12: через веб-интерфейс скриптом браузера (headless Chromium) под обычной учётной записью. Ответы сохранены дословно, со снимками экрана; на сайте публикуются только оценки. Лицензионное соглашение (оферта) НАО «ПравоТех» на программу «ПравоКонсультант», проверено 2026-11-12: Прямого запрета на тестирование и публикацию результатов нет. П. 8.6: информация в программе — для внутреннего использования, поэтому ответы сервиса на сайте не публикуются, только оценки. П. 8.9 ограничивает автоматическую выгрузку более чем 1 000 запросов в сутки; прогон — около 20 запросов.","publishedAt":"2026-11-12T09:32:43.215Z","createdAt":"2026-11-12T09:32:42.994Z","modelVersionId":"cmwdcnmf300030zjzpjvmndpm","harnessVersionId":null,"benchmarkVersionId":"cmwdcnmhn00050zjz7cku5kjd","evaluationProfileId":"cmwdcnmec00000zjz0y95quzi","providerId":null,"runtimeId":null,"modelVersion":{"slug":"pravokonsultant-konsultatsiya","versionLabel":"Консультация","family":{"slug":"pravokonsultant","name":"ПравоКонсультант"}},"provider":null,"runtime":null,"harnessVersion":null,"benchmarkVersion":{"id":"cmwdcnmhn00050zjz7cku5kjd","suiteId":"cmwdcnmgx00040zjz54ltiotd","versionLabel":"1.0.0","status":"PUBLISHED","notes":"Соответствует набору задач v1 от 11.11.2026: 15 задач, формулировки дословно. К задаче T11 добавлено пояснение о приложенном файле — сам файл не публикуется.","minPublicCases":15,"publishedAt":"2026-11-12T09:32:42.941Z","supersededAt":null,"createdAt":"2026-11-12T09:32:42.779Z","updatedAt":"2026-11-12T09:32:42.942Z","createdById":"cmtkxsjkr00000znxxnmactxc","suite":{"id":"cmwdcnmgx00040zjz54ltiotd","slug":"legal-services-15","name":"Юридические ИИ-сервисы: 15 задач","tagline":"Юридический сервис целиком, с его поиском по базе и интерфейсом, на 15 типовых запросах; оценка N/L/C по шкале 0–3","description":"Пятнадцать типовых запросов к юридическим ИИ-сервисам: вопросы о сроках и санкциях, составление претензии, проверка договора, поиск позиции Верховного суда, свежая норма, вопрос о конкретной статье кодекса и проверка контрагента по ИНН. Измеряется не модель, а сервис в том виде, в каком его получает пользователь: обычная учётная запись, тариф, режим и встроенный поиск по базе входят в условия прогона.","methodology":"Набор v1 от 11.11.2026: 15 задач, тексты запросов опубликованы дословно. Задача T11 — проверка учебного договора поставки, приложенного файлом .docx.\n\nПрогон: обычная учётная запись, веб-интерфейс сервиса, новая беседа на каждую задачу, один ход, без уточнений. Если сервис переспрашивает, ему отвечают «Ответь по общему правилу, без дополнительных данных». Режим и модель — по умолчанию у тарифа; тариф, режим и способ прогона (вручную или скриптом браузера) указаны в паспорте каждого прогона.\n\nОценка каждой задачи по трём осям, 0–3. Оценки выставляет модель-судья по рубрике, одна и та же для всех сервисов:\nN — точность нормы: 3 — норма и содержание верны; 2 — норма верна, мелкая неточность; 1 — частично (не та часть или редакция); 0 — неверно или выдумано.\nL — проверяемая ссылка: 3 — ссылка открывает нужную статью или акт; 2 — назван акт или номер, проверить можно вручную; 1 — только упоминание без ссылки; 0 — ссылки нет, она битая или ведёт не туда.\nC — полнота: 3 — все ключевые элементы эталона; 2 — большинство; 1 — меньшинство; 0 — нет.\n\nЭталон каждой задачи сверен с действующей редакцией нормы на дату прогона. Эталоны, ключ задачи T11 и рубрики не публикуются: это закрытая часть набора.\n\nБалл прогона — среднее трёх осей с равными весами, каждая ось нормирована на 0–1. Сумма N+L+C по 15 задачам (максимум 135) пересчитывается в этот балл делением на 135.","limitations":"1. Один судья. Все оценки выставлены одной моделью-судьёй по рубрике выше. Второй независимой оценки и сверки разногласий нет; уровень доверия всех строк — «От сообщества».\n2. Один прогон на задачу. Повторов нет, поэтому разброс ответов сервиса не измерен. На 15 задачах разница в несколько баллов лежит в пределах случайности.\n3. Ответы сервисов не публикуются. Ответы сохранены дословно, со снимками экрана. На сайт они не выносятся: у части сервисов информация из программы предназначена «для внутреннего использования», а сами ответы раскрывали бы закрытые эталоны.\n4. Время ответа не публикуется. В браузере его снимали по моменту, когда текст страницы перестал меняться (погрешность около ±6 с); как метрика это число ненадёжно.\n5. Сервисы меняются. Модель, база и настройки тарифа меняются без уведомления. Результат относится к дате прогона, указанной в паспорте.\n6. Условия использования. Перед публикацией у каждого сервиса проверено пользовательское соглашение на запрет тестирования и публикации результатов; итог проверки записан в паспорте прогона.","contaminationPolicy":"Тексты запросов открыты с 12.11.2026, поэтому сервисы могут под них подстроиться. Эталоны, ключ задачи T11 и рубрики не публикуются. Следующая версия набора заменит задачи, а не дополнит их; результаты по этой версии останутся привязаны к ней.","adaptationNote":"Сервисы целиком, через веб-интерфейс под обычной учётной записью. 15 задач, один прогон, оценка одной моделью-судьёй без второй проверки.","license":"Тексты запросов опубликованы BenchRU; эталоны закрыты.","organizationId":null,"status":"PUBLISHED","createdAt":"2026-11-12T09:32:42.753Z","updatedAt":"2026-11-12T11:49:27.342Z","createdById":"cmtkxsjkr00000znxxnmactxc","updatedById":"cmtkxsjkr00000znxxnmactxc","archivedAt":null}},"evaluationProfile":{"id":"cmwdcnmec00000zjz0y95quzi","slug":"service-web-chat","name":"Сервис через веб-интерфейс","description":"Запрос отправлен в юридический ИИ-сервис через его веб-интерфейс под обычной учётной записью: новая беседа на задачу, один ход. Тариф и режим — по умолчанию у тарифа. Встроенный поиск по базе и инструменты сервиса работают так же, как у пользователя.","config":{"seed":null,"topP":null,"tools":"встроенные в сервис","interface":"service-web-ui","temperature":null,"systemPrompt":null,"comparability":"Сравнимы прогоны одного набора в этом профиле. Модель и настройки внутри сервиса не раскрыты и меняются без уведомления, поэтому результат относится к дате прогона.","reasoningMode":"service-default","maxOutputTokens":null},"status":"PUBLISHED","createdAt":"2026-11-12T09:32:42.660Z","updatedAt":"2026-11-12T11:49:27.250Z"},"aggregates":[{"dimension":"QUALITY","score":0.74815556,"displayScore":74.8,"coverage":1,"sampleCount":15,"mean":0.748156,"median":0.6667,"stdDev":0.122203,"ciLow":0.68048179,"ciHigh":0.81582932},{"dimension":"COVERAGE","score":0.74815556,"displayScore":74.8,"coverage":1,"sampleCount":15,"mean":0.748156,"median":0.6667,"stdDev":0.122203,"ciLow":0.68048179,"ciHigh":0.81582932}],"artifacts":[],"reviews":[{"decision":"APPROVE","comment":"Уровень «От сообщества». Импорт проверил формат и полноту: оценены 15 задач из 15, по три оси у каждой. Прогон не воспроизводился, оценки второй проверки не проходили (docs/LEGAL_SERVICES.md).","createdAt":"2026-11-12T09:32:43.133Z","reviewer":{"name":"Администратор"}}]},"publicResponses":[{"case":{"id":"cmwdcnmj4000c0zjz3810csrq","order":1,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой срок исковой давности по взысканию долга по договору займа с указанным сроком возврата и с какого момента он считается?","payload":{"title":"Исковая давность по займу со сроком возврата","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T01","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmj9000d0zjzy9tqs4g1","order":2,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Работодатель задерживает зарплату на 20 дней. Может ли работник не выходить на работу и какую компенсацию он получит?","payload":{"title":"Задержка зарплаты на 20 дней","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T02","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":2,"normalizedScore":0.66666667,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjd000e0zjz1yl25ufb","order":3,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Можно ли вернуть в магазин качественную куртку, которая не подошла по размеру, и в какой срок?","payload":{"title":"Возврат качественной одежды","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T03","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmjg000f0zjzpvctfjsk","order":4,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Купил товар в интернет-магазине. В какой срок можно от него отказаться без объяснения причин?","payload":{"title":"Отказ от товара, купленного в интернете","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T04","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjk000g0zjzy6cyvjv3","order":5,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"В какой срок страховщик по ОСАГО обязан выплатить возмещение и что будет, если он просрочит?","payload":{"title":"Срок выплаты по ОСАГО и просрочка","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T05","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":2,"normalizedScore":0.66666667,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjl000h0zjzdivf1dbs","order":6,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какое наказание за управление автомобилем в состоянии опьянения впервые?","payload":{"title":"Управление автомобилем в опьянении впервые","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T06","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmjn000i0zjzh6e7d5h4","order":7,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Как развестись, если у супругов есть общий ребёнок 5 лет и оба согласны на развод?","payload":{"title":"Развод по согласию при ребёнке 5 лет","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T07","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjp000j0zjzoqgqs8jf","order":8,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой максимальный налоговый вычет за платное лечение можно получить в 2026 году?","payload":{"title":"Вычет за платное лечение в 2026 году","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T08","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmjs000k0zjzpai1tvs0","order":9,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Арендатор два раза подряд не внёс арендную плату. Может ли арендодатель расторгнуть договор и как?","payload":{"title":"Две просрочки арендной платы подряд","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T09","taskKind":"вопрос"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjv000l0zjziodgpdxv","order":10,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Составь претензию продавцу о возврате денег за неисправный смартфон, купленный 20 дней назад. Данные покупателя и продавца оставь пустыми полями.","payload":{"title":"Претензия продавцу о неисправном смартфоне","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T10","taskKind":"документ"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmjw000m0zjz65ckdahb","order":11,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"[К запросу приложен файл .docx — учебный договор поставки, составленный автором набора; сам договор не публикуется, потому что содержит закрытый ключ задачи.]\n\nПроверь договор и перечисли риски для покупателя.","payload":{"title":"Риски покупателя в договоре поставки","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T11","taskKind":"документ"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":2,"normalizedScore":0.66666667,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmjz000n0zjzkw1qedmu","order":12,"split":"PUBLIC_SAMPLE","caseType":"CITATION_RETRIEVAL","prompt":"Найди позицию Верховного суда о снижении неустойки по статье 333 ГК РФ, когда должник — гражданин, а не предприниматель.","payload":{"title":"Позиция Верховного суда по ст. 333 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T12","taskKind":"практика"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":2,"normalizedScore":0.66666667,"passed":null}]},{"case":{"id":"cmwdcnmk1000o0zjz73k1m2lc","order":13,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой МРОТ установлен с 1 января 2026 года и каким законом?","payload":{"title":"МРОТ с 1 января 2026 года","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T13","taskKind":"свежесть"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmk2000p0zjzo91sv2q8","order":14,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Что регулирует статья 1286.5 Гражданского кодекса РФ?","payload":{"title":"Содержание статьи 1286.5 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T14","taskKind":"ловушка"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":2,"normalizedScore":0.66666667,"passed":null},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":3,"normalizedScore":1,"passed":true}]},{"case":{"id":"cmwdcnmk7000q0zjzjzyq18ci","order":15,"split":"PUBLIC_SAMPLE","caseType":"TOOL_USE_TASK","prompt":"Проверь контрагента по ИНН 7707083893.","payload":{"title":"Проверка контрагента по ИНН","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T15","taskKind":"действие"},"weight":1,"isDemo":false},"outputText":null,"latencyMs":null,"tokenUsage":null,"metrics":[{"metric":"service-norm","rawValue":3,"normalizedScore":1,"passed":true},{"metric":"service-link","rawValue":1,"normalizedScore":0.33333333,"passed":null},{"metric":"service-completeness","rawValue":1,"normalizedScore":0.33333333,"passed":null}]}]}}