{"data":{"suite":{"slug":"legal-services-15","name":"Юридические ИИ-сервисы: 15 задач","tagline":"Юридический сервис целиком, с его поиском по базе и интерфейсом, на 15 типовых запросах; оценка N/L/C по шкале 0–3","description":"Пятнадцать типовых запросов к юридическим ИИ-сервисам: вопросы о сроках и санкциях, составление претензии, проверка договора, поиск позиции Верховного суда, свежая норма, вопрос о конкретной статье кодекса и проверка контрагента по ИНН. Измеряется не модель, а сервис в том виде, в каком его получает пользователь: обычная учётная запись, тариф, режим и встроенный поиск по базе входят в условия прогона.","methodology":"Набор v1 от 11.11.2026: 15 задач, тексты запросов опубликованы дословно. Задача T11 — проверка учебного договора поставки, приложенного файлом .docx.\n\nПрогон: обычная учётная запись, веб-интерфейс сервиса, новая беседа на каждую задачу, один ход, без уточнений. Если сервис переспрашивает, ему отвечают «Ответь по общему правилу, без дополнительных данных». Режим и модель — по умолчанию у тарифа; тариф, режим и способ прогона (вручную или скриптом браузера) указаны в паспорте каждого прогона.\n\nОценка каждой задачи по трём осям, 0–3. Оценки выставляет модель-судья по рубрике, одна и та же для всех сервисов:\nN — точность нормы: 3 — норма и содержание верны; 2 — норма верна, мелкая неточность; 1 — частично (не та часть или редакция); 0 — неверно или выдумано.\nL — проверяемая ссылка: 3 — ссылка открывает нужную статью или акт; 2 — назван акт или номер, проверить можно вручную; 1 — только упоминание без ссылки; 0 — ссылки нет, она битая или ведёт не туда.\nC — полнота: 3 — все ключевые элементы эталона; 2 — большинство; 1 — меньшинство; 0 — нет.\n\nЭталон каждой задачи сверен с действующей редакцией нормы на дату прогона. Эталоны, ключ задачи T11 и рубрики не публикуются: это закрытая часть набора.\n\nБалл прогона — среднее трёх осей с равными весами, каждая ось нормирована на 0–1. Сумма N+L+C по 15 задачам (максимум 135) пересчитывается в этот балл делением на 135.","limitations":"1. Один судья. Все оценки выставлены одной моделью-судьёй по рубрике выше. Второй независимой оценки и сверки разногласий нет; уровень доверия всех строк — «От сообщества».\n2. Один прогон на задачу. Повторов нет, поэтому разброс ответов сервиса не измерен. На 15 задачах разница в несколько баллов лежит в пределах случайности.\n3. Ответы сервисов не публикуются. Ответы сохранены дословно, со снимками экрана. На сайт они не выносятся: у части сервисов информация из программы предназначена «для внутреннего использования», а сами ответы раскрывали бы закрытые эталоны.\n4. Время ответа не публикуется. В браузере его снимали по моменту, когда текст страницы перестал меняться (погрешность около ±6 с); как метрика это число ненадёжно.\n5. Сервисы меняются. Модель, база и настройки тарифа меняются без уведомления. Результат относится к дате прогона, указанной в паспорте.\n6. Условия использования. Перед публикацией у каждого сервиса проверено пользовательское соглашение на запрет тестирования и публикации результатов; итог проверки записан в паспорте прогона.","contaminationPolicy":"Тексты запросов открыты с 12.11.2026, поэтому сервисы могут под них подстроиться. Эталоны, ключ задачи T11 и рубрики не публикуются. Следующая версия набора заменит задачи, а не дополнит их; результаты по этой версии останутся привязаны к ней.","adaptationNote":"Сервисы целиком, через веб-интерфейс под обычной учётной записью. 15 задач, один прогон, оценка одной моделью-судьёй без второй проверки.","license":"Тексты запросов опубликованы BenchRU; эталоны закрыты.","organization":null,"domains":[{"slug":"law","name":"Российское право"}],"capabilities":[{"slug":"citation-accuracy","name":"Корректность цитирования"},{"slug":"document-understanding","name":"Понимание документов"},{"slug":"factuality","name":"Фактологическая точность"}],"modalities":[{"slug":"text","name":"Текст"}],"methods":[{"slug":"model-as-judge","name":"Model-as-judge"}],"riskDimensions":[],"tags":[],"sources":[]},"versions":[{"versionLabel":"1.0.0","status":"PUBLISHED","publishedAt":"2026-11-12T09:32:42.941Z","supersededAt":null}],"current":{"versionLabel":"1.0.0","publishedAt":"2026-11-12T09:32:42.941Z","notes":"Соответствует набору задач v1 от 11.11.2026: 15 задач, формулировки дословно. К задаче T11 добавлено пояснение о приложенном файле — сам файл не публикуется.","metrics":[{"slug":"service-norm","name":"N — точность нормы","unit":"балл 0–3","direction":"higher","dimension":"quality","weight":0.3333,"rangeMin":0,"rangeMax":3},{"slug":"service-link","name":"L — проверяемая ссылка","unit":"балл 0–3","direction":"higher","dimension":"quality","weight":0.3333,"rangeMin":0,"rangeMax":3},{"slug":"service-completeness","name":"C — полнота","unit":"балл 0–3","direction":"higher","dimension":"quality","weight":0.3334,"rangeMin":0,"rangeMax":3}],"splitCounts":{"public":15,"development":0,"privateHoldout":0,"retired":0,"total":15},"sectionCounts":{},"sourceCheck":{"publishers":[],"references":0,"lastAccessedAt":null},"canary":null,"cases":[{"id":"cmwdcnmj4000c0zjz3810csrq","order":1,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой срок исковой давности по взысканию долга по договору займа с указанным сроком возврата и с какого момента он считается?","payload":{"title":"Исковая давность по займу со сроком возврата","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T01","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmj9000d0zjzy9tqs4g1","order":2,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Работодатель задерживает зарплату на 20 дней. Может ли работник не выходить на работу и какую компенсацию он получит?","payload":{"title":"Задержка зарплаты на 20 дней","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T02","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjd000e0zjz1yl25ufb","order":3,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Можно ли вернуть в магазин качественную куртку, которая не подошла по размеру, и в какой срок?","payload":{"title":"Возврат качественной одежды","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T03","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjg000f0zjzpvctfjsk","order":4,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Купил товар в интернет-магазине. В какой срок можно от него отказаться без объяснения причин?","payload":{"title":"Отказ от товара, купленного в интернете","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T04","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjk000g0zjzy6cyvjv3","order":5,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"В какой срок страховщик по ОСАГО обязан выплатить возмещение и что будет, если он просрочит?","payload":{"title":"Срок выплаты по ОСАГО и просрочка","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T05","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjl000h0zjzdivf1dbs","order":6,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какое наказание за управление автомобилем в состоянии опьянения впервые?","payload":{"title":"Управление автомобилем в опьянении впервые","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T06","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjn000i0zjzh6e7d5h4","order":7,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Как развестись, если у супругов есть общий ребёнок 5 лет и оба согласны на развод?","payload":{"title":"Развод по согласию при ребёнке 5 лет","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T07","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjp000j0zjzoqgqs8jf","order":8,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой максимальный налоговый вычет за платное лечение можно получить в 2026 году?","payload":{"title":"Вычет за платное лечение в 2026 году","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T08","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjs000k0zjzpai1tvs0","order":9,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Арендатор два раза подряд не внёс арендную плату. Может ли арендодатель расторгнуть договор и как?","payload":{"title":"Две просрочки арендной платы подряд","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T09","taskKind":"вопрос"},"weight":1,"isDemo":false},{"id":"cmwdcnmjv000l0zjziodgpdxv","order":10,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Составь претензию продавцу о возврате денег за неисправный смартфон, купленный 20 дней назад. Данные покупателя и продавца оставь пустыми полями.","payload":{"title":"Претензия продавцу о неисправном смартфоне","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T10","taskKind":"документ"},"weight":1,"isDemo":false},{"id":"cmwdcnmjw000m0zjz65ckdahb","order":11,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"[К запросу приложен файл .docx — учебный договор поставки, составленный автором набора; сам договор не публикуется, потому что содержит закрытый ключ задачи.]\n\nПроверь договор и перечисли риски для покупателя.","payload":{"title":"Риски покупателя в договоре поставки","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T11","taskKind":"документ"},"weight":1,"isDemo":false},{"id":"cmwdcnmjz000n0zjzkw1qedmu","order":12,"split":"PUBLIC_SAMPLE","caseType":"CITATION_RETRIEVAL","prompt":"Найди позицию Верховного суда о снижении неустойки по статье 333 ГК РФ, когда должник — гражданин, а не предприниматель.","payload":{"title":"Позиция Верховного суда по ст. 333 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T12","taskKind":"практика"},"weight":1,"isDemo":false},{"id":"cmwdcnmk1000o0zjz73k1m2lc","order":13,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Какой МРОТ установлен с 1 января 2026 года и каким законом?","payload":{"title":"МРОТ с 1 января 2026 года","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T13","taskKind":"свежесть"},"weight":1,"isDemo":false},{"id":"cmwdcnmk2000p0zjzo91sv2q8","order":14,"split":"PUBLIC_SAMPLE","caseType":"FREE_FORM","prompt":"Что регулирует статья 1286.5 Гражданского кодекса РФ?","payload":{"title":"Содержание статьи 1286.5 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T14","taskKind":"ловушка"},"weight":1,"isDemo":false},{"id":"cmwdcnmk7000q0zjzjzyq18ci","order":15,"split":"PUBLIC_SAMPLE","caseType":"TOOL_USE_TASK","prompt":"Проверь контрагента по ИНН 7707083893.","payload":{"title":"Проверка контрагента по ИНН","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T15","taskKind":"действие"},"weight":1,"isDemo":false}],"changelog":[]}}}