{"formatVersion":"1.0","exportedAt":"2026-11-12T11:48:35.401Z","suite":{"slug":"legal-services-15","name":"Юридические ИИ-сервисы: 15 задач","tagline":"Юридический сервис целиком, с его поиском по базе и интерфейсом, на 15 типовых запросах; оценка N/L/C по шкале 0–3","description":"Пятнадцать типовых запросов к юридическим ИИ-сервисам: вопросы о сроках и санкциях, составление претензии, проверка договора, поиск позиции Верховного суда, свежая норма, вопрос о конкретной статье кодекса и проверка контрагента по ИНН. Измеряется не модель, а сервис в том виде, в каком его получает пользователь: обычная учётная запись, тариф, режим и встроенный поиск по базе входят в условия прогона.","methodology":"Набор v1 от 11.11.2026: 15 задач, тексты запросов опубликованы дословно. Задача T11 — проверка учебного договора поставки, приложенного файлом .docx.\n\nПрогон: обычная учётная запись, веб-интерфейс сервиса, новая беседа на каждую задачу, один ход, без уточнений. Если сервис переспрашивает, ему отвечают «Ответь по общему правилу, без дополнительных данных». Режим и модель — по умолчанию у тарифа; тариф, режим и способ прогона (вручную или скриптом браузера) указаны в паспорте каждого прогона.\n\nОценка каждой задачи по трём осям, 0–3. Оценки выставляет модель-судья по рубрике, одна и та же для всех сервисов:\nN — точность нормы: 3 — норма и содержание верны; 2 — норма верна, мелкая неточность; 1 — частично (не та часть или редакция); 0 — неверно или выдумано.\nL — проверяемая ссылка: 3 — ссылка открывает нужную статью или акт; 2 — назван акт или номер, проверить можно вручную; 1 — только упоминание без ссылки; 0 — ссылки нет, она битая или ведёт не туда.\nC — полнота: 3 — все ключевые элементы эталона; 2 — большинство; 1 — меньшинство; 0 — нет.\n\nЭталон каждой задачи сверен с действующей редакцией нормы на дату прогона. Эталоны, ключ задачи T11 и рубрики не публикуются: это закрытая часть набора.\n\nБалл прогона — среднее трёх осей с равными весами, каждая ось нормирована на 0–1. Сумма N+L+C по 15 задачам (максимум 135) пересчитывается в этот балл делением на 135.","limitations":"1. Один судья. Все оценки выставлены одной моделью-судьёй по рубрике выше. Второй независимой оценки и сверки разногласий нет; уровень доверия всех строк — «От сообщества».\n2. Один прогон на задачу. Повторов нет, поэтому разброс ответов сервиса не измерен. На 15 задачах разница в несколько баллов лежит в пределах случайности.\n3. Ответы сервисов не публикуются. Ответы сохранены дословно, со снимками экрана. На сайт они не выносятся: у части сервисов информация из программы предназначена «для внутреннего использования», а сами ответы раскрывали бы закрытые эталоны.\n4. Время ответа не публикуется. В браузере его снимали по моменту, когда текст страницы перестал меняться (погрешность около ±6 с); как метрика это число ненадёжно.\n5. Сервисы меняются. Модель, база и настройки тарифа меняются без уведомления. Результат относится к дате прогона, указанной в паспорте.\n6. Условия использования. Перед публикацией у каждого сервиса проверено пользовательское соглашение на запрет тестирования и публикации результатов; итог проверки записан в паспорте прогона.","contaminationPolicy":"Тексты запросов открыты с 12.11.2026, поэтому сервисы могут под них подстроиться. Эталоны, ключ задачи T11 и рубрики не публикуются. Следующая версия набора заменит задачи, а не дополнит их; результаты по этой версии останутся привязаны к ней.","license":"Тексты запросов опубликованы BenchRU; эталоны закрыты."},"taxonomy":{"domains":["law"],"capabilities":["citation-accuracy","document-understanding","factuality"],"modalities":["text"],"methods":["model-as-judge"],"riskDimensions":[]},"version":{"versionLabel":"1.0.0","publishedAt":"2026-11-12T09:32:42.941Z","notes":"Соответствует набору задач v1 от 11.11.2026: 15 задач, формулировки дословно. К задаче T11 добавлено пояснение о приложенном файле — сам файл не публикуется."},"metrics":[{"slug":"service-norm","name":"N — точность нормы","unit":"балл 0–3","direction":"higher","valueType":"continuous","dimension":"quality","weight":0.3333,"vMin":0,"vMax":3},{"slug":"service-link","name":"L — проверяемая ссылка","unit":"балл 0–3","direction":"higher","valueType":"continuous","dimension":"quality","weight":0.3333,"vMin":0,"vMax":3},{"slug":"service-completeness","name":"C — полнота","unit":"балл 0–3","direction":"higher","valueType":"continuous","dimension":"quality","weight":0.3334,"vMin":0,"vMax":3}],"cases":[{"order":1,"split":"public","caseType":"FREE_FORM","prompt":"Какой срок исковой давности по взысканию долга по договору займа с указанным сроком возврата и с какого момента он считается?","payload":{"title":"Исковая давность по займу со сроком возврата","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T01","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":2,"split":"public","caseType":"FREE_FORM","prompt":"Работодатель задерживает зарплату на 20 дней. Может ли работник не выходить на работу и какую компенсацию он получит?","payload":{"title":"Задержка зарплаты на 20 дней","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T02","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":3,"split":"public","caseType":"FREE_FORM","prompt":"Можно ли вернуть в магазин качественную куртку, которая не подошла по размеру, и в какой срок?","payload":{"title":"Возврат качественной одежды","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T03","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":4,"split":"public","caseType":"FREE_FORM","prompt":"Купил товар в интернет-магазине. В какой срок можно от него отказаться без объяснения причин?","payload":{"title":"Отказ от товара, купленного в интернете","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T04","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":5,"split":"public","caseType":"FREE_FORM","prompt":"В какой срок страховщик по ОСАГО обязан выплатить возмещение и что будет, если он просрочит?","payload":{"title":"Срок выплаты по ОСАГО и просрочка","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T05","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":6,"split":"public","caseType":"FREE_FORM","prompt":"Какое наказание за управление автомобилем в состоянии опьянения впервые?","payload":{"title":"Управление автомобилем в опьянении впервые","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T06","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":7,"split":"public","caseType":"FREE_FORM","prompt":"Как развестись, если у супругов есть общий ребёнок 5 лет и оба согласны на развод?","payload":{"title":"Развод по согласию при ребёнке 5 лет","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T07","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":8,"split":"public","caseType":"FREE_FORM","prompt":"Какой максимальный налоговый вычет за платное лечение можно получить в 2026 году?","payload":{"title":"Вычет за платное лечение в 2026 году","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T08","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":9,"split":"public","caseType":"FREE_FORM","prompt":"Арендатор два раза подряд не внёс арендную плату. Может ли арендодатель расторгнуть договор и как?","payload":{"title":"Две просрочки арендной платы подряд","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T09","taskKind":"вопрос"},"weight":1,"isDemo":false},{"order":10,"split":"public","caseType":"FREE_FORM","prompt":"Составь претензию продавцу о возврате денег за неисправный смартфон, купленный 20 дней назад. Данные покупателя и продавца оставь пустыми полями.","payload":{"title":"Претензия продавцу о неисправном смартфоне","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T10","taskKind":"документ"},"weight":1,"isDemo":false},{"order":11,"split":"public","caseType":"FREE_FORM","prompt":"[К запросу приложен файл .docx — учебный договор поставки, составленный автором набора; сам договор не публикуется, потому что содержит закрытый ключ задачи.]\n\nПроверь договор и перечисли риски для покупателя.","payload":{"title":"Риски покупателя в договоре поставки","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T11","taskKind":"документ"},"weight":1,"isDemo":false},{"order":12,"split":"public","caseType":"CITATION_RETRIEVAL","prompt":"Найди позицию Верховного суда о снижении неустойки по статье 333 ГК РФ, когда должник — гражданин, а не предприниматель.","payload":{"title":"Позиция Верховного суда по ст. 333 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T12","taskKind":"практика"},"weight":1,"isDemo":false},{"order":13,"split":"public","caseType":"FREE_FORM","prompt":"Какой МРОТ установлен с 1 января 2026 года и каким законом?","payload":{"title":"МРОТ с 1 января 2026 года","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T13","taskKind":"свежесть"},"weight":1,"isDemo":false},{"order":14,"split":"public","caseType":"FREE_FORM","prompt":"Что регулирует статья 1286.5 Гражданского кодекса РФ?","payload":{"title":"Содержание статьи 1286.5 ГК РФ","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T14","taskKind":"ловушка"},"weight":1,"isDemo":false},{"order":15,"split":"public","caseType":"TOOL_USE_TASK","prompt":"Проверь контрагента по ИНН 7707083893.","payload":{"title":"Проверка контрагента по ИНН","origin":"external-author","taskSet":"v1 от 11.11.2026","importId":"T15","taskKind":"действие"},"weight":1,"isDemo":false}]}