Юридические ИИ-сервисы: 15 задач

Публичные образцы задач

Показаны 15 задач из публичного образца. Закрытый holdout не публикуется — известно только число задач.

• Задача № 1 · свободный ответ · публичный образец

  Какой срок исковой давности по взысканию долга по договору займа с указанным сроком возврата и с какого момента он считается?

• Задача № 2 · свободный ответ · публичный образец

  Работодатель задерживает зарплату на 20 дней. Может ли работник не выходить на работу и какую компенсацию он получит?

• Задача № 3 · свободный ответ · публичный образец

  Можно ли вернуть в магазин качественную куртку, которая не подошла по размеру, и в какой срок?

• Задача № 4 · свободный ответ · публичный образец

  Купил товар в интернет-магазине. В какой срок можно от него отказаться без объяснения причин?

• Задача № 5 · свободный ответ · публичный образец

  В какой срок страховщик по ОСАГО обязан выплатить возмещение и что будет, если он просрочит?

• Задача № 6 · свободный ответ · публичный образец

  Какое наказание за управление автомобилем в состоянии опьянения впервые?

Методология

Набор v1 от 11.11.2026: 15 задач, тексты запросов опубликованы дословно. Задача T11 — проверка учебного договора поставки, приложенного файлом .docx. Прогон: обычная учётная запись, веб-интерфейс сервиса, новая беседа на каждую задачу, один ход, без уточнений. Если сервис переспрашивает, ему отвечают «Ответь по общему правилу, без дополнительных данных». Режим и модель — по умолчанию у тарифа; тариф, режим и способ прогона (вручную или скриптом браузера) указаны в паспорте каждого прогона. Оценка каждой задачи по трём осям, 0–3. Оценки выставляет модель-судья по рубрике, одна и та же для всех сервисов: N — точность нормы: 3 — норма и содержание верны; 2 — норма верна, мелкая неточность; 1 — частично (не та часть или редакция); 0 — неверно или выдумано. L — проверяемая ссылка: 3 — ссылка открывает нужную статью или акт; 2 — назван акт или номер, проверить можно вручную; 1 — только упоминание без ссылки; 0 — ссылки нет, она битая или ведёт не туда. C — полнота: 3 — все ключевые элементы эталона; 2 — большинство; 1 — меньшинство; 0 — нет. Эталон каждой задачи сверен с действующей редакцией нормы на дату прогона. Эталоны, ключ задачи T11 и рубрики не публикуются: это закрытая часть набора. Балл прогона — среднее трёх осей с равными весами, каждая ось нормирована на 0–1. Сумма N+L+C по 15 задачам (максимум 135) пересчитывается в этот балл делением на 135.

Ограничения

1. Один судья. Все оценки выставлены одной моделью-судьёй по рубрике выше. Второй независимой оценки и сверки разногласий нет; уровень доверия всех строк — «От сообщества». 2. Один прогон на задачу. Повторов нет, поэтому разброс ответов сервиса не измерен. На 15 задачах разница в несколько баллов лежит в пределах случайности. 3. Ответы сервисов не публикуются. Ответы сохранены дословно, со снимками экрана. На сайт они не выносятся: у части сервисов информация из программы предназначена «для внутреннего использования», а сами ответы раскрывали бы закрытые эталоны. 4. Время ответа не публикуется. В браузере его снимали по моменту, когда текст страницы перестал меняться (погрешность около ±6 с); как метрика это число ненадёжно. 5. Сервисы меняются. Модель, база и настройки тарифа меняются без уведомления. Результат относится к дате прогона, указанной в паспорте. 6. Условия использования. Перед публикацией у каждого сервиса проверено пользовательское соглашение на запрет тестирования и публикации результатов; итог проверки записан в паспорте прогона.