Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
КАТЕГОРИЯ · предметная область
Нормы права РФ, их применение, толкование, процессуальные сроки, анализ судебных документов. Источники — только версионируемые, с редакцией и датой.
3 набора · ведомость по области →
Набор · Российское право, Финансы и банкинг, Государственные услуги и бюрократия
Распознавание и понимание российских документов: сканы форм, квитанций, актов; извлечение реквизитов; таблицы
v1.0.0 · 5 задач · 4 метрики · 0 запусков · обновлён 15 августа 2026 г.
Набор · Российское право
Оценка правового рассуждения в юрисдикции РФ: знание нормы, применение нормы к фактам, issue spotting, толкование, расчёт процессуальных сроков, анализ судебных документов, корректный отказ при недостатке данных
v1.0.0 · 5 задач · 5 метрик · 2 запуска · обновлён 15 августа 2026 г.
Набор · Российское право, Государственные услуги и бюрократия, Универсальные знания и рассуждение
Оценка retrieval-augmented систем на русскоязычных корпусах: корректность ответа, полнота и точность retrieval, точность/полнота цитат, верность источнику (faithfulness), доля неподтверждённых утверждений, свежесть и версия документа, устойчивость к prompt injection внутри источника
v1.0.0 · 5 задач · 6 метрик · 1 запуск · обновлён 15 августа 2026 г.
Правовое рассуждение (РФ) v1.0.0
RAG и корректность цитирования (РФ) v1.0.0
Правовое рассуждение (РФ) v1.0.0
Взвешенный по покрытию балл системы по текущим опубликованным версиям наборов области (SCORING.md §3.4). Балл показывается при покрытии не менее половины версий области; иначе — честное «мало данных».
GromLM grom-1
мало данных: покрыто 1 из 3 версий области (33 %)
GromLM grom-2 + RAGPipe (demo)
мало данных: покрыто 1 из 3 версий области (33 %)
GromLM grom-2
мало данных: покрыто 1 из 3 версий области (33 %)
Сравнение 3 лучших систем области по шкале 0–100. Системы испытаны на разных версиях наборов — форма радара ориентировочная.
15
всего задач в текущих версиях наборов
12
публичных и отладочных (промпты открыты)
3
в закрытом holdout — защита от contamination