Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
КАТЕГОРИЯ · предметная область
Регламенты госуслуг, заявления, справки, МФЦ, административные процедуры РФ.
3 набора · ведомость по области →
Набор · Российское право, Финансы и банкинг, Государственные услуги и бюрократия
Распознавание и понимание российских документов: сканы форм, квитанций, актов; извлечение реквизитов; таблицы
v1.0.0 · 5 задач · 4 метрики · 0 запусков · обновлён 15 августа 2026 г.
Набор · Государственные услуги и бюрократия
Навигация по регламентам госуслуг РФ: перечни документов, сроки, пошлины, маршруты обжалования, заполнение заявлений
v1.0.0 · 5 задач · 4 метрики · 1 запуск · обновлён 15 августа 2026 г.
Набор · Российское право, Государственные услуги и бюрократия, Универсальные знания и рассуждение
Оценка retrieval-augmented систем на русскоязычных корпусах: корректность ответа, полнота и точность retrieval, точность/полнота цитат, верность источнику (faithfulness), доля неподтверждённых утверждений, свежесть и версия документа, устойчивость к prompt injection внутри источника
v1.0.0 · 5 задач · 6 метрик · 1 запуск · обновлён 15 августа 2026 г.
RAG и корректность цитирования (РФ) v1.0.0
Госуслуги и административные процедуры (РФ) v1.0.0
Взвешенный по покрытию балл системы по текущим опубликованным версиям наборов области (SCORING.md §3.4). Балл показывается при покрытии не менее половины версий области; иначе — честное «мало данных».
GromLM grom-2 + RAGPipe (demo)
мало данных: покрыто 1 из 3 версий области (33 %)
ZaryaLM zarya-1
мало данных: покрыто 1 из 3 версий области (33 %)
Сравнение 2 лучших систем области по шкале 0–100. Системы испытаны на разных версиях наборов — форма радара ориентировочная.
15
всего задач в текущих версиях наборов
12
публичных и отладочных (промпты открыты)
3
в закрытом holdout — защита от contamination