Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
Набор задач · редакция 2026-09 · текущая версия v1.0.0
Навигация по регламентам госуслуг РФ: перечни документов, сроки, пошлины, маршруты обжалования, заполнение заявлений
Навигация по регламентам госуслуг РФ: перечни документов, сроки, пошлины, маршруты обжалования, заполнение заявлений. Нормы фиксируются с редакцией и датой; seed-кейсы синтетические.
| № | Система | Качество | Покрытие | Уровень |
|---|---|---|---|---|
| 1 | ZaryaLM zarya-1 | 75,5 | 100 % | Демо |
| Метрика |
|---|
| Измерение |
|---|
| Вес |
|---|
| Диапазон |
|---|
| Лучше |
|---|
| Точность ответов о процедуре, доля 0–1 | Качество | 0,4 | — | больше |
| F1 извлечения реквизитов, доля 0–1 | Качество | 0,3 | — | больше |
| Соблюдение формата ответа, доля 0–1 | Качество | 0,2 | — | больше |
| Доля устаревших сведений, доля 0–1 | Надёжность | 0,2 | — | меньше |
Показаны 3 задачи из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 1 · короткий точный ответ · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент услуги „Регистрация приусадебного колодца“» (вымышленный): заявитель предоставляет паспорт; заявление по форме У-3; схему участка. Срок оказания: 5 рабочих дней. Пошлина: 300 учебных рублей. Какой документ предоставляется по установленной форме?
Задача № 4 · один вариант · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. «Учебный регламент услуги „Постановка на учёт садового инвентаря“» (вымышленный): срок оказания — 5 рабочих дней; пошлина — 300 учебных рублей; результат выдаётся в МФЦ. Каков срок оказания услуги?
Задача № 5 · структурированный JSON · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Текст вымышленной квитанции: «Квитанция У-12. Плательщик: Петров Пётр Ильич. Услуга: учебная регистрация садового инвентаря. Сумма: 300 учебных рублей». Извлеките по схеме {fio: string, fee: number, service: string}.
## Методология (демо) Split-политика: public 20% / development 30% / private holdout 50%. Регулярная ротация при изменении реальных регламентов; устаревшие кейсы переводятся в retired. Измерения риска: hallucination, temporal-validity, over-refusal. Все кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.
Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».
Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.
Методология и состав набора «Госуслуги и административные процедуры (РФ)» (демо)
BenchRU Demo Lab · Демонстрационные синтетические данные · дата обращения 2 сентября 2026 г.