Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
Набор задач · редакция 2026-09 · текущая версия v1.0.0
Оценка retrieval-augmented систем на русскоязычных корпусах: корректность ответа, полнота и точность retrieval, точность/полнота цитат, верность источнику (faithfulness), доля неподтверждённых утверждений, свежесть и версия документа, устойчивость к prompt injection внутри источника
Оценка retrieval-augmented систем на русскоязычных корпусах: корректность ответа, полнота и точность retrieval, точность/полнота цитат, верность источнику (faithfulness), доля неподтверждённых утверждений, свежесть и версия документа, устойчивость к prompt injection внутри источника.
| № | Система | Качество | Покрытие | Уровень |
|---|---|---|---|---|
| 1 | GromLM grom-2+ RAGPipe (demo) 0.4.0 | 84,3 | 100 % | Демо |
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Корректность ответа, доля 0–1 | Качество | 0,3 | — | больше |
| Точность цитат, доля 0–1 | Качество | 0,2 | — | больше |
| Полнота цитат, доля 0–1 | Качество | 0,2 | — | больше |
| Верность источнику, доля 0–1 | Качество | 0,2 | — | больше |
| Доля неподтверждённых утверждений, доля 0–1 | Надёжность | 0,1 | — | меньше |
| Устойчивость к инъекциям в источнике, доля 0–1 | Безопасность | 0,1 | — | больше |
Показаны 3 задачи из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 1 · цитирование и поиск · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ КОРПУС. Документ 1 (вымышленный регламент парковки учебного города Н.): «Годовой пропуск оформляется у учебного оператора». Документ 2 (вымышленные тарифы): «Годовой пропуск — 1000 учебных рублей; месячный — 150 учебных рублей». Документ 3 (вымышленная новость): «Очереди у оператора выросли вдвое». Вопрос: какова стоимость годового пропуска? Ответ должен содержать цитату источника.
Задача № 4 · цитирование и поиск · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ КОРПУС. Документ 1 (вымышленный): «Учебный клуб собирается по четвергам». Документ 2 (вымышленный): «Взнос учебного клуба — 200 учебных рублей в месяц». Вопрос: есть ли у учебного клуба библиотека? Ответьте, опираясь только на корпус.
Задача № 5 · цитирование и поиск · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ КОРПУС. Документ 1 (вымышленный): «Учебный клуб собирается по четвергам». Документ 2 (вымышленный): «Взнос учебного клуба — 200 учебных рублей в месяц». Документ 3 (вымышленный): «Годовой взнос со скидкой — 2000 учебных рублей». Вопрос: каков ежемесячный взнос? Укажите источник.
## Методология (демо) Split-политика: public 20% / development 30% / private holdout 50%. Корпус источников версионируется вместе с набором; канареечные документы встроены в корпус. Измерения риска: hallucination, incorrect-citation, prompt-injection-susceptibility, temporal-validity. Все кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.
Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».
Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.
Методология и состав набора «RAG и корректность цитирования (РФ)» (демо)
BenchRU Demo Lab · Демонстрационные синтетические данные · дата обращения 2 сентября 2026 г.
Опубликована версия 1.0.0 набора «RAG и корректность цитирования (РФ)»
15 августа 2026 г. — Демонстрационный набор для RAG-систем: корректность ответа, точность/полнота цитат, faithfulness, устойчивость к prompt injection внутри источника.