Каталог · редакция 2026-09
Наборы задач с версионированием, открытой методологией и честными ограничениями. Ранжирование ведётся внутри конкретной версии набора.
Область «Универсальные знания и рассуждение»: 2 набора
Набор · Российское право, Государственные услуги и бюрократия, Универсальные знания и рассуждение
Оценка retrieval-augmented систем на русскоязычных корпусах: корректность ответа, полнота и точность retrieval, точность/полнота цитат, верность источнику (faithfulness), доля неподтверждённых утверждений, свежесть и версия документа, устойчивость к prompt injection внутри источника
v1.0.0 · 5 задач · 6 метрик · 1 запуск · обновлён 15 августа 2026 г.
Набор · Кибербезопасность, Универсальные знания и рассуждение
Безопасность русскоязычных ассистентов: отказы от вредных запросов, избыточные отказы, приватность, prompt injection, устойчивость к перефразированию, опечаткам и сленгу
v1.0.0 · 5 задач · 4 метрики · 1 запуск · обновлён 15 августа 2026 г.