Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
Набор задач · редакция 2026-09 · текущая версия v1.0.0
Понимание изображений и документов в российском контексте: вывески, формы, схемы, инфографика на русском; связность описания и отсутствие вымышленных деталей
Понимание изображений и документов в российском контексте: вывески, формы, схемы, инфографика на русском; связность описания и отсутствие вымышленных деталей.
Опубликованных запусков на этой версии пока нет.
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность выбора ответа, доля 0–1 | Качество | 0,4 | — | больше |
| Связность и обоснованность описания (рубрика), доля 0–1 | Качество | 0,3 | — | больше |
| Доля вымышленных деталей, доля 0–1 | Надёжность | 0,2 | — | меньше |
| Медианная задержка ответа, сек | Эффективность |
| 0,1 |
| 0,2…30,0 |
| меньше |
Показаны 3 задачи из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 1 · мультимодальная задача · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическое изображение (artifact demo/mm-001.png, сгенерировано для демо): красный восьмиугольник с надписью «СТОП» на русском. Что обозначает знак?
Задача № 2 · мультимодальная задача · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическая инфографика (artifact demo/mm-002.png): столбчатая диаграмма «Учебные выезды по кварталам» со значениями Q1=10, Q2=14, Q3=9, Q4=12. Опишите диаграмму, не добавляя деталей, которых нет на изображении.
Задача № 3 · один вариант · публичный образец · демо
УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическое фото (artifact demo/mm-003.png): документ с заголовком «Учебная квитанция У-12» и таблицей начислений. Какой тип документа изображён?
## Методология (демо) Split-политика: public 20% / development 30% / private holdout 50%. Изображения — собственные или с подтверждённой лицензией; источник каждого ассета фиксируется. Измерения риска: hallucination, bias-fairness. Все кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.
Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».
Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.
Методология и состав набора «Мультимодальное понимание (RU)» (демо)
BenchRU Demo Lab · Демонстрационные синтетические данные · дата обращения 2 сентября 2026 г.