{"data":{"suite":{"slug":"ru-multimodal-understanding","name":"Мультимодальное понимание (RU)","tagline":"Понимание изображений и документов в российском контексте: вывески, формы, схемы, инфографика на русском; связность описания и отсутствие вымышленных деталей","description":"Понимание изображений и документов в российском контексте: вывески, формы, схемы, инфографика на русском; связность описания и отсутствие вымышленных деталей.","methodology":"## Методология (демо)\n\nSplit-политика: public 20% / development 30% / private holdout 50%.\nИзображения — собственные или с подтверждённой лицензией; источник каждого ассета фиксируется.\n\nИзмерения риска: hallucination, bias-fairness.\n\nВсе кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.","limitations":"Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».","contaminationPolicy":"Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.","license":"Демонстрационные синтетические данные (не для научного использования)","organization":{"slug":"benchru-demo-lab","name":"BenchRU Demo Lab"},"domains":[{"slug":"culture-history","name":"Культура, литература и история России"},{"slug":"geography-regions","name":"География и регионы России"},{"slug":"everyday-life","name":"Повседневные бытовые задачи"}],"capabilities":[{"slug":"factual-knowledge","name":"Знание фактов"},{"slug":"document-understanding","name":"Понимание документов"},{"slug":"computer-vision","name":"Computer vision"}],"modalities":[{"slug":"text","name":"Текст"},{"slug":"image","name":"Изображение"},{"slug":"multimodal","name":"Мультимодальный ввод-вывод"}],"methods":[{"slug":"single-choice","name":"Single choice"},{"slug":"expert-rubric","name":"Expert rubric"},{"slug":"media-automatic-metrics","name":"Image/video/audio automatic metrics"}],"riskDimensions":[{"slug":"hallucination","name":"Галлюцинации"},{"slug":"bias-fairness","name":"Предвзятость и справедливость"}],"tags":["russian","multimodal"],"sources":[{"title":"Методология и состав набора «Мультимодальное понимание (RU)» (демо)","url":null,"publisher":"BenchRU Demo Lab","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-02T00:00:00.000Z","license":"Демонстрационные синтетические данные"}]},"versions":[{"versionLabel":"1.0.0","status":"PUBLISHED","publishedAt":"2026-08-15T12:00:00.000Z","supersededAt":null}],"current":{"versionLabel":"1.0.0","publishedAt":"2026-08-15T12:00:00.000Z","notes":"Первая опубликованная демонстрационная версия.","metrics":[{"slug":"mcq-accuracy","name":"Точность выбора ответа","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.4,"rangeMin":null,"rangeMax":null},{"slug":"grounded-description-score","name":"Связность и обоснованность описания (рубрика)","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.3,"rangeMin":null,"rangeMax":null},{"slug":"hallucination-rate","name":"Доля вымышленных деталей","unit":"доля 0–1","direction":"lower","dimension":"reliability","weight":0.2,"rangeMin":null,"rangeMax":null},{"slug":"latency-p50","name":"Медианная задержка ответа","unit":"сек","direction":"lower","dimension":"efficiency","weight":0.1,"rangeMin":0.2,"rangeMax":30}],"splitCounts":{"public":3,"development":1,"privateHoldout":1,"retired":0,"total":5},"cases":[{"id":"cmtkxs43v009d0zo2vmhj8jri","order":1,"split":"PUBLIC_SAMPLE","caseType":"MULTIMODAL_TASK","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическое изображение (artifact demo/mm-001.png, сгенерировано для демо): красный восьмиугольник с надписью «СТОП» на русском. Что обозначает знак?","payload":{"title":"Учебный дорожный знак на синтетическом изображении","demoId":"demo-mm-001","choices":["Обязательная остановка","Ограничение скорости","Пешеходный переход","Стоянка запрещена"],"notesRu":"Изображение синтетическое; источник ассета фиксируется.","sourcePolicy":"synthetic-generated-image","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs43x009e0zo2pdgvp07a","order":2,"split":"PUBLIC_SAMPLE","caseType":"MULTIMODAL_TASK","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическая инфографика (artifact demo/mm-002.png): столбчатая диаграмма «Учебные выезды по кварталам» со значениями Q1=10, Q2=14, Q3=9, Q4=12. Опишите диаграмму, не добавляя деталей, которых нет на изображении.","payload":{"title":"Описание учебной инфографики без выдумок","demoId":"demo-mm-002","notesRu":"Проверяет groundedness и hallucination-rate.","sourcePolicy":"synthetic-generated-image","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs43z009f0zo27803rkpd","order":3,"split":"PUBLIC_SAMPLE","caseType":"SINGLE_CHOICE","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическое фото (artifact demo/mm-003.png): документ с заголовком «Учебная квитанция У-12» и таблицей начислений. Какой тип документа изображён?","payload":{"title":"Тип документа на синтетическом фото","demoId":"demo-mm-003","choices":["Квитанция об оплате","Паспорт","Трудовой договор","Медицинская карта"],"notesRu":"Персональных данных на изображении нет.","sourcePolicy":"synthetic-generated-image","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs442009g0zo29be1w0ce","order":4,"split":"DEVELOPMENT","caseType":"MULTIMODAL_TASK","prompt":"УЧЕБНЫЙ СИНТЕТИЧЕСКИЙ ПРИМЕР. Синтетическое изображение (artifact demo/mm-004.png): таблица «Учебные показания»: строка «Утро — 15», строка «Вечер — 27». Какова сумма показаний?","payload":{"title":"Чтение таблицы с синтетической формы","demoId":"demo-mm-004","notesRu":"Проверяет табличное понимание.","sourcePolicy":"synthetic-generated-image","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs445009h0zo2qu2lkofv","order":5,"split":"PRIVATE_HOLDOUT","caseType":"MULTIMODAL_TASK","prompt":null,"payload":null,"weight":1,"isDemo":true}],"changelog":[]}}}