{"data":{"suite":{"slug":"rubq","name":"RuBQ","tagline":"Вопросы к знаниям о России","description":"Вопросы к знаниям о России","methodology":"Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Ответы привязаны к состоянию Википедии на момент сборки набора, поэтому часть фактов могла устареть.","contaminationPolicy":"Вопросы построены по Википедии, которая входит в обучающие корпуса, поэтому набор проверяет скорее извлечение знания, чем его отсутствие у модели.","adaptationNote":"русскоязычный оригинал · подмножество","license":"CC-BY-SA-4.0","organization":{"slug":"itmo","name":"ИТМО и соавторы"},"domains":[{"slug":"culture-history","name":"Культура, литература и история России"},{"slug":"geography-regions","name":"География и регионы России"},{"slug":"general-reasoning","name":"Универсальные знания и рассуждение"}],"capabilities":[{"slug":"russian-comprehension","name":"Понимание русского языка"},{"slug":"factual-knowledge","name":"Знание фактов"}],"modalities":[{"slug":"text","name":"Текст"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"GitHub — vladislavneon/RuBQ","url":"https://github.com/vladislavneon/RuBQ","publisher":"vladislavneon","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"CC-BY-SA-4.0"}]},"versions":[],"current":null}}