НАБОР ЗАДАЧ
Вопросы к знаниям о России
Отличие от оригинала: русскоязычный оригинал · подмножество
Вопросы к знаниям о России
Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Ответы привязаны к состоянию Википедии на момент сборки набора, поэтому часть фактов могла устареть.
Вопросы построены по Википедии, которая входит в обучающие корпуса, поэтому набор проверяет скорее извлечение знания, чем его отсутствие у модели.
vladislavneon · CC-BY-SA-4.0 · дата обращения 3 сентября 2026 г.