НАБОР ЗАДАЧ
Экспертные вопросы уровня PhD по биологии, химии и физике
Отличие от оригинала: перевод на русский · подмножество Diamond
Экспертные вопросы уровня PhD по биологии, химии и физике
Русскоязычная адаптация: задачи переводятся на русский, перевод вычитывается носителем языка; смысл задачи и эталонный ответ не меняются. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала. Подмножество Diamond мало по объёму, поэтому доверительный интервал широкий.
Авторы намеренно закрыли ответы от поисковых систем, но датасет доступен на Hugging Face, поэтому утечка в обучение возможна. Вопросы не публикуются в открытой части сайта целиком.
Hugging Face — Idavidrein/gpqa
Idavidrein · cc-by-4.0 · дата обращения 3 сентября 2026 г.