НАБОР ЗАДАЧ
Работа с длинным контекстом
Отличие от оригинала: подмножество · часть документов переведена
Работа с длинным контекстом
Берутся задачи на английском и китайском из оригинала плюс переведённые на русский длинные документы: смысл набора — длина контекста, и её перевод сохраняет. Длина в токенах указывается в версии набора.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет длину текста в токенах, поэтому наши задачи не тождественны авторским даже при том же документе.
Документы взяты из публичных источников. Основной риск — не утечка ответов, а то, что модель знает документ и отвечает без чтения контекста; для контроля часть задач строится на документах, вышедших позже отсечения.
THUDM · MIT · дата обращения 3 сентября 2026 г.