НАБОР ЗАДАЧ
Алгоритмический код, устойчивый к контаминации
Отличие от оригинала: язык оригинала · окно задач по дате
Алгоритмический код, устойчивый к контаминации
Задачи берутся из оригинала без перевода — условия задач и тесты остаются английскими. Прогоняются только задачи, опубликованные после даты отсечения обучения проверяемой модели: в этом смысл набора. Временное окно указывается в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Результат зависит от выбранного временного окна: числа, посчитанные по разным окнам, между собой несравнимы.
Контаминация — то, ради чего набор устроен именно так: задачи датированы, и берутся только вышедшие после отсечения обучения модели. Окно всегда публикуется рядом с числом.
GitHub — LiveCodeBench/LiveCodeBench
LiveCodeBench · MIT · дата обращения 3 сентября 2026 г.