НАБОР ЗАДАЧ
Базовая проверка генерации кода
Отличие от оригинала: перевод постановок · тесты авторские
Базовая проверка генерации кода
Постановки задач переводятся на русский, сигнатуры функций и тесты остаются без изменений. Оценка — прохождение авторских тестов, а не суждение судьи. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Набор невелик и давно решается фронтирными моделями почти полностью, поэтому различает в основном слабые модели.
Опубликован в 2021 году и заведомо входит в обучающие корпуса. Используется как проверка работоспособности, а не как рейтинговый набор.
openai · MIT · дата обращения 3 сентября 2026 г.