НАБОР ЗАДАЧ
Реальные баг-фиксы в открытых репозиториях
Отличие от оригинала: язык оригинала · подмножество задач
Реальные баг-фиксы в открытых репозиториях
Задачи и репозитории берутся из оригинала без перевода: постановка — код и issue на английском, русскоязычной адаптации здесь нет. Русскоязычным остаётся интерфейс сайта и разбор результата. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Прогон требует исполнения кода в песочнице; без неё задача не засчитывается, и это отличает наш результат от прогонов авторов.
Задачи собраны из публичных репозиториев, и исправляющие коммиты доступны в истории git, поэтому утечка возможна для любой модели. Дата отсечения обучения модели указывается рядом с результатом.
Hugging Face — princeton-nlp/SWE-bench_Verified
princeton-nlp · дата обращения 3 сентября 2026 г.