{"data":{"suite":{"slug":"swe-bench-verified","name":"SWE-bench Verified","tagline":"Реальные баг-фиксы в открытых репозиториях","description":"Реальные баг-фиксы в открытых репозиториях","methodology":"Задачи и репозитории берутся из оригинала без перевода: постановка — код и issue на английском, русскоязычной адаптации здесь нет. Русскоязычным остаётся интерфейс сайта и разбор результата. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Прогон требует исполнения кода в песочнице; без неё задача не засчитывается, и это отличает наш результат от прогонов авторов.","contaminationPolicy":"Задачи собраны из публичных репозиториев, и исправляющие коммиты доступны в истории git, поэтому утечка возможна для любой модели. Дата отсечения обучения модели указывается рядом с результатом.","adaptationNote":"язык оригинала · подмножество задач","license":null,"organization":{"slug":"swe-bench","name":"SWE-bench (Princeton / OpenAI)"},"domains":[{"slug":"programming","name":"Программирование"}],"capabilities":[{"slug":"code-generation","name":"Генерация кода"},{"slug":"debugging","name":"Отладка кода"}],"modalities":[{"slug":"code","name":"Код"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"Hugging Face — princeton-nlp/SWE-bench_Verified","url":"https://huggingface.co/datasets/princeton-nlp/SWE-bench_Verified","publisher":"princeton-nlp","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":null}]},"versions":[],"current":null}}