{"data":{"suite":{"slug":"humaneval","name":"HumanEval","tagline":"Базовая проверка генерации кода","description":"Базовая проверка генерации кода","methodology":"Постановки задач переводятся на русский, сигнатуры функций и тесты остаются без изменений. Оценка — прохождение авторских тестов, а не суждение судьи. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Набор невелик и давно решается фронтирными моделями почти полностью, поэтому различает в основном слабые модели.","contaminationPolicy":"Опубликован в 2021 году и заведомо входит в обучающие корпуса. Используется как проверка работоспособности, а не как рейтинговый набор.","adaptationNote":"перевод постановок · тесты авторские","license":"MIT","organization":{"slug":"openai","name":"OpenAI"},"domains":[{"slug":"programming","name":"Программирование"}],"capabilities":[{"slug":"code-generation","name":"Генерация кода"}],"modalities":[{"slug":"code","name":"Код"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"GitHub — openai/human-eval","url":"https://github.com/openai/human-eval","publisher":"openai","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"MIT"}]},"versions":[],"current":null}}