{"data":{"suite":{"slug":"livecodebench","name":"LiveCodeBench","tagline":"Алгоритмический код, устойчивый к контаминации","description":"Алгоритмический код, устойчивый к контаминации","methodology":"Задачи берутся из оригинала без перевода — условия задач и тесты остаются английскими. Прогоняются только задачи, опубликованные после даты отсечения обучения проверяемой модели: в этом смысл набора. Временное окно указывается в версии набора; пока опубликованных версий нет, чисел нет.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Результат зависит от выбранного временного окна: числа, посчитанные по разным окнам, между собой несравнимы.","contaminationPolicy":"Контаминация — то, ради чего набор устроен именно так: задачи датированы, и берутся только вышедшие после отсечения обучения модели. Окно всегда публикуется рядом с числом.","adaptationNote":"язык оригинала · окно задач по дате","license":"MIT","organization":{"slug":"livecodebench","name":"LiveCodeBench"},"domains":[{"slug":"programming","name":"Программирование"}],"capabilities":[{"slug":"code-generation","name":"Генерация кода"}],"modalities":[{"slug":"code","name":"Код"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"GitHub — LiveCodeBench/LiveCodeBench","url":"https://github.com/LiveCodeBench/LiveCodeBench","publisher":"LiveCodeBench","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"MIT"}]},"versions":[],"current":null}}