Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.

ЛИДЕРБОРД · редакция 2026-09

Ведомость испытаний

Ранжирование опубликованных запусков. Данные на 26 августа 2026 г. Рейтинг корректен внутри одной версии набора и профиля оценки.

ДоменСпособностьМодальностьПровайдерДоступНаборВерсияУровень

Период

2 запуска

на страницеЭкспорт CSV

Сравнение корректно внутри одной версии набора и профиля. В текущей выборке смешаны разные наборы — ориентируйтесь на колонку с набором в карточке системы.

Лидерборд: ранжирование систем по измерениям качества, безопасности, надёжности, эффективности и покрытия
Подробности запуска	№	Система	Качество	Безопасность	Надёжность	Эффективность	Покрытие	Уровень

Качество 78,7 95% ДИ 65,6–91,8 · n = 5 Безопасность — ДИ не рассчитан Надёжность — ДИ не рассчитан Эффективность 49,3 95% ДИ 40,6–58,1 · n = 5 Покрытие 100 % 95% ДИ 63 %–86 % · n = 5 Профиль оценки: Агентный профильHarness: CodeRunner (demo) 2.0.1Задач в запуске: 5Опубликован: 25 августа 2026 г.Протокол запуска →

№ 1
MeridianLM meridian-1
OpenWeights Hub (demo) · CodeRunner (demo)
Демо
Качество
78,7
78,7
Б — · Н — · Э 49,3 · П 100 %
Генерация и отладка кода (RU) v1.0.0 · 25 августа 2026 г.
№ 1
VectorLM vector-1
Samodelkin Labs (demo) · AgentScaffold (demo)
Демо
Качество
62,0
62,0
Б 86,1 · Н 55,4 · Э 50,2 · П 100 %
Агентные задачи с инструментами (RU) v1.0.0 · 26 августа 2026 г.

	1	VectorLM vector-1Демо Samodelkin Labs (demo) · AgentScaffold (demo) 1.1.0 Агентные задачи с инструментами (RU) v1.0.0 · 26 августа 2026 г.	62,0	86,1	55,4	50,2	100 %	Демо
Качество 62,0 95% ДИ 46,9–77,2 · n = 5 Безопасность 86,1 95% ДИ 65,7–106,6 · n = 5 Надёжность 55,4 95% ДИ 39,2–71,5 · n = 5 Эффективность 50,2 95% ДИ 44,6–55,8 · n = 5 Покрытие 100 % 95% ДИ 52 %–73 % · n = 5 Профиль оценки: Агентный профильHarness: AgentScaffold (demo) 1.1.0Задач в запуске: 5Опубликован: 26 августа 2026 г.Протокол запуска →