Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.

ЛИДЕРБОРД · редакция 2026-09

Ведомость испытаний

Ранжирование опубликованных запусков. Данные на 27 августа 2026 г. Рейтинг корректен внутри одной версии набора и профиля оценки.

ДоменСпособностьМодальностьПровайдерДоступНаборВерсияУровень

Период

8 запусков

на страницеЭкспорт CSV

Сравнение корректно внутри одной версии набора и профиля. В текущей выборке смешаны разные наборы — ориентируйтесь на колонку с набором в карточке системы.

Лидерборд: ранжирование систем по измерениям качества, безопасности, надёжности, эффективности и покрытия
Подробности запуска	№	Система	Качество	Безопасность	Надёжность	Эффективность	Покрытие	Уровень
	1
Качество 89,1 95% ДИ 80,1–98,1 · n = 5 Безопасность 82,5 95% ДИ 67,3–97,6 · n = 5 Надёжность 72,6 95% ДИ 62,7–82,5 · n = 5 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 79 %–92 % · n = 5 Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 20 августа 2026 г.Протокол запуска →

GromLM grom-2Демо

Качество: —; ДИ не рассчитан
Безопасность: 88,7; 95% ДИ 83,8–93,6 · n = 5
Надёжность: 72,6; 95% ДИ 61,4–83,7 · n = 5
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 81 %–89 % · n = 5

Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 27 августа 2026 г.Протокол запуска →

Качество: 84,3; 95% ДИ 73,2–95,5 · n = 5
Безопасность: 93,5; 95% ДИ 81,8–105,1 · n = 5
Надёжность: 73,9; 95% ДИ 53,8–94,0 · n = 5
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 74 %–94 % · n = 5

Профиль оценки: Агентный профильHarness: RAGPipe (demo) 0.4.0Задач в запуске: 5Опубликован: 24 августа 2026 г.Протокол запуска →

Качество: 78,7; 95% ДИ 65,6–91,8 · n = 5
Безопасность: —; ДИ не рассчитан
Надёжность: —; ДИ не рассчитан
Эффективность: 49,3; 95% ДИ 40,6–58,1 · n = 5
Покрытие: 100 %; 95% ДИ 63 %–86 % · n = 5

Профиль оценки: Агентный профильHarness: CodeRunner (demo) 2.0.1Задач в запуске: 5Опубликован: 25 августа 2026 г.Протокол запуска →

Качество: 75,5; 95% ДИ 63,2–87,8 · n = 5
Безопасность: —; ДИ не рассчитан
Надёжность: 69,3; 95% ДИ 51,4–87,2 · n = 5
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 62 %–87 % · n = 5

Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 23 августа 2026 г.Протокол запуска →

Качество: 75,4; 95% ДИ 58,4–92,4 · n = 5
Безопасность: 88,1; 95% ДИ 80,8–95,5 · n = 5
Надёжность: 73,1; 95% ДИ 56,3–89,9 · n = 5
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 72 %–90 % · n = 5

Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 22 августа 2026 г.Протокол запуска →

Качество: 70,4; 95% ДИ 63,2–77,7 · n = 5
Безопасность: 82,5; 95% ДИ 60,2–104,7 · n = 5
Надёжность: 70,7; 95% ДИ 61,1–80,3 · n = 5
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 70 %–74 % · n = 5

Профиль оценки: Baseline zero-shotЗадач в запуске: 5Опубликован: 21 августа 2026 г.Протокол запуска →

Качество: 62,0; 95% ДИ 46,9–77,2 · n = 5
Безопасность: 86,1; 95% ДИ 65,7–106,6 · n = 5
Надёжность: 55,4; 95% ДИ 39,2–71,5 · n = 5
Эффективность: 50,2; 95% ДИ 44,6–55,8 · n = 5
Покрытие: 100 %; 95% ДИ 52 %–73 % · n = 5

Профиль оценки: Агентный профильHarness: AgentScaffold (demo) 1.1.0Задач в запуске: 5Опубликован: 26 августа 2026 г.Протокол запуска →

№ 1
GromLM grom-2
DemoCloud RU
Демо
Качество
89,1
89,1
Б 82,5 · Н 72,6 · Э — · П 100 %
Правовое рассуждение (РФ) v1.0.0 · 20 августа 2026 г.
№ 1
TaigaLM taiga-2
OpenWeights Hub (demo)
Демо
Качество
—
—не измерено
Б 88,7 · Н 72,6 · Э — · П 100 %
Безопасность и устойчивость (RU) v1.0.0 · 27 августа 2026 г.
№ 1
GromLM grom-2
DemoCloud RU · RAGPipe (demo)
Демо
Качество
84,3
84,3
Б 93,5 · Н 73,9 · Э — · П 100 %
RAG и корректность цитирования (РФ) v1.0.0 · 24 августа 2026 г.
№ 1
MeridianLM meridian-1
OpenWeights Hub (demo) · CodeRunner (demo)
Демо
Качество
78,7
78,7
Б — · Н — · Э 49,3 · П 100 %
Генерация и отладка кода (RU) v1.0.0 · 25 августа 2026 г.
№ 1
ZaryaLM zarya-1
DemoCloud RU
Демо
Качество
75,5
75,5
Б — · Н 69,3 · Э — · П 100 %
Госуслуги и административные процедуры (РФ) v1.0.0 · 23 августа 2026 г.
№ 1
VolgaLM volga-3
DemoAI Platform
Демо
Качество
75,4
75,4
Б 88,1 · Н 73,1 · Э — · П 100 %
Медицинская безопасность и триаж (РФ) v1.0.0 · 22 августа 2026 г.
№ 2
GromLM grom-1
DemoCloud RU
Демо
Качество
70,4
70,4
Б 82,5 · Н 70,7 · Э — · П 100 %
Правовое рассуждение (РФ) v1.0.0 · 21 августа 2026 г.
№ 1
VectorLM vector-1
Samodelkin Labs (demo) · AgentScaffold (demo)
Демо
Качество
62,0
62,0
Б 86,1 · Н 55,4 · Э 50,2 · П 100 %
Агентные задачи с инструментами (RU) v1.0.0 · 26 августа 2026 г.

	1	TaigaLM taiga-2Демо OpenWeights Hub (demo) Безопасность и устойчивость (RU) v1.0.0 · 27 августа 2026 г.	—не измерено	88,7	72,6	—не измерено	100 %	Демо
Качество — ДИ не рассчитан Безопасность 88,7 95% ДИ 83,8–93,6 · n = 5 Надёжность 72,6 95% ДИ 61,4–83,7 · n = 5 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 81 %–89 % · n = 5 Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 27 августа 2026 г.Протокол запуска →

	1	GromLM grom-2Демо DemoCloud RU · RAGPipe (demo) 0.4.0 RAG и корректность цитирования (РФ) v1.0.0 · 24 августа 2026 г.	84,3	93,5	73,9	—не измерено	100 %	Демо
Качество 84,3 95% ДИ 73,2–95,5 · n = 5 Безопасность 93,5 95% ДИ 81,8–105,1 · n = 5 Надёжность 73,9 95% ДИ 53,8–94,0 · n = 5 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 74 %–94 % · n = 5 Профиль оценки: Агентный профильHarness: RAGPipe (demo) 0.4.0Задач в запуске: 5Опубликован: 24 августа 2026 г.Протокол запуска →

	1	MeridianLM meridian-1Демо OpenWeights Hub (demo) · CodeRunner (demo) 2.0.1 Генерация и отладка кода (RU) v1.0.0 · 25 августа 2026 г.	78,7	—не измерено	—не измерено	49,3	100 %	Демо
Качество 78,7 95% ДИ 65,6–91,8 · n = 5 Безопасность — ДИ не рассчитан Надёжность — ДИ не рассчитан Эффективность 49,3 95% ДИ 40,6–58,1 · n = 5 Покрытие 100 % 95% ДИ 63 %–86 % · n = 5 Профиль оценки: Агентный профильHarness: CodeRunner (demo) 2.0.1Задач в запуске: 5Опубликован: 25 августа 2026 г.Протокол запуска →

	1	ZaryaLM zarya-1Демо DemoCloud RU Госуслуги и административные процедуры (РФ) v1.0.0 · 23 августа 2026 г.	75,5	—не измерено	69,3	—не измерено	100 %	Демо
Качество 75,5 95% ДИ 63,2–87,8 · n = 5 Безопасность — ДИ не рассчитан Надёжность 69,3 95% ДИ 51,4–87,2 · n = 5 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 62 %–87 % · n = 5 Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 23 августа 2026 г.Протокол запуска →

	1	VolgaLM volga-3Демо DemoAI Platform Медицинская безопасность и триаж (РФ) v1.0.0 · 22 августа 2026 г.	75,4	88,1	73,1	—не измерено	100 %	Демо
Качество 75,4 95% ДИ 58,4–92,4 · n = 5 Безопасность 88,1 95% ДИ 80,8–95,5 · n = 5 Надёжность 73,1 95% ДИ 56,3–89,9 · n = 5 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 72 %–90 % · n = 5 Профиль оценки: Стандартный t=0.2Задач в запуске: 5Опубликован: 22 августа 2026 г.Протокол запуска →

	2	GromLM grom-1Демо DemoCloud RU Правовое рассуждение (РФ) v1.0.0 · 21 августа 2026 г.	70,4	82,5	70,7	—не измерено	100 %	Демо
Качество 70,4 95% ДИ 63,2–77,7 · n = 5 Безопасность 82,5 95% ДИ 60,2–104,7 · n = 5 Надёжность 70,7 95% ДИ 61,1–80,3 · n = 5 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 70 %–74 % · n = 5 Профиль оценки: Baseline zero-shotЗадач в запуске: 5Опубликован: 21 августа 2026 г.Протокол запуска →

	1	VectorLM vector-1Демо Samodelkin Labs (demo) · AgentScaffold (demo) 1.1.0 Агентные задачи с инструментами (RU) v1.0.0 · 26 августа 2026 г.	62,0	86,1	55,4	50,2	100 %	Демо
Качество 62,0 95% ДИ 46,9–77,2 · n = 5 Безопасность 86,1 95% ДИ 65,7–106,6 · n = 5 Надёжность 55,4 95% ДИ 39,2–71,5 · n = 5 Эффективность 50,2 95% ДИ 44,6–55,8 · n = 5 Покрытие 100 % 95% ДИ 52 %–73 % · n = 5 Профиль оценки: Агентный профильHarness: AgentScaffold (demo) 1.1.0Задач в запуске: 5Опубликован: 26 августа 2026 г.Протокол запуска →