Ведомость испытаний

Ранжирование опубликованных запусков. Данные на 11 ноября 2026 г. Рейтинг корректен внутри одной версии набора и профиля оценки.

Набор

Версия

Домен: Повседневные бытовые задачи

Способность

Провайдер

22 запуска

на страницеЭкспорт CSV

Набор один, а профили оценки разные (API, рассуждение включено, temperature=0, API, прямой ответ, temperature=0): условия измерения различались, места сравнивать напрямую нельзя.

У всех строк один уровень доверия — «Верифицировано»: колонка убрана, значение осталось в паспорте запуска.

Безопасность и эффективность не измерялись ни в одном запуске выборки: колонки убраны. Прочерк означал бы отсутствие измерения, а читался бы нулём.

Лидерборд: ранжирование систем по измерениям качества, безопасности, надёжности, эффективности и покрытия
Подробности запуска	№	Система	Качество	Надёжность	Цена / 1 млн	Покрытие

Качество 93,9 95% ДИ 89,4–96,6 · n = 180 Безопасность — ДИ не рассчитан Надёжность 100,0 95% ДИ 97,9–100,0 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 92 %–98 % · n = 180 Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 40,00 $ / 1 млн вывода · GoogleОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 93,3; 95% ДИ 88,7–96,1 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 100,0; 95% ДИ 97,9–100,0 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 91 %–97 % · n = 180

Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 91,7; 95% ДИ 86,7–94,9 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 100,0; 95% ДИ 97,9–100,0 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 89 %–96 % · n = 180

Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 86,1; 95% ДИ 80,3–90,4 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 99,4; 95% ДИ 96,9–99,9 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 84 %–92 % · n = 180

Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · Google AI StudioОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 82,2; 95% ДИ 76,0–87,1 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 99,4; 95% ДИ 96,9–99,9 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 80 %–90 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 82,2; 95% ДИ 76,0–87,1 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 96,1; 95% ДИ 92,2–98,1 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 79 %–89 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 74,4; 95% ДИ 67,6–80,3 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 100,0; 95% ДИ 97,9–100,0 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 73 %–84 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 9,34 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 71,1; 95% ДИ 64,1–77,2 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 98,3; 95% ДИ 95,2–99,4 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 69 %–81 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 70,6; 95% ДИ 63,5–76,7 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 98,9; 95% ДИ 96,0–99,7 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 69 %–81 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 68,3; 95% ДИ 61,2–74,7 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 97,8; 95% ДИ 94,4–99,1 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 67 %–79 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 67,2; 95% ДИ 60,1–73,7 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 85,0; 95% ДИ 79,1–89,5 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 64 %–76 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,14 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 65,0; 95% ДИ 57,8–71,6 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 92,2; 95% ДИ 87,4–95,3 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 63 %–75 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 63,3; 95% ДИ 56,1–70,0 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 80,0; 95% ДИ 73,6–85,2 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 59 %–72 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,47 $ / 1 млн вывода · AlibabaОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 55,6; 95% ДИ 48,3–62,6 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 62,2; 95% ДИ 55,0–69,0 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 50 %–64 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 55,0; 95% ДИ 47,7–62,1 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 76,1; 95% ДИ 69,4–81,8 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 51 %–65 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 50,6; 95% ДИ 43,3–57,8 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 71,1; 95% ДИ 64,1–77,2 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 47 %–61 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,59 $ / 1 млн вывода · PrimeIntellectОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 50,0; 95% ДИ 42,8–57,2 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 70,0; 95% ДИ 62,9–76,2 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 46 %–60 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,31 $ / 1 млн вывода · GMICloudОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 44,4; 95% ДИ 37,4–51,7 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 66,7; 95% ДИ 59,5–73,1 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 41 %–55 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,88 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 38,9; 95% ДИ 32,1–46,2 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 68,9; 95% ДИ 61,8–75,2 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 37 %–50 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,55 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 33,9; 95% ДИ 27,4–41,1 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 61,1; 95% ДИ 53,8–67,9 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 31 %–44 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,20 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 33,9; 95% ДИ 27,4–41,1 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 55,6; 95% ДИ 48,3–62,6 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 30 %–44 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

Качество: 29,4; 95% ДИ 23,3–36,5 · n = 180
Безопасность: —; ДИ не рассчитан
Надёжность: 50,0; 95% ДИ 42,8–57,2 · n = 180
Эффективность: —; ДИ не рассчитан
Покрытие: 100 %; 95% ДИ 26 %–39 % · n = 180

Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,32 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

№ 1
Claude Fable claude-fable-5.2
OpenRouter
Верифицировано
Качество
93,9
Н 100,0 · П 100 % · 40,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 2
GPT Astra gpt-6-astra
OpenRouter
Верифицировано
Качество
93,3
Н 100,0 · П 100 % · 25,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 3
GPT Sol gpt-6.1-sol
OpenRouter
Верифицировано
Качество
91,7
Н 100,0 · П 100 % · 5,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 4
Gemini Pro gemini-2.5-pro
Верифицировано
Качество
86,1
Н 99,4 · П 100 % · 5,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 5
GPT Sol gpt-5.6-sol
OpenRouter
Верифицировано
Качество
82,2
Н 99,4 · П 100 % · 10,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 5
DeepSeek Pro deepseek-v4-pro-0813
OpenRouter
Верифицировано
Качество
82,2
Н 96,1 · П 100 % · 1,98 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 7
Kimi K3 kimi-k3
OpenRouter
Верифицировано
Качество
74,4
Н 100,0 · П 100 % · 9,34 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 8
Claude Sonnet claude-sonnet-5
Верифицировано
Качество
71,1
Н 98,3 · П 100 % · 10,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 9
GPT Luna gpt-5.6-luna
OpenRouter
Верифицировано
Качество
70,6
Н 98,9 · П 100 % · 0,60 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 10
Gemma 31B gemma-4-31b-it
OpenRouter
Верифицировано
Качество
68,3
Н 97,8 · П 100 % · 0,10 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 11
DeepSeek Flash deepseek-v4-flash-0731
OpenRouter
Верифицировано
Качество
67,2
Н 85,0 · П 100 % · 0,14 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 12
GPT gpt-5.1
Верифицировано
Качество
65,0
Н 92,2 · П 100 % · 5,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 13
Qwen3.8 Flash qwen3.8-flash
OpenRouter
Верифицировано
Качество
63,3
Н 80,0 · П 100 % · 0,47 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 14
Claude Opus claude-opus-5
OpenRouter
Верифицировано
Качество
55,6
Н 62,2 · П 100 % · 25,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 15
Claude Haiku claude-haiku-4.5
OpenRouter
Верифицировано
Качество
55,0
Н 76,1 · П 100 % · 5,00 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 16
Qwen3.8 27B qwen3.8-27b
OpenRouter
Верифицировано
Качество
50,6
Н 71,1 · П 100 % · 0,59 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 17
DeepSeek deepseek-v3.2
Верифицировано
Качество
50,0
Н 70,0 · П 100 % · 0,31 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 18
MiniMax M3 minimax-m3
OpenRouter
Верифицировано
Качество
44,4
Н 66,7 · П 100 % · 0,88 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 19
Qwen3 235B A22B Instruct qwen3-235b-a22b-2507
Верифицировано
Качество
38,9
Н 68,9 · П 100 % · 0,55 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 20
Mistral Small 24B mistral-small-3.2-24b-instruct
Верифицировано
Качество
33,9
Н 61,1 · П 100 % · 0,20 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 20
GPT-4o-mini gpt-4o-mini
Верифицировано
Качество
33,9
Н 55,6 · П 100 % · 0,60 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН
№ 22
Llama 70B Instruct llama-3.3-70b-instruct
Верифицировано
Качество
29,4
Н 50,0 · П 100 % · 0,32 $/1 млн
Русская языковая норма v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН

на страницеЭкспорт CSV

	2	GPT Astra gpt-6-astra Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	93,395% ДИ 88,7–96,1	100,0	25,00 $	100 %
Качество 93,3 95% ДИ 88,7–96,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 100,0 95% ДИ 97,9–100,0 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 91 %–97 % · n = 180 Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

	3	GPT Sol gpt-6.1-sol Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	91,795% ДИ 86,7–94,9	100,0	5,00 $	100 %
Качество 91,7 95% ДИ 86,7–94,9 · n = 180 Безопасность — ДИ не рассчитан Надёжность 100,0 95% ДИ 97,9–100,0 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 89 %–96 % · n = 180 Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

	4	Gemini Pro gemini-2.5-pro Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	86,195% ДИ 80,3–90,4	99,4	5,00 $	100 %
Качество 86,1 95% ДИ 80,3–90,4 · n = 180 Безопасность — ДИ не рассчитан Надёжность 99,4 95% ДИ 96,9–99,9 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 84 %–92 % · n = 180 Профиль оценки: API, рассуждение включено, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · Google AI StudioОпубликован: 11 ноября 2026 г.Протокол запуска →

	5	GPT Sol gpt-5.6-sol Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	82,295% ДИ 76,0–87,1	99,4	10,00 $	100 %
Качество 82,2 95% ДИ 76,0–87,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 99,4 95% ДИ 96,9–99,9 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 80 %–90 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

	5	DeepSeek Pro deepseek-v4-pro-0813 Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	82,295% ДИ 76,0–87,1	96,1	1,98 $	100 %
Качество 82,2 95% ДИ 76,0–87,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 96,1 95% ДИ 92,2–98,1 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 79 %–89 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска →

	7	Kimi K3 kimi-k3 Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	74,495% ДИ 67,6–80,3	100,0	9,34 $	100 %
Качество 74,4 95% ДИ 67,6–80,3 · n = 180 Безопасность — ДИ не рассчитан Надёжность 100,0 95% ДИ 97,9–100,0 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 73 %–84 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 9,34 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска →

	8	Claude Sonnet claude-sonnet-5 Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	71,195% ДИ 64,1–77,2	98,3	10,00 $	100 %
Качество 71,1 95% ДИ 64,1–77,2 · n = 180 Безопасность — ДИ не рассчитан Надёжность 98,3 95% ДИ 95,2–99,4 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 69 %–81 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска →

	9	GPT Luna gpt-5.6-luna Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	70,695% ДИ 63,5–76,7	98,9	0,60 $	100 %
Качество 70,6 95% ДИ 63,5–76,7 · n = 180 Безопасность — ДИ не рассчитан Надёжность 98,9 95% ДИ 96,0–99,7 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 69 %–81 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

	10	Gemma 31B gemma-4-31b-it Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	68,395% ДИ 61,2–74,7	97,8	0,10 $	100 %
Качество 68,3 95% ДИ 61,2–74,7 · n = 180 Безопасность — ДИ не рассчитан Надёжность 97,8 95% ДИ 94,4–99,1 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 67 %–79 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска →

	11	DeepSeek Flash deepseek-v4-flash-0731 Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	67,295% ДИ 60,1–73,7	85,0	0,14 $	100 %
Качество 67,2 95% ДИ 60,1–73,7 · n = 180 Безопасность — ДИ не рассчитан Надёжность 85,0 95% ДИ 79,1–89,5 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 64 %–76 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,14 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска →

	12	GPT gpt-5.1 Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	65,095% ДИ 57,8–71,6	92,2	5,00 $	100 %
Качество 65,0 95% ДИ 57,8–71,6 · n = 180 Безопасность — ДИ не рассчитан Надёжность 92,2 95% ДИ 87,4–95,3 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 63 %–75 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

	13	Qwen3.8 Flash qwen3.8-flash Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	63,395% ДИ 56,1–70,0	80,0	0,47 $	100 %
Качество 63,3 95% ДИ 56,1–70,0 · n = 180 Безопасность — ДИ не рассчитан Надёжность 80,0 95% ДИ 73,6–85,2 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 59 %–72 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,47 $ / 1 млн вывода · AlibabaОпубликован: 11 ноября 2026 г.Протокол запуска →

	14	Claude Opus claude-opus-5 Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	55,695% ДИ 48,3–62,6	62,2	25,00 $	100 %
Качество 55,6 95% ДИ 48,3–62,6 · n = 180 Безопасность — ДИ не рассчитан Надёжность 62,2 95% ДИ 55,0–69,0 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 50 %–64 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 25,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска →

	15	Claude Haiku claude-haiku-4.5 Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	55,095% ДИ 47,7–62,1	76,1	5,00 $	100 %
Качество 55,0 95% ДИ 47,7–62,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 76,1 95% ДИ 69,4–81,8 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 51 %–65 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

	16	Qwen3.8 27B qwen3.8-27b Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	50,695% ДИ 43,3–57,8	71,1	0,59 $	100 %
Качество 50,6 95% ДИ 43,3–57,8 · n = 180 Безопасность — ДИ не рассчитан Надёжность 71,1 95% ДИ 64,1–77,2 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 47 %–61 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,59 $ / 1 млн вывода · PrimeIntellectОпубликован: 11 ноября 2026 г.Протокол запуска →

	17	DeepSeek deepseek-v3.2 Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	50,095% ДИ 42,8–57,2	70,0	0,31 $	100 %
Качество 50,0 95% ДИ 42,8–57,2 · n = 180 Безопасность — ДИ не рассчитан Надёжность 70,0 95% ДИ 62,9–76,2 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 46 %–60 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,31 $ / 1 млн вывода · GMICloudОпубликован: 11 ноября 2026 г.Протокол запуска →

	18	MiniMax M3 minimax-m3 Русская языковая норма v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	44,495% ДИ 37,4–51,7	66,7	0,88 $	100 %
Качество 44,4 95% ДИ 37,4–51,7 · n = 180 Безопасность — ДИ не рассчитан Надёжность 66,7 95% ДИ 59,5–73,1 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 41 %–55 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,88 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	19	Qwen3 235B A22B Instruct qwen3-235b-a22b-2507 Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	38,995% ДИ 32,1–46,2	68,9	0,55 $	100 %
Качество 38,9 95% ДИ 32,1–46,2 · n = 180 Безопасность — ДИ не рассчитан Надёжность 68,9 95% ДИ 61,8–75,2 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 37 %–50 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,55 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	20	Mistral Small 24B mistral-small-3.2-24b-instruct Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	33,995% ДИ 27,4–41,1	61,1	0,20 $	100 %
Качество 33,9 95% ДИ 27,4–41,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 61,1 95% ДИ 53,8–67,9 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 31 %–44 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,20 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	20	GPT-4o-mini gpt-4o-mini Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	33,995% ДИ 27,4–41,1	55,6	0,60 $	100 %
Качество 33,9 95% ДИ 27,4–41,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 55,6 95% ДИ 48,3–62,6 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 30 %–44 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

	22	Llama 70B Instruct llama-3.3-70b-instruct Русская языковая норма v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	29,495% ДИ 23,3–36,5	50,0	0,32 $	100 %
Качество 29,4 95% ДИ 23,3–36,5 · n = 180 Безопасность — ДИ не рассчитан Надёжность 50,0 95% ДИ 42,8–57,2 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 26 %–39 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,32 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →