Лидерборд

Лидерборд: ранжирование систем по измерениям качества, безопасности, надёжности, эффективности и покрытия
Подробности запуска	Система	Качество	Надёжность	Цена / 1 млн	Покрытие

Качество 56,7 95% ДИ 49,4–63,7 · n = 180 Безопасность — ДИ не рассчитан Надёжность 93,3 95% ДИ 88,7–96,1 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 56 %–69 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска →

GPT Luna gpt-5.6-luna

OpenRouter

Верифицировано

Качество

56,7

Н 93,3 · П 100 % · 0,60 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Qwen3 235B A22B Instruct qwen3-235b-a22b-2507

Верифицировано

Качество

56,7

Н 97,8 · П 100 % · 0,55 $/1 млн

Оформление служебных документов v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Qwen3.8 Flash qwen3.8-flash

OpenRouter

Верифицировано

Качество

53,9

Н 98,3 · П 100 % · 0,47 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Gemma 31B gemma-4-31b-it

OpenRouter

Верифицировано

Качество

52,8

Н 95,0 · П 100 % · 0,10 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

DeepSeek Flash deepseek-v4-flash-0731

OpenRouter

Верифицировано

Качество

51,7

Н 97,2 · П 100 % · 0,14 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Llama 70B Instruct llama-3.3-70b-instruct

Верифицировано

Качество

51,7

Н 98,9 · П 100 % · 0,32 $/1 млн

Оформление служебных документов v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Qwen3.8 27B qwen3.8-27b

OpenRouter

Верифицировано

Качество

51,1

Н 97,2 · П 100 % · 0,59 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Qwen3 235B A22B Instruct qwen3-235b-a22b-2507

Верифицировано

Качество

48,9

Н 95,0 · П 100 % · 0,55 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

MiniMax M3 minimax-m3

OpenRouter

Верифицировано

Качество

48,3

Н 93,9 · П 100 % · 0,88 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

DeepSeek deepseek-v3.2

Верифицировано

Качество

47,2

Н 97,2 · П 100 % · 0,31 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Claude Haiku claude-haiku-4.5

OpenRouter

Верифицировано

Качество

46,7

Н 95,0 · П 100 % · 5,00 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Llama 70B Instruct llama-3.3-70b-instruct

Верифицировано

Качество

45,0

Н 95,6 · П 100 % · 0,32 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

GPT-4o-mini gpt-4o-mini

Верифицировано

Качество

43,9

Н 91,7 · П 100 % · 0,60 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Mistral Large mistral-large-2512

OpenRouter

Верифицировано

Качество

43,3

Н 93,9 · П 100 % · 1,50 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Mistral Small 24B mistral-small-3.2-24b-instruct

Верифицировано

Качество

42,8

Н 96,7 · П 100 % · 0,20 $/1 млн

Оформление служебных документов v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

GPT-4o-mini gpt-4o-mini

Верифицировано

Качество

42,8

Н 96,7 · П 100 % · 0,60 $/1 млн

Оформление служебных документов v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

Mistral Small 24B mistral-small-3.2-24b-instruct

Верифицировано

Качество

37,2

Н 86,7 · П 100 % · 0,20 $/1 млн

Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г.
Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации

	Qwen3 235B A22B Instruct qwen3-235b-a22b-2507 Оформление служебных документов v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	56,795% ДИ 49,4–63,7	97,8	0,55 $	100 %
Качество 56,7 95% ДИ 49,4–63,7 · n = 180 Безопасность — ДИ не рассчитан Надёжность 97,8 95% ДИ 94,4–99,1 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 57 %–69 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,55 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	Qwen3.8 Flash qwen3.8-flash Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	53,995% ДИ 46,6–61,0	98,3	0,47 $	100 %
Качество 53,9 95% ДИ 46,6–61,0 · n = 180 Безопасность — ДИ не рассчитан Надёжность 98,3 95% ДИ 95,2–99,4 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 54 %–67 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,47 $ / 1 млн вывода · AlibabaОпубликован: 11 ноября 2026 г.Протокол запуска →

	Gemma 31B gemma-4-31b-it Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	52,895% ДИ 45,5–59,9	95,0	0,10 $	100 %
Качество 52,8 95% ДИ 45,5–59,9 · n = 180 Безопасность — ДИ не рассчитан Надёжность 95,0 95% ДИ 90,8–97,3 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 53 %–65 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска →

	DeepSeek Flash deepseek-v4-flash-0731 Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	51,795% ДИ 44,4–58,9	97,2	0,14 $	100 %
Качество 51,7 95% ДИ 44,4–58,9 · n = 180 Безопасность — ДИ не рассчитан Надёжность 97,2 95% ДИ 93,7–98,8 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 52 %–65 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,14 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска →

	Llama 70B Instruct llama-3.3-70b-instruct Оформление служебных документов v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	51,795% ДИ 44,4–58,9	98,9	0,32 $	100 %
Качество 51,7 95% ДИ 44,4–58,9 · n = 180 Безопасность — ДИ не рассчитан Надёжность 98,9 95% ДИ 96,0–99,7 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 52 %–65 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,32 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	Qwen3.8 27B qwen3.8-27b Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	51,195% ДИ 43,9–58,3	97,2	0,59 $	100 %
Качество 51,1 95% ДИ 43,9–58,3 · n = 180 Безопасность — ДИ не рассчитан Надёжность 97,2 95% ДИ 93,7–98,8 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 52 %–64 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,59 $ / 1 млн вывода · PrimeIntellectОпубликован: 11 ноября 2026 г.Протокол запуска →

	Qwen3 235B A22B Instruct qwen3-235b-a22b-2507 Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	48,995% ДИ 41,7–56,1	95,0	0,55 $	100 %
Качество 48,9 95% ДИ 41,7–56,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 95,0 95% ДИ 90,8–97,3 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 50 %–62 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,55 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	MiniMax M3 minimax-m3 Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	48,395% ДИ 41,1–55,6	93,9	0,88 $	100 %
Качество 48,3 95% ДИ 41,1–55,6 · n = 180 Безопасность — ДИ не рассчитан Надёжность 93,9 95% ДИ 89,4–96,6 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 49 %–62 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,88 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	DeepSeek deepseek-v3.2 Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	47,295% ДИ 40,1–54,5	97,2	0,31 $	100 %
Качество 47,2 95% ДИ 40,1–54,5 · n = 180 Безопасность — ДИ не рассчитан Надёжность 97,2 95% ДИ 93,7–98,8 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 48 %–61 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,31 $ / 1 млн вывода · GMICloudОпубликован: 11 ноября 2026 г.Протокол запуска →

	Claude Haiku claude-haiku-4.5 Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	46,795% ДИ 39,5–53,9	95,0	5,00 $	100 %
Качество 46,7 95% ДИ 39,5–53,9 · n = 180 Безопасность — ДИ не рассчитан Надёжность 95,0 95% ДИ 90,8–97,3 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 48 %–60 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

	Llama 70B Instruct llama-3.3-70b-instruct Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	45,095% ДИ 37,9–52,3	95,6	0,32 $	100 %
Качество 45,0 95% ДИ 37,9–52,3 · n = 180 Безопасность — ДИ не рассчитан Надёжность 95,6 95% ДИ 91,5–97,7 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 46 %–59 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,32 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	GPT-4o-mini gpt-4o-mini Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	43,995% ДИ 36,8–51,2	91,7	0,60 $	100 %
Качество 43,9 95% ДИ 36,8–51,2 · n = 180 Безопасность — ДИ не рассчитан Надёжность 91,7 95% ДИ 86,7–94,9 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 45 %–57 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

	Mistral Large mistral-large-2512 Государственная услуга по регламенту v1.0.0 · OpenRouter · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	43,395% ДИ 36,3–50,6	93,9	1,50 $	100 %
Качество 43,3 95% ДИ 36,3–50,6 · n = 180 Безопасность — ДИ не рассчитан Надёжность 93,9 95% ДИ 89,4–96,6 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 45 %–57 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,50 $ / 1 млн вывода · MistralОпубликован: 11 ноября 2026 г.Протокол запуска →

	Mistral Small 24B mistral-small-3.2-24b-instruct Оформление служебных документов v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	42,895% ДИ 35,8–50,1	96,7	0,20 $	100 %
Качество 42,8 95% ДИ 35,8–50,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 96,7 95% ДИ 92,9–98,5 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 45 %–57 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,20 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →

	GPT-4o-mini gpt-4o-mini Оформление служебных документов v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	42,895% ДИ 35,8–50,1	96,7	0,60 $	100 %
Качество 42,8 95% ДИ 35,8–50,1 · n = 180 Безопасность — ДИ не рассчитан Надёжность 96,7 95% ДИ 92,9–98,5 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 45 %–57 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · AzureОпубликован: 11 ноября 2026 г.Протокол запуска →

	Mistral Small 24B mistral-small-3.2-24b-instruct Государственная услуга по регламенту v1.0.0 · 11 ноября 2026 г. Собственный набор BenchRU; требования сверены с текстом акта на официальном портале правовой информации	37,295% ДИ 30,5–44,5	86,7	0,20 $	100 %
Качество 37,2 95% ДИ 30,5–44,5 · n = 180 Безопасность — ДИ не рассчитан Надёжность 86,7 95% ДИ 80,9–90,9 · n = 180 Эффективность — ДИ не рассчитан Покрытие 100 % 95% ДИ 38 %–51 % · n = 180 Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,20 $ / 1 млн вывода · DeepInfraОпубликован: 11 ноября 2026 г.Протокол запуска →