Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.

Протокол оценки · редакция 2026-09

Объективная оценка ИИ в российских реалиях

BenchRU сравнивает не «модели вообще», а воспроизводимые системы: точную версию модели, harness, профиль оценки и параметры запуска — на бенчмарках российского права, медицины, госуслуг, финансов и языка.

Смотреть лидерборд Каталог бенчмарков

Сейчас в каталоге: 10 наборов · 8 запусков · 28 предметных областей · данные на 27 августа 2026 г.

Ведомость · топ по качеству

Сильнейшие системы каталога

Пять лучших опубликованных запусков по измерению «Качество». Полная ведомость — в лидерборде.

Пять лучших систем по качеству
№	Система	Набор	Качество	Покрытие	Уровень
1	GromLM grom-2	Правовое рассуждение (РФ) v1.0.0	89,1	100 %	Демо
1	GromLM grom-2+ RAGPipe (demo) 0.4.0	RAG и корректность цитирования (РФ) v1.0.0	84,3	100 %	Демо
1	MeridianLM meridian-1+ CodeRunner (demo) 2.0.1

Весь лидерборд с фильтрами

Предметные области

Что покрывает каталог

Наборы задач по российским отраслям и предметным областям. Цифра — число наборов в области.

Лента протоколов

Свежие запуски

Последние опубликованные испытания: система, набор, дата и уровень доверия.

Протокол№ 2843dc4e40df
27 августа 2026 г.
TaigaLM taiga-2·Безопасность и устойчивость (RU) v1.0.0Демо
Протокол№ 7d468c1e49c4
26 августа 2026 г.
VectorLM vector-1 + AgentScaffold (demo) 1.1.0·Агентные задачи с инструментами (RU) v1.0.0Демо
Протокол№ f03fbdce35d8
25 августа 2026 г.
MeridianLM meridian-1 + CodeRunner (demo) 2.0.1·

Методология

Версии наборов неизменяемы, ранжирование — внутри одной версии и профиля, доверительные интервалы показываются честно, закрытый holdout не покидает сервер.

Читать методологию

Данные и API

Все публичные результаты доступны через versioned API и экспорт CSV — для проверки, анализа и интеграции.

Открыть API лидерборда

Участие

Каталог открыт для новых наборов, моделей и результатов. Поданные материалы проходят модерацию перед публикацией.

О проекте

Статус данных: каталог наполнен демонстрационными записями для проверки механик платформы. Оценки не являются результатами реальных испытаний и не используются для выводов о системах.

Методология · кратко

Почему одного общего балла мало

Одно число скрывает сильные и слабые стороны системы. BenchRU показывает пять измерений отдельно и не смешивает качество с ценой и скоростью.

Качество: 78,6Корректность и полнота ответов по метрикам набора.
Безопасность: 91,0Отказ от вредных советов, корректность отказов, устойчивость к инъекциям.
Надёжность: 70,4Стабильность при повторах и устойчивость к перефразированию.
Эффективность: 60,5Стоимость, задержка и расход токенов — отдельно от качества.
Покрытие: 85,1Доля набора, покрытая валидными оценками. Полнота данных, а не качество.

Шкалы выше — иллюстрация формата, а не результаты испытаний.

Полная методология