Методология · версия 1.0
BenchRU публикует и ранжирует только конкретные запуски — не «модели вообще». Здесь — краткая версия правил; точные формулы и пороги зафиксированы в документации скоринга.
Балл получает система под тестом: точная версия модели, провайдер или локальное окружение, harness и его версия, профиль оценки (system prompt или его хеш, температура, seed, лимиты контекста, инструменты). Название модели без состава системы и конфигурации ничего не гарантирует, поэтому в лидерборде всегда виден полный состав.
Качество, цена и скорость не смешиваются в непрозрачный балл. Сводный BenchRU Overall существует, но его формула публична (0,55·Качество + 0,15·Надёжность + 0,20·Безопасность + 0,10·Эффективность), а при недостаточном покрытии он не вычисляется вовсе.
Уровень влияет на клеймо и фильтры, но никогда не изменяет сырой балл. Повышение и понижение уровня фиксируются в истории запуска.
Ранжирование корректно только внутри одной версии набора, одного профиля оценки и совместимых настроек запуска. Если выборка смешивает версии или профили, интерфейс предупреждает об этом, а не создаёт ложную точность. Опубликованные версии наборов неизменяемы; значимые изменения выпускаются новой версией, старые остаются с пометкой «заменена».
Значительная часть веса каждого набора — закрытые задачи: их промпты, эталонные ответы и рубрики судьи не покидают сервер и не попадают в API, экспорт и клиентский код. Дополнительно используются ротация версий, задачи-«канарейки» и вывод скомпрометированных задач с указанием причины.
Для агрегатов публикуются число задач, среднее, медиана, стандартное отклонение и доверительный интервал 95% (Wilson для долей, t-интервал для средних). При недостатке данных балл скрывается или помечается «мало данных» — мы не изображаем уверенность, которой нет.
Баллы измеряют поведение системы на конкретном наборе и конфигурации, а не «общий интеллект модели». Демонстрационные результаты иллюстрируют работу платформы и не заявляются как научно валидированные. Контент и результаты бенчмарков не являются юридической или медицинской консультацией.