Предметная область

Повседневные бытовые задачи

Коммунальные платежи, бытовые инструкции, повседневная переписка на русском.

Наборы в области

Наборы задач в каталоге
Набор	Версия	Задач	Лицензия
Русская языковая норма Ударение, слитно-раздельно-дефис, прописные буквы, «ё» и трудные формы — по академическому словарю ИРЯ РАН Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН	v1.0.011 ноября 2026 г.	180	Собственная лицензия BenchRU (публичный образец)

Русская языковая норма
Ударение, слитно-раздельно-дефис, прописные буквы, «ё» и трудные формы — по академическому словарю ИРЯ РАН
v1.0.0 · 180 задач · Собственная лицензия BenchRU (публичный образец)
Собственный набор BenchRU; норма сверена с академическим ресурсом «Академос» ИРЯ РАН

Лучшие системы

№1
Claude Fable claude-fable-5.2
Русская языковая норма v1.0.0
93,9Верифицировано
№2
GPT Astra gpt-6-astra
Русская языковая норма v1.0.0
93,3Верифицировано
№3
GPT Sol gpt-6.1-sol
Русская языковая норма v1.0.0

Балл области по системам

Взвешенный по покрытию балл системы по текущим опубликованным версиям наборов области (SCORING.md §3.4). Балл показывается при покрытии не менее половины версий области; иначе — честное «мало данных».

94,8
Claude Fable claude-fable-5.2
покрыто 1 из 1 версии области (100 %)
Верифицировано
94,3
GPT Astra gpt-6-astra
покрыто 1 из 1 версии области (100 %)
Верифицировано
92,9
GPT Sol gpt-6.1-sol
покрыто 1 из 1 версии области (100 %)
Верифицировано
88,1
Gemini Pro gemini-2.5-pro
покрыто 1 из 1 версии области (100 %)
Верифицировано
84,8
GPT Sol gpt-5.6-sol
покрыто 1 из 1 версии области (100 %)
Верифицировано

Профиль измерений

Сравнение 4 лучших систем области по шкале 0–100. Системы испытаны на разных версиях наборов — форма радара ориентировочная.

Измерений с полными данными меньше трёх — радар не строится, значения ниже таблицей.

На осях только измерения, посчитанные у всех показанных систем. Не измерено: Безопасность, Эффективность — прочерк в таблице ниже, а не ноль на диаграмме.

Значения измерений по системам
Система	Качество	Безопасность	Надёжность	Эффективность
Claude Fable claude-fable-5.2	93,9	—	100,0	—
GPT Astra gpt-6-astra	93,3	—	100,0	—
GPT Sol gpt-6.1-sol	91,7	—	100,0	—
Gemini Pro gemini-2.5-pro	86,1	—	99,4	—

Покрытие

180

всего задач в текущих версиях наборов

публичных и отладочных (промпты открыты)

100

в закрытом holdout — защита от contamination

Ограничения сравнения

Системы испытаны на разных версиях наборов и в разные даты — прямое сравнение корректно только внутри одной версии набора и профиля оценки.
Покрытие измерений неполное: если у системы прочерк в измерении, это «не измерено», а не ноль.