КАТЕГОРИЯ · предметная область
Повседневные бытовые задачи
Коммунальные платежи, бытовые инструкции, повседневная переписка на русском.
1 набор · ведомость по области →
Покрытие
5
всего задач в текущих версиях наборов
4
публичных и отладочных (промпты открыты)
1
в закрытом holdout — защита от contamination
Ограничения сравнения
- Системы испытаны на разных версиях наборов и в разные даты — прямое сравнение корректно только внутри одной версии набора и профиля оценки.
- Покрытие измерений неполное: если у системы прочерк в измерении, это «не измерено», а не ноль.
- Текущее наполнение области — демонстрационные данные; выводы о реальных системах по ним делать нельзя.