НАБОР ЗАДАЧ
Этические суждения на русском языке
Отличие от оригинала: русскоязычный оригинал · подмножество
Этические суждения на русском языке
Набор изначально русскоязычный и запускается как есть, без перевода. Оценку ставит модель-судья строго по критериям набора; провенанс судьи (модель, версия, промпт) фиксируется на прогоне. Сколько задач вошло в прогон — указано в версии набора; пока опубликованных версий нет, чисел нет.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Эталонные суждения отражают позицию авторов набора, а не единственно верный ответ; результат читается как согласие с этой разметкой.
Набор публичен. Запоминание разметки возможно, но оценивается согласие с нормой, а не знание факта.
Hugging Face — MERA-evaluation/MERA (конфигурация ruethics)
MERA-evaluation · mit · дата обращения 3 сентября 2026 г.