КАРТОЧКА · harness
MERA (Multimodal Evaluation for Russian-language Architectures) is a new open benchmark for the Russian language for evaluating fundamental models.
| Версия | Релиз | Поддерживаемые инструменты |
|---|---|---|
| v1.1.0 | 12 января 2024 г. | — |
Сравнимых пар пока нет: чтобы оценить влияние harness'а, нужны запуски одной и той же модели на одной и той же версии набора — с harness'ом и без него.
Дельта — разность баллов качества по шкале 0–100 в сравнимых парах. Положительная дельта означает, что обвязка помогла на этом наборе; переносить вывод на другие наборы нельзя.