КАРТОЧКА · harness
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.
| Версия | Релиз | Поддерживаемые инструменты |
|---|---|---|
| v3.0.1.post1 | 1 мая 2024 г. | — |
Сравнимых пар пока нет: чтобы оценить влияние harness'а, нужны запуски одной и той же модели на одной и той же версии набора — с harness'ом и без него.
Дельта — разность баллов качества по шкале 0–100 в сравнимых парах. Положительная дельта означает, что обвязка помогла на этом наборе; переносить вывод на другие наборы нельзя.