КАТАЛОГ · harness'ы
Мы испытываем не только «голые» модели, но и связки «модель + harness»: агентные обвязки меняют результат, и это видно в протоколах.
| Harness | Версия | Обновлён | Лицензия | Версий |
|---|---|---|---|---|
| HELM Holistic Evaluation of Language Models (HELM) is an open source Python framework created by the Center for Research on Foundation Models (CRFM) at Stanford for holistic, reproducible and transparent evaluation of foundation models, including large language models (LLMs) and multimodal models. | v0.5.16 | 30 апреля 2026 г. | Apache-2.0 | 1 |
| Inspect Inspect: A framework for large language model evaluations | v0.3.262 | 3 сентября 2026 г. | MIT | 1 |
| lm-evaluation-harness A framework for few-shot evaluation of language models. | v0.4.13 | 31 августа 2026 г. | MIT | 1 |
| MERA MERA (Multimodal Evaluation for Russian-language Architectures) is a new open benchmark for the Russian language for evaluating fundamental models. | v1.1.0 | 12 января 2024 г. | MIT | 1 |
| Без harness — прямой вызов модели Прогон без обвязки: промпт отправляется модели напрямую — через чат-интерфейс или вызов API, без инструментов, retrieval и агентных шагов. | direct | — | — | 1 |
| OpenAI Evals Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks. | v3.0.1.post1 | 1 мая 2024 г. | — | 1 |
| OpenCompass OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets. | v0.5.4 | 26 августа 2026 г. | Apache-2.0 | 1 |
| promptfoo Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic. | v0.122.2 | 28 августа 2026 г. | MIT | 1 |
HELM v0.5.16
Holistic Evaluation of Language Models (HELM) is an open source Python framework created by the Center for Research on Foundation Models (CRFM) at Stanford for holistic, reproducible and transparent evaluation of foundation models, including large language models (LLMs) and multimodal models.
1 версия · обновлён 30 апреля 2026 г. · Apache-2.0
Inspect v0.3.262
Inspect: A framework for large language model evaluations
1 версия · обновлён 3 сентября 2026 г. · MIT
lm-evaluation-harness v0.4.13
A framework for few-shot evaluation of language models.
1 версия · обновлён 31 августа 2026 г. · MIT
MERA v1.1.0
MERA (Multimodal Evaluation for Russian-language Architectures) is a new open benchmark for the Russian language for evaluating fundamental models.
1 версия · обновлён 12 января 2024 г. · MIT
Без harness — прямой вызов модели direct
Прогон без обвязки: промпт отправляется модели напрямую — через чат-интерфейс или вызов API, без инструментов, retrieval и агентных шагов.
Исходный код каждого harness'а — в карточке, раздел «Репозиторий».
1 версия