Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
КАТЕГОРИЯ · предметная область
Генерация, отладка и ревью кода, задачи с русскоязычными постановками и комментариями.
2 набора · ведомость по области →
Набор · Программирование, Бизнес и предпринимательство, Поддержка клиентов
Многошаговые задачи агентов в русскоязычном окружении: планирование, вызовы инструментов, соблюдение ограничений, завершение задачи
v1.0.0 · 5 задач · 5 метрик · 1 запуск · обновлён 15 августа 2026 г.
Набор · Программирование
Задачи программирования с русскоязычными постановками: генерация по спецификации, отладка, ревью
v1.0.0 · 5 задач · 4 метрики · 1 запуск · обновлён 15 августа 2026 г.
Генерация и отладка кода (RU) v1.0.0
Агентные задачи с инструментами (RU) v1.0.0
Взвешенный по покрытию балл системы по текущим опубликованным версиям наборов области (SCORING.md §3.4). Балл показывается при покрытии не менее половины версий области; иначе — честное «мало данных».
MeridianLM meridian-1 + CodeRunner (demo)
покрыто 1 из 2 версий области (50 %)
VectorLM vector-1 + AgentScaffold (demo)
покрыто 1 из 2 версий области (50 %)
Сравнение 2 лучших систем области по шкале 0–100. Системы испытаны на разных версиях наборов — форма радара ориентировочная.
10
всего задач в текущих версиях наборов
8
публичных и отладочных (промпты открыты)
2
в закрытом holdout — защита от contamination