Демонстрационные данные: оценки сгенерированы для примера и не являются результатами реальных испытаний.
Набор задач · редакция 2026-09 · текущая версия v1.0.0
Задачи программирования с русскоязычными постановками: генерация по спецификации, отладка, ревью
Задачи программирования с русскоязычными постановками: генерация по спецификации, отладка, ревью. Проверка — юнит-тестами и исполнением в песочнице; фиксируются pass@k и pass^k.
| № | Система | Качество | Покрытие | Уровень |
|---|---|---|---|---|
| 1 | MeridianLM meridian-1+ CodeRunner (demo) 2.0.1 | 78,7 | 100 % | Демо |
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| pass@1 (юнит-тесты), доля 0–1 | Качество | 0,5 | — | больше |
| pass@3 (юнит-тесты), доля 0–1 | Качество | 0,2 | — | больше |
| Качество ревью (рубрика), доля 0–1 | Качество | 0,2 | — | больше |
| Медианная задержка ответа, сек | Эффективность | 0,2 | 0,2…30,0 | меньше |
Показаны 3 задачи из публичного образца. Закрытый holdout не публикуется — известно только число задач.
Задача № 1 · задача на код · публичный образец · демо
УЧЕБНАЯ ЗАДАЧА. Реализуйте на Python функцию format_tax_id(digits: str) -> str: принимает строку из 12 цифр и возвращает её в формате «XXXX XXXX XXXX»; для любой другой строки выбрасывает ValueError. Примеры: «123456789012» → «1234 5678 9012».
Задача № 4 · задача на код · публичный образец · демо
УЧЕБНАЯ ЗАДАЧА. Реализуйте на Python функцию parse_ru_date(text: str) -> str: принимает дату в формате «ДД.ММ.ГГГГ» и возвращает ISO 8601 «ГГГГ-ММ-ДД»; для некорректной строки выбрасывает ValueError. Пример: «05.09.2026» → «2026-09-05».
Задача № 5 · задача на код · публичный образец · демо
УЧЕБНАЯ ЗАДАЧА. Реализуйте функцию plural(n: int, forms: tuple[str, str, str]) -> str для русских счётных форм: forms = («задача», «задачи», «задач»); правила: 1 → «задача», 2–4 → «задачи», 5–20 → «задач», исключения 11–14 → «задач». Пример: plural(3, forms) → «задачи».
## Методология (демо) Split-политика: public 20% / development 30% / private holdout 50%. Задачи авторские; периодическая ротация против выучивания. Измерения риска: hallucination, robustness-paraphrase-typo. Все кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.
Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».
Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.
Методология и состав набора «Генерация и отладка кода (RU)» (демо)
BenchRU Demo Lab · Демонстрационные синтетические данные · дата обращения 2 сентября 2026 г.