{"data":{"suite":{"slug":"ru-code-tasks","name":"Генерация и отладка кода (RU)","tagline":"Задачи программирования с русскоязычными постановками: генерация по спецификации, отладка, ревью","description":"Задачи программирования с русскоязычными постановками: генерация по спецификации, отладка, ревью. Проверка — юнит-тестами и исполнением в песочнице; фиксируются pass@k и pass^k.","methodology":"## Методология (демо)\n\nSplit-политика: public 20% / development 30% / private holdout 50%.\nЗадачи авторские; периодическая ротация против выучивания.\n\nИзмерения риска: hallucination, robustness-paraphrase-typo.\n\nВсе кейсы версии — синтетические учебные примеры (isDemo), не являются экспертно проверенными.","limitations":"Демонстрационная версия: синтетические кейсы малого объёма; выводы ограничены составом набора и не обобщаются на «модель вообще».","contaminationPolicy":"Приватный холдаут не публикуется; подозрение на утечку — contamination flag и ротация версии; канареечные кейсы предусмотрены политикой.","license":"Демонстрационные синтетические данные (не для научного использования)","organization":{"slug":"benchru-demo-lab","name":"BenchRU Demo Lab"},"domains":[{"slug":"programming","name":"Программирование"}],"capabilities":[{"slug":"code-generation","name":"Генерация кода"},{"slug":"debugging","name":"Отладка кода"},{"slug":"code-review","name":"Code review"}],"modalities":[{"slug":"text","name":"Текст"},{"slug":"code","name":"Код"}],"methods":[{"slug":"unit-tests","name":"Unit tests"},{"slug":"code-execution","name":"Code execution"},{"slug":"expert-rubric","name":"Expert rubric"}],"riskDimensions":[{"slug":"hallucination","name":"Галлюцинации"},{"slug":"robustness-paraphrase-typo","name":"Устойчивость к перефразированию и опечаткам"}],"tags":["russian","code"],"sources":[{"title":"Методология и состав набора «Генерация и отладка кода (RU)» (демо)","url":null,"publisher":"BenchRU Demo Lab","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-02T00:00:00.000Z","license":"Демонстрационные синтетические данные"}]},"versions":[{"versionLabel":"1.0.0","status":"PUBLISHED","publishedAt":"2026-08-15T12:00:00.000Z","supersededAt":null}],"current":{"versionLabel":"1.0.0","publishedAt":"2026-08-15T12:00:00.000Z","notes":"Первая опубликованная демонстрационная версия.","metrics":[{"slug":"pass-at-1","name":"pass@1 (юнит-тесты)","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.5,"rangeMin":null,"rangeMax":null},{"slug":"pass-at-3","name":"pass@3 (юнит-тесты)","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.2,"rangeMin":null,"rangeMax":null},{"slug":"review-rubric-score","name":"Качество ревью (рубрика)","unit":"доля 0–1","direction":"higher","dimension":"quality","weight":0.15,"rangeMin":null,"rangeMax":null},{"slug":"latency-p50","name":"Медианная задержка ответа","unit":"сек","direction":"lower","dimension":"efficiency","weight":0.15,"rangeMin":0.2,"rangeMax":30}],"splitCounts":{"public":3,"development":1,"privateHoldout":1,"retired":0,"total":5},"cases":[{"id":"cmtkxs41m008h0zo2a1071pxu","order":1,"split":"PUBLIC_SAMPLE","caseType":"CODE_TASK","prompt":"УЧЕБНАЯ ЗАДАЧА. Реализуйте на Python функцию format_tax_id(digits: str) -> str: принимает строку из 12 цифр и возвращает её в формате «XXXX XXXX XXXX»; для любой другой строки выбрасывает ValueError. Примеры: «123456789012» → «1234 5678 9012».","payload":{"title":"Форматирование учебного идентификатора","demoId":"demo-code-001","notesRu":"Авторская учебная задача, не заимствована из внешних датасетов.","sourcePolicy":"synthetic-original-task","expertReviewRequired":false},"weight":1,"isDemo":true},{"id":"cmtkxs41p008i0zo25275rtis","order":2,"split":"DEVELOPMENT","caseType":"CODE_TASK","prompt":"УЧЕБНАЯ ЗАДАЧА. Функция discount(amount, tier) должна давать: tier 1 → 5%, tier 2 → 10%, tier 3 → 15%; границы по сумме: от 1000 уч. руб. — tier 2, от 5000 — tier 3. Текущий код ошибочно включает 1000 в tier 1 (off-by-one). Найдите и исправьте дефект.","payload":{"title":"Отладка учебного расчёта скидки","demoId":"demo-code-002","notesRu":"Проверяет локализацию off-by-one по спецификации.","sourcePolicy":"synthetic-original-task","expertReviewRequired":false},"weight":1,"isDemo":true},{"id":"cmtkxs41r008j0zo2q7nd9g5d","order":3,"split":"PRIVATE_HOLDOUT","caseType":"CODE_TASK","prompt":null,"payload":null,"weight":1,"isDemo":true},{"id":"cmtkxs41t008k0zo2zxoiy1f1","order":4,"split":"PUBLIC_SAMPLE","caseType":"CODE_TASK","prompt":"УЧЕБНАЯ ЗАДАЧА. Реализуйте на Python функцию parse_ru_date(text: str) -> str: принимает дату в формате «ДД.ММ.ГГГГ» и возвращает ISO 8601 «ГГГГ-ММ-ДД»; для некорректной строки выбрасывает ValueError. Пример: «05.09.2026» → «2026-09-05».","payload":{"title":"Парсинг учебной даты","demoId":"demo-code-004","notesRu":"Авторская учебная задача, не заимствована из внешних датасетов.","sourcePolicy":"synthetic-original-task","expertReviewRequired":true},"weight":1,"isDemo":true},{"id":"cmtkxs41v008l0zo24k1biz27","order":5,"split":"PUBLIC_SAMPLE","caseType":"CODE_TASK","prompt":"УЧЕБНАЯ ЗАДАЧА. Реализуйте функцию plural(n: int, forms: tuple[str, str, str]) -> str для русских счётных форм: forms = («задача», «задачи», «задач»); правила: 1 → «задача», 2–4 → «задачи», 5–20 → «задач», исключения 11–14 → «задач». Пример: plural(3, forms) → «задачи».","payload":{"title":"Учебная функция склонения счётных форм","demoId":"demo-code-005","notesRu":"Проверяет работу с русской грамматикой в коде.","sourcePolicy":"synthetic-original-task","expertReviewRequired":true},"weight":1,"isDemo":true}],"changelog":[]}}}