Набор задач
BenchRUверсия 1.0.0Собственная лицензия BenchRU (публичный образец)
Ставки, пороги, лимиты и сроки — по Налоговому кодексу в редакции, названной в самом задании
Отличие от оригинала: Собственный набор BenchRU; нормы сверены с текстом закреплённой редакции в консолидированном банке правовых актов на официальном портале правовой информации
| Подробности запуска | № | Система | Качество | Надёжность | Цена / 1 млн | Покрытие |
|---|---|---|---|---|---|---|
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| Раздел | Задач | GPT Sol | Kimi K3 | Claude Sonnet | DeepSeek Pro | GPT Luna | GPT |
|---|
Собственный набор BenchRU. Проверяет знание числовых и перечневых норм Налогового кодекса Российской Федерации в редакции, действующей на дату обращения к источнику: ставки и их пороги, вычеты и лимиты, условия специальных режимов, сроки уплаты и отчётности, размеры штрафов, состав плательщиков и объектов. Отличие от прочих наших наборов в том, что источник меняется: каждое задание поэтому называет редакцию, о которой спрашивает, а каждая задача закрепляет её идентификатор и сверяется с ней программно перед каждым релизом.
| Метрика | Измерение | Вес | Диапазон | Лучше |
|---|---|---|---|---|
| Точность по норме, доля 0–1 | Качество | 0,85 | — | больше |
| Соблюдение формата ответа, доля 0–1 | Надёжность | 0,15 | — | больше |
Показаны 37 задач из публичного образца. Закрытый holdout не публикуется — известно только число задач.
| 1 |
GPT Sol gpt-5.6-sol |
| 87,2 |
| 99,4 |
| 10,00 $ |
| 100 % |
| 2 | Kimi K3 kimi-k3 | 76,1 | 97,8 | 9,34 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 9,34 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 3 | Claude Sonnet claude-sonnet-5 | 73,3 | 97,2 | 10,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 10,00 $ / 1 млн вывода · Claude Platform on AWSОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 4 | DeepSeek Pro deepseek-v4-pro-0813 | 56,1 | 100,0 | 1,98 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,98 $ / 1 млн вывода · StreamLakeОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 5 | GPT Luna gpt-5.6-luna | 51,1 | 93,3 | 0,60 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,60 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 6 | GPT gpt-5.1 | 48,9 | 100,0 | 5,00 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 5,00 $ / 1 млн вывода · OpenAIОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 7 | Qwen3.8 Flash qwen3.8-flash | 46,7 | 100,0 | 0,47 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,47 $ / 1 млн вывода · AlibabaОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 8 | Gemma 31B gemma-4-31b-it | 44,4 | 100,0 | 0,10 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,10 $ / 1 млн вывода · ModalОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 9 | DeepSeek Flash deepseek-v4-flash-0731 | 43,3 | 99,4 | 0,14 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 0,14 $ / 1 млн вывода · RelaceОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
| 10 | Mistral Large mistral-large-2512 | 40,6 | 100,0 | 1,50 $ | 100 % | |
Профиль оценки: API, прямой ответ, temperature=0Задач в запуске: 180Уровень доверия: ВерифицированоДешёвый маршрут: 1,50 $ / 1 млн вывода · MistralОпубликован: 11 ноября 2026 г.Протокол запуска → | ||||||
№ 1
GPT Sol gpt-5.6-sol
OpenRouter
Качество
87,2
Н 99,4 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 2
Kimi K3 kimi-k3
OpenRouter
Качество
76,1
Н 97,8 · П 100 % · 9,34 $/1 млн
11 ноября 2026 г.
№ 3
Claude Sonnet claude-sonnet-5
Качество
73,3
Н 97,2 · П 100 % · 10,00 $/1 млн
11 ноября 2026 г.
№ 4
DeepSeek Pro deepseek-v4-pro-0813
OpenRouter
Качество
56,1
Н 100,0 · П 100 % · 1,98 $/1 млн
11 ноября 2026 г.
№ 5
GPT Luna gpt-5.6-luna
OpenRouter
Качество
51,1
Н 93,3 · П 100 % · 0,60 $/1 млн
11 ноября 2026 г.
№ 6
GPT gpt-5.1
Качество
48,9
Н 100,0 · П 100 % · 5,00 $/1 млн
11 ноября 2026 г.
№ 7
Qwen3.8 Flash qwen3.8-flash
OpenRouter
Качество
46,7
Н 100,0 · П 100 % · 0,47 $/1 млн
11 ноября 2026 г.
№ 8
Gemma 31B gemma-4-31b-it
OpenRouter
Качество
44,4
Н 100,0 · П 100 % · 0,10 $/1 млн
11 ноября 2026 г.
№ 9
DeepSeek Flash deepseek-v4-flash-0731
OpenRouter
Качество
43,3
Н 99,4 · П 100 % · 0,14 $/1 млн
11 ноября 2026 г.
№ 10
Mistral Large mistral-large-2512
OpenRouter
Качество
40,6
Н 100,0 · П 100 % · 1,50 $/1 млн
11 ноября 2026 г.
| Gemma 31B |
|---|
| DeepSeek Flash |
|---|
| Mistral Large |
|---|
| Разброс |
|---|
| Налог на доходы физических лиц | 35 | 82,9 | 74,3 | 65,7 | 54,3 | 57,1 | 48,6 | 51,4 | 54,3 | 31,4 | 40,0 | 51,5 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Налог на добавленную стоимость | 25 | 92,0 | 68,0 | 68,0 | 64,0 | 52,0 | 64,0 | 60,0 | 52,0 | 52,0 | 52,0 | 40,0 |
| Специальные налоговые режимы | 30 | 90,0 | 86,7 | 83,3 | 60,0 | 53,3 | 50,0 | 50,0 | 53,3 | 40,0 | 43,3 | 50,0 |
| Налог на прибыль и страховые взносы | 30 | 86,7 | 80,0 | 73,3 | 53,3 | 50,0 | 50,0 | 40,0 | 33,3 | 50,0 | 30,0 | 56,7 |
| Имущественные налоги | 25 | 92,0 | 80,0 | 72,0 | 60,0 | 48,0 | 44,0 | 36,0 | 40,0 | 48,0 | 44,0 | 56,0 |
| Общая часть: сроки, ЕНС, отчётность, ответственность | 35 | 82,9 | 68,6 | 77,1 | 48,6 | 45,7 | 40,0 | 42,9 | 34,3 | 42,9 | 37,1 | 48,6 |
| Весь набор | 180 | 87,2 | 76,1 | 73,3 | 56,1 | 51,1 | 48,9 | 46,7 | 44,4 | 43,3 | 40,6 | 46,6 |
|---|
Задача № 9 · короткий точный ответ · публичный образец
Ответьте на вопрос о Налоговом кодексе Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только число, в рублях, без разделителей разрядов, без расчёта и пояснений. Физическое лицо, не являющееся налоговым резидентом Российской Федерации, получило от российской организации 800 000 рублей по гражданско-правовому договору; исключений, установленных Кодексом для отдельных категорий, к нему не применяется. Какова сумма налога?
Задача № 11 · короткий точный ответ · публичный образец
Ответьте на вопрос о Налоговом кодексе Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только число, в рублях, без разделителей разрядов, без расчёта и пояснений. Какую сумму подарков от организации за налоговый период налог на доходы физических лиц не облагает?
Задача № 12 · короткий точный ответ · публичный образец
Ответьте на вопрос о Налоговом кодексе Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только срок с единицей, без расчёта и пояснений. Каков минимальный предельный срок владения недвижимостью в общем случае, когда специальные основания сокращённого срока не выполняются?
Задача № 13 · короткий точный ответ · публичный образец
Ответьте на вопрос о Налоговом кодексе Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только срок с единицей, без расчёта и пояснений. Гражданин продаёт квартиру, полученную им в порядке наследования. Каков для неё минимальный предельный срок владения?
Задача № 21 · короткий точный ответ · публичный образец
Ответьте на вопрос о Налоговом кодексе Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только число, в рублях, без разделителей разрядов, без расчёта и пояснений. Гражданин продал квартиру за 3 200 000 рублей; она находилась в собственности меньше минимального предельного срока владения, расходы на её приобретение он не подтверждает. Какова налоговая база по этой сделке, если он использует имущественный вычет?
Задача № 22 · короткий точный ответ · публичный образец
Ответьте на вопрос о Налоговом кодексе Российской Федерации в редакции, действующей на 6 сентября 2026 года. Ответ — только число, в рублях, без разделителей разрядов, без расчёта и пояснений. Гражданин продал автомобиль за 900 000 рублей, владел им два года, расходы на приобретение не подтверждает. Какова налоговая база по этой сделке, если он использует имущественный вычет?
Набор авторский: задачи написаны BenchRU, нормы взяты из первоисточника. Источник — Налоговый кодекс Российской Федерации, обе части, в редакции, действующей на 6 сентября 2026 года. Текст берётся из консолидированного банка правовых актов на официальном интернет-портале правовой информации: часть первая — редакция 483524, действующая с 1 сентября 2026 года, 1553 пункта в 275 статьях; часть вторая — редакция 483512, действующая с 1 сентября 2026 года, 3659 пунктов в 540 статьях. Каждая задача хранит на сервере точный текст своего пункта и то его место, которое делает ответ верным; перед каждым релизом текст закреплённой редакции запрашивается заново и сверяется. Расхождение — не предупреждение, а ошибка: кейс выводится из набора, набор получает новую версию. Почему этот набор меряет не то же, что остальные наборы BenchRU. Предыдущие наши наборы стоят на актах, которые не менялись ни разу: там знание требования и знание действующей редакции — одно и то же. Кодекс меняется постоянно, а модель, обученная на текстах прошлых лет, знает прежние ставки, прежние пороги и прежние лимиты — и отвечает уверенно. Такая ошибка стоит человеку денег и не выглядит ошибкой. Задание всегда называет редакцию. Опубликованная версия набора неизменяема, а Кодекс меняется, и разрешается это не оговоркой в методологии, а самим текстом задания: каждое задание спрашивает не «сколько сейчас», а «сколько в редакции, действующей на названную дату». Вопрос остаётся однозначным и через год. Идентификатор редакции закреплён на источнике каждой задачи, и сверка ходит именно в него. Что проверяется. Шесть разделов: налог на доходы физических лиц (35 задач), налог на добавленную стоимость (25), специальные налоговые режимы (30), налог на прибыль и страховые взносы (30), имущественные налоги (25), общая часть — сроки, единый налоговый счёт, отчётность и ответственность (35). Задействовано 148 пунктов и статей обеих частей Кодекса. Форму ответа задаёт задача, а не раздел. Точное значение (103 задачи) — там, где ответ есть число, доля, срок, размер или дата. Выбор из четырёх вариантов (77 задач) — там, где ответ есть утверждение, которое можно пересказать разными словами, а также там, где точный ответ содержал бы символ, недопустимый в формате точного значения. Пол угадывания версии 1.0.0 — 10,7% точности. Длина вариантов выровнена: верный вариант оказывается самым длинным в 23% задач с выбором и самым коротким в 23% — то есть примерно так же часто, как любой другой, и подсказки в длине нет. Числа отвечаются без единиц там, где единицу называет задание: «Ответ — только число процентов, без знака процента», «Ответ — только число, в рублях, без разделителей разрядов». Разделители разрядов при сравнении снимаются с обеих сторон: запись числа группами по три цифры и без них — одно и то же число, и наказывать за пробел набор не станет. Единица срока, наоборот, значима и не нормализуется: день, рабочий день и календарный день — три разные единицы, Кодекс различает их сам. Чего набор не берёт. Ставку, которую устанавливает регион или муниципалитет: Кодекс задаёт только предел либо базовую величину, и у вопроса «какая ставка» без указания территории нет одного верного ответа. Законна задача о пределе и о том, кто ставку устанавливает. Величину, которую Кодекс берёт из другого источника — ключевую ставку Банка России, минимальный размер оплаты труда, коэффициент-дефлятор: такая задача опиралась бы на второй источник, который набор не сверяет. Норму, действующую в зависимости от периода, если без разбора оговорок ответ неоднозначен. Набор не подбирается под «недавно изменилось». Соблазн собрать весь набор из норм, переписанных за последние два года, велик: такой набор дал бы эффектно низкий результат у моделей с ранним обучением. Так делать нельзя — это мерило давности обучающих данных, а не знания налога. Задачи берутся по предметному охвату разделов. Как оценивается. Программно и детерминированно, без судьи-модели. «Точность по норме» — совпадение нормализованного ответа с эталоном; ответ предварительно извлекается из вывода по опубликованным правилам, поэтому приписка «Ответ:» знания не отменяет. «Соблюдение формата ответа» — соответствие всего вывода объявленному в задании формату; та же приписка даёт здесь ноль. Набор не является налоговой консультацией и не служит справочником по уплате налогов: он измеряет модели.
1. Набор меряет знание Кодекса в одной закреплённой редакции. Ответы набора нельзя переносить ни на прошлые редакции, ни на будущие: именно поэтому каждое задание называет редакцию, о которой спрашивает. 2. Набор не меряет ставки и льготы, которые устанавливают регион или муниципалитет. Кодекс задаёт предел или базовую величину, и задача о самой ставке без указания территории верного ответа не имеет. 3. Набор не меряет величины, которые Кодекс берёт из другого источника: ключевую ставку Банка России, минимальный размер оплаты труда, коэффициенты-дефляторы, прожиточный минимум. Задача о доле ключевой ставки в пене законна, задача о её размере — нет. 4. Набор не меряет налоговую квалификацию сделки, бухгалтерский учёт и судебную практику. Вопрос «облагается ли этот конкретный доход» решается обстоятельствами, которых задание не называет. 5. Реконструкция редакций на произвольную дату у источника работает не для всех дат. Задача о норме в редакции далёкого прошлого в набор не берётся. 6. Источник меняется чаще, чем выходят версии набора. На дату публикации у обеих частей Кодекса есть принятые, но не вступившие в силу редакции; отчёт о ветшании ожидается уже в ближайший месяц. Это нормальная жизнь набора: опубликованная версия остаётся верной для своей редакции, а изменённая норма выводится при ротации. 7. Набор не покрывает измерение «Безопасность» и не даёт BenchRU Overall в одиночку. 8. HTTPS у портала правовой информации с наших машин не отвечает, обращение идёт по HTTP. Именно поэтому текст пункта сохраняется целиком и сверяется заново перед каждым релизом: канал без TLS подмену не исключает, а повторная сверка — ловит.
Дата создания каждой задачи — сентябрь 2026, хранится в самой задаче. Canary. В версии есть задание с уникальной строкой-маркером. Появление этой строки в ответе модели на любой другой вопрос означает, что набор попал в обучающие данные; такой факт публикуется на этой странице. Маркер встроен в обычное задание, поэтому набор не получает даровых баллов. Особый риск этого набора зеркальный. Текст Кодекса открыт и наверняка есть в обучающих корпусах — но устаревший. Набор поэтому не проверяет доступ к тексту и не наказывает за него: он проверяет знание названной редакции. Задание формулирует вопрос своими словами и не называет номер статьи; номер статьи и пункта — серверная величина, он живёт на источнике задачи и в публичные данные не попадает. Публикуется только публичный образец — около 20% веса. Задачи и эталоны сплитов «для отладки» и «закрытый holdout» не выкладываются нигде: ни в репозитории, ни на Hugging Face, ни в issues, ни в скриншотах. Ротация. В каждой минорной версии не менее 20% закрытого холдаута заменяется новыми задачами. У этого набора ротация имеет вторую причину, которой нет у прочих: норма, которую изменили, выводится из набора независимо от квоты — мерить знание отменённой нормы бессмысленно. Прогон сам по себе — канал контаминации, и мы это признаём. Провайдер вправе сохранять входы своего API; холдаут ветшает от каждого прогона, и это одна из причин обязательной ротации.