Предметная область
НК РФ, отчётность, учёт, расчёты налогов и взносов с фиксацией редакции норм.
1 набор · ведомость по области →
| Набор | Версия | Задач | Лицензия |
|---|---|---|---|
| Налоги: действующая редакция Налогового кодекса Ставки, пороги, лимиты и сроки — по Налоговому кодексу в редакции, названной в самом задании | v1.0.0 | 180 | Собственная лицензия BenchRU (публичный образец) |
Налоги: действующая редакция Налогового кодекса v1.0.0
Налоги: действующая редакция Налогового кодекса v1.0.0
Налоги: действующая редакция Налогового кодекса v1.0.0
Взвешенный по покрытию балл системы по текущим опубликованным версиям наборов области (SCORING.md §3.4). Балл показывается при покрытии не менее половины версий области; иначе — честное «мало данных».
GPT Sol gpt-5.6-sol
покрыто 1 из 1 версии области (100 %)
Kimi K3 kimi-k3
покрыто 1 из 1 версии области (100 %)
Claude Sonnet claude-sonnet-5
покрыто 1 из 1 версии области (100 %)
DeepSeek Pro deepseek-v4-pro-0813
покрыто 1 из 1 версии области (100 %)
GPT Luna gpt-5.6-luna
покрыто 1 из 1 версии области (100 %)
Сравнение 4 лучших систем области по шкале 0–100. Системы испытаны на разных версиях наборов — форма радара ориентировочная.
Измерений с полными данными меньше трёх — радар не строится, значения ниже таблицей.
| Система | Качество | Безопасность | Надёжность | Эффективность |
|---|---|---|---|---|
| GPT Sol gpt-5.6-sol | 87,2 | — | 99,4 | — |
| Kimi K3 kimi-k3 | 76,1 | — | 97,8 | — |
| Claude Sonnet claude-sonnet-5 | 73,3 | — | 97,2 | — |
| DeepSeek Pro deepseek-v4-pro-0813 | 56,1 | — | 100,0 | — |
180
всего задач в текущих версиях наборов
80
публичных и отладочных (промпты открыты)
100
в закрытом holdout — защита от contamination
Налоги: действующая редакция Налогового кодекса v1.0.0
Налоги: действующая редакция Налогового кодекса v1.0.0
GPT gpt-5.1
покрыто 1 из 1 версии области (100 %)
Qwen3.8 Flash qwen3.8-flash
покрыто 1 из 1 версии области (100 %)
Gemma 31B gemma-4-31b-it
покрыто 1 из 1 версии области (100 %)
DeepSeek Flash deepseek-v4-flash-0731
покрыто 1 из 1 версии области (100 %)
Mistral Large mistral-large-2512
покрыто 1 из 1 версии области (100 %)
Qwen3 235B A22B Instruct qwen3-235b-a22b-2507
покрыто 1 из 1 версии области (100 %)
MiniMax M3 minimax-m3
покрыто 1 из 1 версии области (100 %)
Qwen3.8 27B qwen3.8-27b
покрыто 1 из 1 версии области (100 %)
DeepSeek deepseek-v3.2
покрыто 1 из 1 версии области (100 %)
Mistral Small 24B mistral-small-3.2-24b-instruct
покрыто 1 из 1 версии области (100 %)
Llama 70B Instruct llama-3.3-70b-instruct
покрыто 1 из 1 версии области (100 %)
GPT-4o-mini gpt-4o-mini
покрыто 1 из 1 версии области (100 %)