{"data":{"suite":{"slug":"tau-bench","name":"TAU-bench","tagline":"Агентные диалоги с инструментами","description":"Агентные диалоги с инструментами","methodology":"Реплики пользователя и описания политик переводятся на русский; API инструментов остаётся английским. Прогон требует многошагового диалога, поэтому профиль `manual-chat` для него не подходит — используется API.","limitations":"Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала. Роль пользователя играет другая модель, поэтому результат зависит и от неё; какая именно — фиксируется на прогоне.","contaminationPolicy":"Сценарии публичны, но успех требует соблюдения политики в диалоге, а не воспроизведения ответа, поэтому запоминание помогает ограниченно.","adaptationNote":"перевод реплик · API инструментов оригинальный","license":"MIT","organization":{"slug":"sierra","name":"Sierra"},"domains":[{"slug":"customer-support","name":"Поддержка клиентов"},{"slug":"e-commerce","name":"Электронная коммерция"},{"slug":"transport-logistics","name":"Транспорт и логистика"}],"capabilities":[{"slug":"planning","name":"Планирование"},{"slug":"tool-use","name":"Tool use"},{"slug":"autonomous-agents","name":"Автономные агенты"}],"modalities":[{"slug":"tool-agent-trace","name":"Трасса инструментов/агента"}],"methods":[],"riskDimensions":[],"tags":[],"sources":[{"title":"GitHub — sierra-research/tau-bench","url":"https://github.com/sierra-research/tau-bench","publisher":"sierra-research","edition":null,"validFrom":null,"validTo":null,"accessedAt":"2026-09-03T00:00:00.000Z","license":"MIT"}]},"versions":[],"current":null}}