НАБОР ЗАДАЧ
Вызов функций и инструментов
Отличие от оригинала: перевод запросов · схемы функций оригинальные
Вызов функций и инструментов
Описания функций и пользовательские запросы переводятся на русский; имена функций и схема аргументов остаются английскими, как в реальном коде. Оценивается корректность вызова, а не текст ответа.
Прогоняется подмножество оригинала, а не весь набор: число задач указано рядом с результатом, и сравнивать наши числа с публикуемыми авторами напрямую нельзя. Приватного холдаута у адаптации нет. Перевод меняет условия: часть задач становится проще или сложнее, и результат отражает модель на русском, а не на языке оригинала. Результат зависит от того, как провайдер сериализует вызов инструмента, поэтому один и тот же вес через разных провайдеров может дать разные числа.
Набор публичен; риск учитывается тем, что оценивается структура вызова, которую нельзя воспроизвести по памяти без правильного разбора запроса.
ShishirPatil · Apache-2.0 · дата обращения 3 сентября 2026 г.