Tool calling в LLM: вызов функций и ИИ-агенты
Как работает tool calling в LLM, как писать описания инструментов, как запускается и останавливается цикл агента и каких сбоев ждать.
В этой статье
Tool calling (или function calling) позволяет языковой модели попросить ваше приложение запустить функцию: вы описываете доступные инструменты с названиями, описаниями и схемами параметров, модель отвечает структурированным вызовом вроде get_order_status(order_id="A-1042"), ваш код его выполняет, а результат возвращается модели. Агент - это тот же механизм в цикле: модель продолжает выбирать инструменты и читать результаты, пока не решит, что задача выполнена.
Сама модель ничего не выполняет. Она выдаёт текст, который оказывается правильно оформленным запросом. Помните об этом, и большинство проектных решений об агентах станет понятнее, особенно решения о безопасности.
Как выглядит определение инструмента?
У OpenAI, Anthropic и Google форматы запросов немного различаются, но у любого определения инструмента три одинаковые части: название, описание на естественном языке и JSON Schema для параметров.
Слабое определение:
{
"name": "search",
"description": "Ищет всякое.",
"parameters": {
"type": "object",
"properties": { "q": { "type": "string" } }
}
}
Определение получше:
{
"name": "search_help_center",
"description": "Полнотекстовый поиск по публичным статьям справочного центра приложения Ledgerly. Используй, когда пользователь спрашивает, как работает функция или как решить проблему. Не ищет по данным аккаунта пользователя; для этого используй get_account_summary. Возвращает до 5 статей с заголовком, URL и коротким фрагментом.",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "Короткая поисковая фраза на английском, например 'export invoices to CSV'. Переформулируй вопрос пользователя в ключевые слова, а не передавай его дословно."
}
},
"required": ["query"]
}
}
Описание - это промпт. Модель читает его, чтобы решить, когда использовать инструмент, что передавать и чего ждать в ответ. В документации Anthropic по использованию инструментов подробные описания названы важнейшим фактором качества работы инструментов, и это совпадает с тем, что видно на практике.
Как писать описания инструментов, чтобы модель применяла их верно?
Отвечайте на вопросы, которые задал бы новый разработчик, прежде чем вызывать незнакомый API:
- Что инструмент делает и чего не делает? Фраза «Не ищет по данным аккаунта пользователя» предотвращает целый класс неверных вызовов.
- Когда использовать его вместо похожего инструмента? Пересекающиеся инструменты - главная причина неверного выбора. Если два инструмента могут обработать запрос, скажите, какой из них главнее.
- Что означают параметры, с примерами? Форматы (даты ISO, центы или доллары, ID с префиксом или без) и пример значения для всего неоднозначного.
- Что он возвращает? В том числе что означает пустой результат.
- Есть ли побочные эффекты? Фраза «Отправляет письмо немедленно; отменить нельзя» меняет поведение аккуратной модели и должна менять то, как ваше приложение ограничивает вызов.
Называйте инструменты так, чтобы рядом друг с другом они читались понятно: search_help_center, get_account_summary, create_support_ticket. Избегайте общих названий вроде search или run, которые провоцируют неверное применение.
Возвращайте и полезные ошибки. Если вызов не удался, результат инструмента вроде "error": "order_id must look like A-1234; got 1234" позволяет модели сама исправить вызов на следующем шаге. Голый 500 - нет.
Как работает цикл агента?
Базовый цикл, который большинство фреймворков для агентов реализуют с вариациями:
- Отправьте модели разговор, системный промпт и определения инструментов.
- Если модель ответила только текстом, ход закончен.
- Если она ответила одним или несколькими вызовами инструментов, ваш код проверяет и запускает их.
- Добавьте результаты в разговор как результаты инструментов.
- Вернитесь к шагу 1.
Этот шаблон, где рассуждение чередуется с действиями и наблюдениями, описан в статье о ReAct (Yao et al., 2022) и лежит в основе большинства агентов, созданных с тех пор. Современные API поддерживают его из коробки, в том числе несколько вызовов инструментов за один ход.
Цикл простой. Работа в том, чтобы заставить его вести себя правильно.
Как агент должен решать, когда остановиться?
Два вида условий остановки, и нужны оба.
На уровне задачи, в промпте. Скажите агенту, что значит «готово»:
Ты закончил, когда ответ на вопрос пользователя найден или ты
определил, что с доступными инструментами ответить нельзя.
Если после двух поисков ты не нашёл подходящих статей, прекрати
поиск и расскажи пользователю, что ты пробовал.
Если запрос может относиться к более чем одному аккаунту или счёту,
задай пользователю уточняющий вопрос, а не гадай.
Без таких указаний агенты обычно либо останавливаются слишком рано (отвечают из собственных знаний, не выполнив поиск), либо не прекращают (ищут снова с небольшими вариациями в надежде на лучший результат).
Жёсткие лимиты, в коде. Максимальное число итераций, бюджет токенов или расходов и ограничение по времени. Когда лимит достигнут, завершайтесь аккуратно: верните найденное к этому моменту и сообщите, что задача не выполнена. Никогда не полагайтесь на одну лишь модель, чтобы остановить цикл, который тратит деньги.
Какие сбои агентов самые частые?
Неверный выбор инструмента. Обычно вызван пересекающимися инструментами или расплывчатыми описаниями. Сначала исправьте описания; если этого мало, сократите число инструментов, доступных для этой задачи.
Выдуманные аргументы. Модель придумывает ID заказа, потому что пользователь сказал «мой последний заказ». Научите её искать ID с помощью инструмента или спрашивать пользователя и проверяйте аргументы в коде перед выполнением.
Зацикливание. Агент повторяет неудачный вызов с мелкими изменениями. Обнаруживайте в цикле повторяющиеся одинаковые или почти одинаковые вызовы и прерывайте их, а ошибки инструментов делайте достаточно информативными, чтобы их можно было исправить.
Преждевременный успех. Агент сообщает «Готово, я обновил запись», хотя вызов обновления на самом деле не удался. Пусть результаты инструментов явно говорят об успехе или неудаче, а для важных задач проверяйте итог отдельным вызовом чтения.
Раздувание контекста. Результаты инструментов бывают огромными (целая веб-страница, запрос на 2 000 строк). Длинные циклы заполняют контекст устаревшим выводом, и модель теряет исходную цель. Обрезайте или сжимайте результаты инструментов перед возвратом и возвращайте только нужные модели поля.
Слишком много инструментов. Точность обычно падает, когда добавляешь инструменты, особенно похожие. Давайте каждой задаче минимальный полезный набор или загружайте инструменты динамически в зависимости от запроса.
А что с безопасностью?
Каждый инструмент - это возможность, которую может позаимствовать prompt injection. Если ваш агент читает веб-страницы или письма и при этом у него есть инструмент для отправки сообщений, атакующий, который напишет на странице нужный текст, может добиться отправки сообщений.
Практические правила:
- Авторизуйте в коде, а не в промпте. Инструмент должен работать с правами конечного пользователя, чтобы введённая в заблуждение модель не могла добраться до данных, до которых не мог бы добраться пользователь.
- Подтверждайте значимые действия. Платежи, удаления, исходящие сообщения, изменения прав: покажите пользователю, что именно произойдёт, и потребуйте одобрения.
- Проверяйте аргументы. Проверка схемы плюс бизнес-правила (лимиты сумм, допустимые получатели) перед выполнением.
- Разделяйте инструменты чтения и записи. Шаг исследования, у которого есть только инструменты чтения, ничему не повредит, как бы он ни запутался.
А нужен ли вам вообще агент?
Часто нет. Если шаги известны заранее (найти, затем пересказать, затем оформить), фиксированный конвейер из отдельных вызовов модели дешевле, быстрее, проще в тестировании и отладке. Агенты оправдывают свою сложность, когда путь действительно зависит от промежуточных результатов: модели нужно что-то найти, чтобы понять, что искать дальше.
Разумная последовательность: начните с одного промпта; добавьте поиск, если нужны факты (что такое RAG); добавьте один вызов инструмента для одного действия; и только затем стройте цикл.
Где место MCP?
Model Context Protocol, представленный Anthropic в конце 2024 года и с тех пор принятый другими поставщиками и инструментами, стандартизирует то, как приложения предоставляют моделям инструменты и данные. Он решает вопрос «проводки»: одно определение сервера можно использовать из многих клиентов. Он не меняет ни один из советов выше. Плохо описанный инструмент так же сбивает с толку по MCP, а подключение многих сторонних серверов добавляет и возможности, и поверхность атаки.
О выходной стороне вызовов инструментов (схемы, строгие режимы, проверка) читайте в статье надёжный JSON от LLM. Тема «инструменты и агенты» разбивает эти проектные решения на тренировочные вопросы.
Частые вопросы
Что такое tool calling в LLM?
Tool calling, или function calling (вызов функций), позволяет модели в ответ выдать структурированный запрос на запуск функции, которую вы описали, например поиск по базе данных или отправку письма. Ваш код запускает функцию и возвращает результат модели, после чего она продолжает работу.
Сама модель выполняет инструмент?
Нет. Модель только выдаёт название инструмента и аргументы. Приложение решает, запускать ли его, запускает его и отправляет результат обратно, поэтому проверки прав должны быть в вашем коде.
Чем tool calling отличается от ИИ-агента?
Tool calling - это отдельная возможность: модель просит запустить одну функцию. Агент - это цикл, в котором модель раз за разом решает, какой инструмент вызвать следующим, смотрит на результаты и продолжает, пока задача не выполнена или не достигнут лимит.
Сколько инструментов можно дать агенту?
Жёсткого предела нет, но точность обычно падает, когда списки инструментов растут и они начинают пересекаться. Держите набор небольшим и непересекающимся для каждой задачи или подгружайте нужные инструменты динамически.
- #tool calling
- #function calling
- #ИИ-агенты
- #цикл агента
- #MCP