Tool calling в LLM: вызов функций и ИИ-агенты
Как работает tool calling в LLM, как писать описания инструментов, как запускается и останавливается цикл агента и каких сбоев ждать.
Инструменты и агенты
Вызов инструментов позволяет модели запросить действие, например поиск, чтение файла или вызов API, вернув структурированный вызов, который выполняет ваш код. ИИ-агент повторяет этот цикл, пока задача не выполнена. Промптинг здесь — это в основном понятные названия и описания инструментов, точные параметры и правила: когда действовать, когда спрашивать и когда остановиться.
Your app parses the model’s JSON, but sometimes the reply starts with “Sure! Here is the JSON:”. What is the most robust fix?
Агент раз за разом вызывает один и тот же инструмент поиска в цикле. Какое изменение поможет больше всего?
B. Описать, когда инструмент полезен, и добавить правило остановки, например максимальное число поисков перед ответом Агенты решают, опираясь на описания инструментов и условия остановки. Без ясной цели и ограничения повторять вызов для модели так же разумно, как остановиться.
Вызов инструментов — это когда модель возвращает структурированный запрос на запуск определённой вами функции с аргументами. Ваш код выполняет её и отправляет результат обратно, а модель продолжает работу с этим результатом.
Чат-бот отвечает на сообщения. Агент может вызывать инструменты в цикле, выбирая следующий шаг по результату каждого, пока не достигнет цели или условия остановки.
Как работает tool calling в LLM, как писать описания инструментов, как запускается и останавливается цикл агента и каких сбоев ждать.
Prompt injection заставляет ИИ выполнять инструкции атакующего, спрятанные во вводе или документах. Прямые и непрямые атаки и защита, которая работает.
Чтобы LLM вернула корректный JSON, одной вежливой просьбы мало. Схемы, режимы структурированного вывода, валидация, повторы и типичные сбои.
Короткие тесты о реальных решениях при составлении промптов, с объяснением к каждому ответу. Начать можно бесплатно на iPhone и Android.