LLM Tool Calling Nedir? Function Calling ve AI Ajanları
LLM tool calling nasıl çalışır, modelin doğru kullanacağı tool açıklamaları nasıl yazılır, ajan döngüsü nasıl çalışıp durur, ajanlarda hangi hatalar çıkar.
Bu yazıda
Tool calling (ya da function calling), bir dil modelinin uygulamandan bir fonksiyonu çalıştırmasını istemesini sağlar: mevcut tool'ları adlar, açıklamalar ve parametre şemalarıyla tanımlarsın, model get_order_status(order_id="A-1042") gibi yapılandırılmış bir çağrıyla cevap verir, kodun onu çalıştırır ve sonuç modele geri gider. Ajan, aynı mekanizmanın bir döngü içinde çalışmasıdır; model, görevin bittiğine karar verene kadar tool seçmeye ve sonuçları okumaya devam eder.
Model hiçbir şeyi kendisi çalıştırmaz. Sadece bir şekilde düzgün biçimlendirilmiş bir istek olan metin üretir. Bunu aklında tut; ajanlarla ilgili tasarım kararlarının çoğu, özellikle güvenlikle ilgili olanlar, daha net hale gelir.
Bir tool tanımı nasıl görünür?
OpenAI, Anthropic ve Google arasında istek formatları biraz farklıdır, ama her tool tanımının aynı üç parçası vardır: bir ad, doğal dilde bir açıklama ve parametreler için bir JSON Schema.
Zayıf bir tanım:
{
"name": "search",
"description": "Bir şeyler arar.",
"parameters": {
"type": "object",
"properties": { "q": { "type": "string" } }
}
}
Daha iyisi:
{
"name": "search_help_center",
"description": "Ledgerly uygulamasının herkese açık yardım merkezi makalelerinde tam metin arama. Kullanıcı bir özelliğin nasıl çalıştığını ya da bir sorunun nasıl çözüleceğini sorduğunda kullan. Kullanıcının kendi hesap verilerinde arama yapmaz; bunun için get_account_summary kullan. Başlık, URL ve kısa bir özet içeren en fazla 5 makale döndürür.",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "İngilizce kısa bir arama ifadesi, örn. 'export invoices to CSV'. Kullanıcının sorusunu olduğu gibi geçirmek yerine anahtar kelimelere dönüştür."
}
},
"required": ["query"]
}
}
Açıklama bir prompt'tur. Model onu, tool'u ne zaman kullanacağına, ne geçireceğine ve karşılığında ne bekleyeceğine karar vermek için okur. Anthropic'in tool use dokümantasyonu, ayrıntılı açıklamaları tool performansındaki en önemli etken olarak vurguluyor ve bu, pratikte gördüğünle örtüşüyor.
Modelin doğru kullanacağı tool açıklamaları nasıl yazılır?
Yeni bir geliştiricinin tanımadığı bir API'yi çağırmadan önce soracağı soruları yanıtla:
- Ne yapar, ne yapmaz? "Kullanıcının hesap verilerinde arama yapmaz" ifadesi bir sürü yanlış çağrıyı önler.
- Benzer bir tool yerine ne zaman kullanılmalı? Örtüşen tool'lar yanlış tool seçiminin başlıca nedenidir. İki tool bir isteği makul biçimde karşılayabiliyorsa hangisinin öncelikli olduğunu söyle.
- Parametreler ne anlama gelir, örneklerle? Formatlar (ISO tarihleri, kuruş mu lira mı, önekli ya da öneksiz ID'ler) ve belirsiz her şey için bir örnek değer.
- Ne döndürür? Boş bir sonucun ne anlama geldiği de dahil.
- Yan etkisi var mı? "E-postayı hemen gönderir; geri alınamaz" ifadesi dikkatli bir modelin davranışını değiştirir ve uygulamanın bunu nasıl kapılayacağını da değiştirmelidir.
Tool'ları yan yana net okunacak şekilde adlandır: search_help_center, get_account_summary, create_support_ticket. Yanlış kullanımı davet eden search ya da run gibi genel adlardan kaçın.
Faydalı hatalar da döndür. Bir çağrı başarısız olursa "error": "order_id must look like A-1234; got 1234" gibi bir tool sonucu, modelin bir sonraki adımda kendi çağrısını düzeltmesini sağlar. Çıplak bir 500 sağlamaz.
Ajan döngüsü nasıl çalışır?
Çoğu ajan çerçevesinin varyasyonlarla uyguladığı temel döngü:
- Modele konuşmayı, system prompt'u ve tool tanımlarını gönder.
- Model yalnızca metinle cevap verirse tur biter.
- Bir ya da daha fazla tool çağrısıyla cevap verirse kodun onları doğrular ve çalıştırır.
- Sonuçları konuşmaya tool sonucu olarak ekle.
- adıma dön.
Akıl yürütmeyi eylemler ve gözlemlerle iç içe geçiren bu kalıp, ReAct makalesinde (Yao ve ark., 2022) anlatıldı ve o zamandan beri geliştirilen çoğu ajanın omurgası. Modern API'ler bunu, tek turda birden fazla tool çağrısı dahil, yerel olarak destekliyor.
Döngü basit. Asıl iş, onu düzgün davranır hale getirmekte.
Bir ajan ne zaman duracağına nasıl karar vermeli?
İki tür durma koşulu var ve ikisine de ihtiyacın var.
Görev düzeyinde, prompt'ta. Ajana "bitti"nin ne demek olduğunu söyle:
Kullanıcının sorusu yanıtlandığında ya da eldeki tool'larla
yanıtlanamayacağını belirlediğinde işin biter.
İki aramadan sonra ilgili makale bulamadıysan aramayı bırak ve
kullanıcıya ne denediğini söyle.
İstek birden fazla hesaba ya da faturaya işaret edebiliyorsa
tahmin etmek yerine kullanıcıya açıklayıcı bir soru sor.
Böyle bir yönlendirme olmadan ajanlar ya çok erken durma (arama yapmadan kendi bilgilerinden cevap verme) ya da devam etme (daha iyi bir sonuç umarak küçük değişikliklerle yeniden arama) eğiliminde olur.
Sert sınırlar, kodda. Azami iterasyon sayısı, bir token ya da maliyet bütçesi ve bir duvar saati zaman aşımı. Bir sınıra ulaşıldığında düzgünce bitir: o ana kadar bulunanı döndür ve görevin tamamlanmadığını söyle. Para harcayan bir döngüyü durdurmak için asla yalnızca modele güvenme.
En yaygın ajan hataları nelerdir?
Yanlış tool seçimi. Genelde örtüşen tool'lar ya da belirsiz açıklamalardan kaynaklanır. Önce açıklamaları düzelt; yetmezse bu görev için erişilebilir tool sayısını azalt.
Halüsinasyonla üretilmiş argümanlar. Kullanıcı "son siparişim" dediği için model bir sipariş ID'si uydurur. Ona ID'leri bir tool ile aratmasını ya da kullanıcıya sormasını söyle ve argümanları çalıştırmadan önce kodda doğrula.
Döngüye girme. Ajan başarısız bir çağrıyı küçük değişikliklerle tekrarlar. Döngünde aynı ya da neredeyse aynı çağrıların tekrarını tespit edip çık ve tool hatalarını düzeltmeye yetecek kadar bilgilendirici yap.
Erken başarı iddiası. Güncelleme çağrısı gerçekte başarısız olmuşken ajan "Tamam, kaydı güncelledim" der. Tool sonuçlarını başarı ya da başarısızlık konusunda açık yap ve önemli görevlerde sonucu ayrı bir okuma çağrısıyla doğrula.
Bağlam şişmesi. Tool sonuçları devasa olabilir (tam bir web sayfası, 2.000 satırlık bir sorgu). Uzun döngüler bağlamı eskimiş çıktıyla doldurur ve model özgün hedefi kaybeder. Tool sonuçlarını geri döndürmeden önce kırp ya da özetle ve yalnızca modelin ihtiyaç duyduğu alanları döndür.
Çok fazla tool. Tool ekledikçe, özellikle benzer olanları, doğruluk düşme eğiliminde. Her göreve en küçük yararlı seti ver ya da tool'ları isteğe göre dinamik yükle.
Peki ya güvenlik?
Her tool, bir prompt injection'ın ödünç alabileceği bir yetenektir. Ajanın web sayfalarını ya da e-postaları okuyorsa ve ayrıca mesaj gönderen bir tool'u da varsa, bir sayfaya doğru metni yazan saldırgan onu mesaj göndermeye ikna edebilir.
Pratik kurallar:
- Yetkilendirmeyi kodda yap, prompt'ta değil. Tool, son kullanıcının izinleriyle çalışmalı; böylece yanıltılmış bir model, kullanıcının erişemeyeceği veriye ulaşamaz.
- Sonuç doğuran eylemleri onaylat. Ödemeler, silmeler, giden mesajlar, izin değişiklikleri: kullanıcıya tam olarak ne olacağını göster ve onay iste.
- Argümanları doğrula. Çalıştırmadan önce şema doğrulaması artı iş kuralları (tutar limitleri, izin verilen alıcılar).
- Okuma ve yazma tool'larını ayır. Yalnızca okuma tool'ları olan bir araştırma adımı, ne kadar karışırsa karışsın hiçbir şeye zarar veremez.
Gerçekten bir ajana ihtiyacın var mı?
Çoğu zaman hayır. Adımlar önceden biliniyorsa (getir, sonra özetle, sonra biçimlendir) tekil model çağrılarından oluşan sabit bir hat daha ucuz, daha hızlı, test etmesi ve hata ayıklaması daha kolaydır. Ajanlar karmaşıklıklarını, yol gerçekten ara sonuçlara bağlı olduğunda kazanır: modelin sıradaki neye bakacağını bilmek için bir şeye bakması gerekir.
Makul bir ilerleme: tek bir prompt ile başla; olgular gerekiyorsa retrieval ekle (RAG nedir); tek bir eylem için tek bir tool çağrısı ekle; ancak ondan sonra bir döngü kur.
MCP nereye oturuyor?
Anthropic'in 2024 sonlarında tanıttığı ve o zamandan beri diğer sağlayıcılar ve araçlar tarafından benimsenen Model Context Protocol, uygulamaların tool'ları ve veriyi modellere nasıl sunduğunu standartlaştırır. Altyapı sorununu çözer: birçok istemciden kullanılabilen tek bir sunucu tanımı. Yukarıdaki tavsiyelerin hiçbirini değiştirmez. Kötü tanımlanmış bir tool, MCP üzerinden de aynı kadar kafa karıştırıcıdır ve birçok üçüncü taraf sunucuyu bağlamak hem yetenek hem saldırı yüzeyi ekler.
Tool çağrılarının çıktı tarafı (şemalar, strict kipler, doğrulama) için LLM'lerden güvenilir JSON alma yazısına bak. Tool'lar ve ajanlar konusu bu tasarım kararlarını pratik sorulara böler.
Sık sorulan sorular
LLM'lerde tool calling nedir?
Function calling olarak da bilinen tool calling, modelin tanımladığın bir fonksiyonu çalıştırmak için yapılandırılmış bir istekle cevap vermesini sağlar; örneğin bir veritabanında arama yapmak ya da e-posta göndermek. Fonksiyonu senin kodun çalıştırır ve sonucu modele geri verir, model de devam eder.
Model tool'u kendisi mi çalıştırır?
Hayır. Model yalnızca tool adını ve argümanları çıktı olarak verir. Uygulaman çalıştırıp çalıştırmayacağına karar verir, çalıştırır ve sonucu geri gönderir; izin kontrollerinin kodunda olması bu yüzden.
Tool calling ile AI ajanı arasındaki fark nedir?
Tool calling tek bir yetenektir: model tek bir fonksiyonun çalıştırılmasını ister. Ajan ise modelin sürekli sıradaki tool'u seçtiği, sonuçları gözlemlediği ve görev bitene ya da bir sınıra ulaşılana kadar devam ettiği bir döngüdür.
Bir ajana kaç tool verebilirsin?
Sabit bir sınır yok, ama tool listeleri büyüdükçe ve tool'lar örtüştükçe doğruluk düşme eğiliminde. Her görev için seti küçük ve ayrışık tut ya da ilgili tool'ları dinamik olarak yükle.
- #tool calling
- #function calling
- #AI ajanları
- #ajan döngüsü
- #MCP