Chain-of-Thought Prompting: Hâlâ İşe Yarıyor mu?
Chain-of-thought prompting, modelden cevaptan önce adım adım akıl yürütmesini ister. Ne zaman işe yaradığını ve reasoning modellerde neden gerekmediğini gör.
Bu yazıda
- Akıl yürütmeyi yazmak neden işe yarıyor?
- Somut bir önce ve sonra
- Reasoning modellerde "adım adım düşün" hâlâ işe yarıyor mu?
- Model cevaptan önce mi, sonra mı akıl yürütmeli?
- Akıl yürütmeyi nihai çıktıdan nasıl ayırırsın?
- Chain-of-thought ne zaman kötü bir fikir?
- Bilmeye değer ilgili teknikler
- Kısaca
Chain-of-thought (CoT) prompting, bir dil modelinden bir cevaba karar vermeden önce ara adımları yazılı olarak işlemesini istemektir. En çok birbirine bağlı birkaç adımı olan problemlerde, yani aritmetik, mantık ve çok kısıtlı planlamada işe yarar; basit görevlerde pek yardımı olmaz. Yeni "reasoning" modelleri bunu zaten içeride yapıyor, bu yüzden açıkça adım adım talimat vermek birkaç yıl öncesine göre daha az gerekli.
Tekniğin net bir kökeni var. 2022'de Wei ve ark., "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" makalesini yayımladı ve yalnızca cevapları değil, çözümlü akıl yürütmeyi de içeren few-shot örneklerin büyük modelleri matematik problemlerinde ve benzer testlerde belirgin biçimde iyileştirdiğini gösterdi. Kısa süre sonra Kojima ve ark. ("Large Language Models are Zero-Shot Reasoners", 2022), hiç örnek vermeden sadece "Let's think step by step" eklemenin benzer bir etki yarattığını buldu. Bu cümle o günden beri sayısız prompt'a kopyalandı.
Akıl yürütmeyi yazmak neden işe yarıyor?
Bir model metni token token üretir ve her token kendinden önce gelene bağlıdır. Nihai cevabı hemen vermesi gerekirse bütün işin tek adımda olması gerekir. Önce "tren 14:10'da kalkıyor, yolculuk 2 saat 35 dakika sürüyor, yani 16:45'te varıyor" yazarsa her ara sonuç bir sonraki adımın bağlamının parçası olur. Yazılan adımlar bir karalama alanı gibi çalışır.
Bu açıklama CoT'nin nerede işe yaramayacağını da söylüyor. Görev adımlara bölünmüyorsa karalama alanının tutacağı bir şey yoktur. Modelden iki eş anlamlıdan hangisinin daha samimi durduğu konusunda "adım adım düşünmesini" istemek çoğunlukla sadece daha uzun bir cevap üretir.
Somut bir önce ve sonra
Modellerin tek seferde cevap verirken takıldığı bir problem:
Bir toplantı odası 09:00–10:30 ve 13:00–14:00 arasında ayrılmış.
Bir temizlik ekibinin 45 dakikaya ihtiyacı var, 12:00'den önce
bitirmesi gerekiyor ve 09:15'ten önce başlayamıyor. Çeyrek saat
başlangıçlı tüm uygun başlangıç saatlerini listele.
Hemen cevap verirken model, rezervasyonla çakışan 09:15'i yazabilir. Önce işi yapmasını isteyen sürüm:
Bir toplantı odası 09:00–10:30 ve 13:00–14:00 arasında ayrılmış.
Bir temizlik ekibinin 45 dakikaya ihtiyacı var, 12:00'den önce
bitirmesi gerekiyor ve 09:15'ten önce başlayamıyor.
Önce 09:15 ile 12:00 arasındaki boş aralıkları yaz.
Sonra hangi çeyrek saat başlangıçlarının bu aralıkların içinde
45 dakikalık bir yere sığdığını kontrol et. En sonunda uygun
başlangıç saatlerini listele.
Bunun, çıplak bir "adım adım düşün"den daha iyi olduğuna dikkat et. Modele hangi adımların önemli olduğunu söylüyor. Genel CoT, modelin kendi ayrıştırmasını seçmesine izin verir; yönlendirilmiş CoT ona doğrusunu verir. Problemin nasıl bölünmesi gerektiğini biliyorsan söyle.
(Kayıt için cevap: boş aralık 10:30 ile 12:00 arası, yani 10:30, 10:45 ve 11:00; 11:15 dışarıda kalıyor çünkü iş 12:00'den önce bitmeli. Adımları yazmak bu son sınırı gözden kaçırmayı zorlaştırır.)
Reasoning modellerde "adım adım düşün" hâlâ işe yarıyor mu?
2023'ten kalma tavsiyelerin eskidiği yer burası. Birçok model ailesi artık görünür cevaptan önce gizli ya da özetlenmiş bir düşünce zinciri üreten akıl yürütme kipleri ya da özel reasoning modelleri içeriyor. OpenAI'ın o serisi, Anthropic'in extended thinking özelliği ve Gemini'nin thinking modelleri bu yaklaşımın örnekleri.
Bu modellerde birkaç şey değişiyor:
- "Adım adım düşün" eklemek genelde pek bir şey değiştirmez, çünkü model zaten akıl yürütmeye token harcıyor.
- Sağlayıcıların kendi rehberleri, kesin adımları dayatmak yerine üst düzey talimatları öneriyor. Bir reasoning modele tam olarak nasıl düşüneceğini söylemek onu kısıtlayabilir ve bazen sonuçları kötüleştirir.
- Akıl yürütmeyi çoğu zaman prompt metniyle değil, bir API ayarıyla (akıl yürütme çabası seviyesi ya da düşünme token bütçesi) kontrol edersin.
Pratik kural şu: standart bir sohbet modelinde açık CoT, çok adımlı problemler için hâlâ işe yarar bir araç. Reasoning modelde hedefi, kısıtları ve doğru bir cevabın sağlaması gerekenleri anlat, planlamayı modele bırak. Kullandığın modelin sağlayıcı dokümantasyonuna bak, çünkü bu alan hızlı değişiyor.
Model cevaptan önce mi, sonra mı akıl yürütmeli?
Önce. Her zaman önce.
Yapılandırılmış prompt'lardaki en yaygın hatalardan biri bu:
{
"answer": "approve",
"reasoning": "Başvuru sahibi gelir eşiğini karşılıyor ve..."
}
Cevap alanı önce gelirse model "approve" kararını verir ve sonra zaten verdiği bir karar için gerekçe yazar. Akıl yürütme bir bahaneye dönüşür. Sırayı ters çevir ki önce akıl yürütme üretilsin ve cevap ona dayanabilsin:
{
"reasoning": "Gelir 52.000, eşik 50.000, yani gelir şartı sağlanıyor. Borç oranı 0,46, sınır 0,40, yani şart sağlanmıyor...",
"answer": "reject"
}
Aynısı düz metin için de geçerli: "Önce akıl yürütmeni açıkla, sonra nihai cevabı son satıra yaz" ifadesi, "Cevabı ver ve nedenini açıkla"dan daha iyidir.
Dürüstçe belirtmeye değer bir uyarı var. Yazılı düşünce zincirinin, modelin cevaba nasıl ulaştığını sadık biçimde anlattığı garanti değil. CoT sadakati üzerine araştırmalar, belirtilen akıl yürütmenin çıktıyı gerçekten etkileyen faktörleri atladığı durumlar buldu. Akıl yürütmeyi faydalı bir iş ürünü olarak gör, denetim kaydı olarak değil.
Akıl yürütmeyi nihai çıktıdan nasıl ayırırsın?
Bir uygulamada kullanıcılar genelde karalamayı görmemeli. Cevabı isterler. İki güvenilir yöntem:
Düz metinde etiketler.
Problemi <thinking> etiketlerinin içinde çöz.
Sonra yalnızca nihai cevabı <answer> etiketlerinin içine yaz.
<answer> birim olmadan tek bir sayı olmalı.
Kodun <answer> içindekini alır, gerisini atar. Anthropic'in dokümantasyonu Claude için bu etiket tabanlı yöntemi öneriyor ve modeller arasında iyi çalışıyor.
Yapılandırılmış çıktıda ayrı alanlar. Zaten JSON istiyorsan yukarıda gösterildiği gibi answer alanından önce bir reasoning alanı ekle ve yalnızca answer'ı göster. LLM'lerden güvenilir JSON rehberimiz bu yapıyı nasıl zorunlu kılacağını anlatıyor.
İçeride düşünen reasoning modellerde genelde nihai cevabı doğrudan alırsın; bazen API'den isteğe bağlı bir akıl yürütme özeti de gelir. Gizli kısım için etikete ihtiyacın yok.
Chain-of-thought ne zaman kötü bir fikir?
Fazla kullanmak kolay. Şu durumlarda atla:
- Görev bir bilgi sorgusu ya da basit bir dönüşüm. Bir cümleyi çevirmek, dilbilgisini düzeltmek, e-posta adresi çıkarmak. CoT maliyet ekler ve ara sıra modeli apaçık doğru cevaptan caydırır.
- Gecikme, küçük doğruluk kazancından daha önemli. Akıl yürütme token'ları da üretilen token'lardır. "Çalışma saatleriniz nedir" sorusunda altı saniye düşünen bir chatbot daha kötü bir üründür.
- Net kurallarla sınıflandırma yapıyorsun. Burada açık tanımlar ve birkaç örnek genelde akıl yürütmeden daha iyidir. Zero-shot ve few-shot prompting yazısına bak.
- Akıl yürütmeyi incelemeden son kullanıcıya gösterecekken. Ara adımlar, nihai cevabın sonradan düzelttiği yarım ya da yanlış iddialar içerebilir.
Bilmeye değer ilgili teknikler
Self-consistency (Wang ve ark., 2022) birkaç düşünce zinciri örnekler ve çoğunluk cevabını alır. Tek doğru cevabı olan problemlerde doğruluğu artırır, bedeli modeli birkaç kez çalıştırmaktır.
Çağrılara bölme. Her şeyi yapan tek bir uzun prompt yerine problemi böl: bir çağrı olguları çıkarır, ikincisi onlar üzerinde akıl yürütür, üçüncüsü sonucu biçimlendirir. Her prompt'u test etmek daha kolay olur ve hatanın tam olarak nerede olduğunu görürsün. Bu, üretim sistemlerinde çoğu zaman CoT'nin daha sağlam hâlidir ve doğal olarak tool calling ve ajanlara çıkar.
Doğrulama istemek. Model bir cevap ürettikten sonra ikinci bir prompt, o cevabı özgün kısıtlara göre kontrol etmesini ister. Bazı hataları yakalar, ama kendi işini kontrol eden bir model kendi kör noktalarını paylaşır.
Kısaca
Chain-of-thought, modele birbirine bağlı adımları işleyebileceği alan verir ve bu alan en çok matematik, mantık ve planlamada önemlidir. Hangi adımların önemli olduğunu biliyorsan söyle. Akıl yürütmeyi cevaptan önce koy, asla sonra değil. Karalamayı kullanıcılardan etiketlerle ya da ayrı alanlarla gizle. Reasoning modellerde ise düşünmeyi senaryolaştırmak yerine hedefi anlat.
Akıl yürütmenin ne zaman işe yaradığını ve yanlış yere konduğunu fark etme pratiği yapmak istersen reasoning konusu bu kararları tek tek ele alıyor.
Sık sorulan sorular
Chain-of-thought prompting nedir?
Chain-of-thought prompting, bir dil modelinden nihai cevabı vermeden önce ara akıl yürütme adımlarını yazmasını istemektir. Wei ve ark. (2022) ile yaygınlaştı; matematik ve mantık testlerinde büyük kazanımlar gösterdiler.
"Adım adım düşünelim" demek hâlâ işe yarıyor mu?
Standart sohbet modellerinde çok adımlı problemlerde hâlâ yardımcı olabilir. Cevap vermeden önce zaten düşünen reasoning modellerde bunu eklemek genelde pek bir şey değiştirmez ve sağlayıcılar genellikle modelin iç akıl yürütmesine fazla karışmamayı öneriyor.
Chain-of-thought ne zaman kullanılmamalı?
Basit bilgi sorguları, net kurallı sınıflandırma ve kısa yeniden yazımlarda kullanma. Token ve gecikme ekler; kolay görevlerde fazladan metin hataları önlemek yerine hata çıkarabilir.
Akıl yürütmeyi nihai çıktıdan nasıl gizlerim?
Modelden akıl yürütmesini <thinking> gibi bir etiketin içine, nihai cevabı <answer> gibi başka bir etiketin içine yazmasını iste; kullanıcılara yalnızca cevabı göster. Yapılandırılmış çıktıda akıl yürütme için ayrı bir alan kullan.
- #chain of thought
- #akıl yürütme
- #adım adım düşün
- #reasoning modelleri