Few-Shot Prompting Nedir? Örnekli ve Örneksiz (Zero-Shot)
Zero-shot yalnızca talimat verir, few-shot örnek ekler. Örneklerin çıktıyı ne zaman iyileştirdiğini, ne zaman kopyalamaya ve yanlılığa yol açtığını öğren.
Bu yazıda
Zero-shot prompting, modele yalnızca talimat ve girdiyi vermek demektir; few-shot prompting ise modelin kalıbı kopyalayabilmesi için az sayıda çözülmüş örnek ekler. Görev kelimelerle kolay tarif ediliyorsa zero-shot kullan; biçim, stil ya da karar sınırı anlatmaktan çok göstermeye uygunsa örnek ekle.
Terimler GPT-3 makalesinden geliyor (Brown ve ark., 2020, "Language Models are Few-Shot Learners"). Makale, büyük bir modelin promptta yer alan birkaç örnekten, hiçbir yeniden eğitim olmadan bir görevi kapabildiğini gösterdi. Bu yeteneğe genelde in-context learning deniyor. Altı yıl sonra modeller sade talimatları GPT-3'ten çok daha iyi izliyor; yani soru artık "bunun çalışması için örnek gerekir mi" değil, "örnekler benim durumumda işi iyileştiriyor mu, kötüleştiriyor mu" oldu.
Kısaca
- Net talimatlarla zero-shot başla. Çıktılar biçimde ya da stilde tutarsızsa örnek ekle.
- Örnekler çoğu kişinin beklediğinden daha harfiyen kopyalanır: uzunluk, ton, yapı, hatta konu.
- Örneklerini çeşitlendir, etiketleri dengele ve aynı sınıfı hep sona koyma.
- Örnekler talimatları tamamlar; nadiren onların yerini alır.
Zero-shot prompt neye benzer?
Bu e-posta imzasından şirket adını ve unvanı çıkar.
Bunları "Şirket: ..., Unvan: ..." biçiminde döndür. İkisinden biri yoksa "bilinmiyor" yaz.
İmza:
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100
Modern bir model bunu neredeyse her seferinde doğru yapar. Görev yaygın, çıktı biçimi tam olarak tarif edilmiş ve eksik durum için bir kural var. Buraya örnek eklemek token'a mal olur ve bir şey kazandırmaz.
Few-shot prompt neye benzer?
Şimdi kelimelerin yetmediği bir görev. Ürün açıklamalarını markanın sesiyle yeniden yazdırmak istiyorsun; ses kuru, hafif komik ve sıfatlara alerjik. O sesi tarif etmeyi deneyebilirsin. Ya da gösterebilirsin:
Ürün açıklamalarını bizim üslubumuzla yeniden yaz.
Orijinal: "Bu birinci sınıf, son derece dayanıklı su matarası
içeceklerinizi harika 24 saat boyunca buz gibi tutar!"
Yeniden yazım: "Suyu 24 saat soğuk tutar. Merdivenlerden atılmaya
dayanıyor; gerekenden fazla denedik."
Orijinal: "Lüks, ergonomik tasarımlı ofis koltuğumuzla eşsiz
bir konfor deneyimi yaşayın."
Yeniden yazım: "Belini destekleyen bir ofis koltuğu. Bir süre sonra
varlığını fark etmiyorsun; amaç da bu."
Orijinal: "{{new_description}}"
Yeniden yazım:
İki örnek, "esprili ama ölçülü" gibi bir paragraf sıfattan çok daha fazlasını sesin hakkında anlatır. Few-shot için en güçlü durum bu: tanıması kolay, tarif etmesi zor stil, ton ve biçim.
Örnekler ne zaman açıkça yardımcı olur?
Deneyimden, örnekler birkaç tekrarlayan durumda karşılığını verir:
Alışılmadık çıktı biçimleri. Özel bir işaretleme, tarihleri yazmanın belirli bir yolu, ekibinin icat ettiği bir atıf stili. Bitmiş çıktının tek bir örneği çok sayıda tahmini ortadan kaldırır.
Bulanık sınıflandırma sınırları. "Şikâyet" ile "özellik isteği" ayrımı ekibinin geleneklerine bağlıysa, istediğin şekilde etiketlenmiş sınırda bir vaka göster. Yanına yazılı bir kural da koy; çünkü model tek bir örnekten genelleme yapmayabilir.
Stil aktarımı. Yukarıdaki gibi. Ses, tarif etmesi en zor ve göstermesi en kolay şeydir.
Daha küçük veya eski modeller. Model ne kadar az yetenekliyse örneklere o kadar çok yaslanır. Yerelde küçük bir açık ağırlıklı model çalıştırıyorsan, few-shot çoğunlukla ileri düzey bir modele kıyasla çok daha önemli olur.
Few-shot örnekleri ne zaman zarar verir?
Çoğu eğitimin atladığı kısım bu. Örnekler güçlü sinyallerdir ve güçlü sinyallerin yan etkileri vardır.
Model yanlış şeyleri kopyalar
İki örneğinin de mutfak ürünleriyle ilgili olduğunu ve yaklaşık 30 kelime uzunluğunda olduğunu varsay. Çıktıların 30 kelimeye doğru kayar ve dizüstü bilgisayar çantası açıklamalarına mutfak metaforlarının sızdığını görebilirsin. Model, örneğin hangi özelliklerinin amaç, hangilerinin tesadüf olduğunu ayırt edemez. Hepsini biraz kopyalar.
Çözüm çeşitliliktir. Umursamadığın her boyutta örneklerin uzunluk, konu ve yapı bakımından farklı olsun; yalnızca umursadığın boyutta tutarlı kalsın.
Etiket dengesizliği ve sıralama yanlılığı
Few-shot sınıflandırma araştırmaları bunu doğrudan belgeledi. Zhao ve ark. (2021, "Calibrate Before Use"), GPT-3'ün tahminlerinin promptta daha sık geçen etiketlere ve son örneğin etiketine doğru kaydığını buldu. Yeni modeller daha az kırılgan, ama eğilim ortadan kalkmadı.
Yani duygu analizi promptunda üç olumlu ve bir olumsuz örnek varsa, nötr mesajların olumlu dönmesine şaşırma. Sınıfları dengele ve sırayı karıştır; en azından son örneğin her zaman aynı etiket olmadığından emin ol.
Talimatlarla çelişen örnekler
Şaşırtıcı derecede yaygın bir hata:
Makaleyi en fazla iki cümleyle özetle.
Örnek makale: ...
Örnek özet: Şirket bu çeyrekte daha yüksek gelir açıkladı.
Ayrıca yeni bir CEO duyurdu. Analistler hissenin yükselmesini bekliyor.
Talimat iki cümle diyor, örnekte üç var. Talimat ve örnek uyuşmadığında modeller çoğunlukla örneği izler. Modeli suçlamadan önce örneklerini kendi kurallarınla karşılaştır.
Dar bir kalıbı kilitleyen örnekler
"Aksiyon maddelerini çıkar" için her örnek tam olarak iki madde gösteriyorsa, model beş maddesi olan bir toplantı için bile iki madde üretmeye başlayabilir. Sıfır maddeli bir örnek ve çok maddeli bir örnek ekle. Örneklerindeki uç vakalar, modele uç vakalara izin verildiğini öğretir.
Örneklerdeki etiketlerin doğru olması gerekir mi?
İlginç bir soru ve araştırmanın cevabı "sanıldığından daha az, ama buna güvenme". Min ve ark. (2022, "Rethinking the Role of Demonstrations"), bir dizi sınıflandırma görevinde örneklerdeki etiketleri rastgele değiştirmenin performansı yalnızca mütevazı ölçüde düşürdüğünü buldu; yararın büyük kısmı girdi dağılımını, etiket uzayını ve biçimi göstermekten geliyordu. Bu, örneklerin nasıl çalıştığına dair faydalı bir içgörü. Üretimde özensiz örnek kullanmak için izin değil; orada yanlış bir örnek, tam da umursadığın sınırdaki vakalarda yanlış bir kural öğretebilir.
Kaç örnek kullanmalısın?
Evrensel bir sayı yok. Pratikte:
- Bir örnek bir biçimi gösterir, ama yoğun kopyalamayı davet eder.
- İyi seçilmiş, çeşitli iki ila beş örnek çoğu görevi halleder.
- Bunun ötesinde kazançlar genelde düzleşir ve her örnek her çağrıya maliyet ve gecikme ekler.
Seçmenin tek güvenilir yolu test etmek. Küçük bir değerlendirme kümesi tut (iyi çıktıları bilinen yirmi ya da otuz gerçek girdi), sıfır, iki ve beş örnek dene ve hem doğruluğa hem de hata türlerine bak. Bazen daha fazla örnek bir hata modunu düzeltir ve bir diğerini getirir.
Örnekler talimatların yerini almalı mı?
Nadiren. En güçlü promptlar, kısa ve açık bir kuralı onu gösteren örneklerle eşler. Talimat modele neyin önemli olduğunu söyler; örnekler bunun neye benzediğini gösterir. Yalnızca örneklere güvenirsen model niyetini tersine mühendislikle çıkarmak zorunda kalır ve bazen aklındakinden farklı bir kural çıkarır.
Pratik bir kalıp, modelin örnekleri gerçek girdiyle karıştırmaması için bunları açıkça işaretlemektir:
Her destek talebini "bug", "billing" veya "question" olarak sınıflandır.
Bir hata mesajı bildiren talep, kullanıcı bunu soru olarak sorsa bile "bug" sayılır.
<examples>
<example>
Talep: Rapor dışa aktarırken neden "Error 502" alıyorum?
Etiket: bug
</example>
<example>
Talep: Aylık yerine yıllık ödeme yapabilir miyim?
Etiket: billing
</example>
<example>
Talep: Arama için klavye kısayolu var mı?
Etiket: question
</example>
</examples>
Talep: {{ticket}}
Etiket:
İlk örneğin, yazılı kuralın tarif ettiği sınırdaki vaka olduğuna dikkat et. Bu kasıtlı: talimat kuralı söylüyor, örnek bunu kastettiğini kanıtlıyor.
Hızlı karar rehberi
Kendine sor: yetkin bir yeni meslektaş bu görevi yalnızca yazılı talimatlarından yapabilir miydi? Evet ise zero-shot'a git ve çabanı net talimatlara ve biçime harca. "Bana bir tane gösterir misin?" diyecekse örnek ekle, çeşitlendir, dengele ve kurallarınla uyuştuklarını kontrol et.
Daha fazlası için few-shot konusu kararları daha ayrıntılı açıyor; chain-of-thought prompting tamamlayıcı yazısı ise örnekler yalnızca cevapları değil akıl yürütme adımlarını da içerdiğinde ne olduğunu anlatıyor. Temellerde yeniysen prompt mühendisliği nedir yazısıyla başla.
Sık sorulan sorular
Zero-shot ve few-shot prompting arasındaki fark nedir?
Zero-shot prompt görevi yalnızca talimatlarla tanımlar. Few-shot prompt ise modelin kalıbı çıkarabilmesi için birkaç çözülmüş girdi/çıktı örneği de içerir.
Bir few-shot promptta kaç örnek olmalı?
Genelde iyi seçilmiş iki ila beş örnek yeter. Daha fazlasını yalnızca test bir kazanç gösteriyorsa ekle ve aynı vakayı tekrarlamak yerine farklı vakaları kapsadıklarından emin ol.
Few-shot örnekleri sonuçları kötüleştirebilir mi?
Evet. Modeller örneklerin yüzeysel özelliklerini, yani uzunluğu, ifadeyi ve konuyu kopyalama eğiliminde ve örnek listesinde daha sık geçen ya da en sonda yer alan etiketlere doğru yanlı olabilir.
One-shot prompting nedir?
One-shot prompting, tek örnekli few-shot promptingdir. Bir biçimi göstermek için işe yarar, ama tek örnek modelin o örneği fazla yakından kopyalamasını kolaylaştırır.
- #few-shot prompting
- #zero-shot prompting
- #in-context learning
- #örnekler