Few-shot prompting nədir? Nümunələr vs zero-shot
Zero-shot yalnız təlimat verir, few-shot isə nümunə əlavə edir. Nümunələrin nə vaxt kömək etdiyini, nə vaxt kopyalamaya və meylə yol açdığını öyrən.
Bu məqalədə
Zero-shot prompting modelə yalnız təlimat və giriş verməkdir; few-shot prompting isə modelin qanunauyğunluğu təkrarlaması üçün az sayda işlənmiş nümunə əlavə edir. Tapşırığı sözlə izah etmək asandırsa, zero-shot istifadə et; format, üslub və ya qərar sərhədi izah etməkdən göstərməklə daha asan çatdırılırsa, nümunə əlavə et.
Bu terminlər GPT-3 məqaləsindən (Brown et al., 2020, "Language Models are Few-Shot Learners") gəlir. Məqalə göstərdi ki, böyük model heç bir əlavə təlim olmadan promptdakı bir neçə nümayişdən tapşırığı öyrənə bilir. Bu bacarığa adətən in-context learning deyilir. Altı il sonra modellər sadə təlimatlara GPT-3-dən qat-qat yaxşı əməl edir, ona görə sual artıq "nümunə olmadan ümumiyyətlə işləyəcəkmi" deyil, "nümunələr mənim halımda nəticəni yaxşılaşdırır, yoxsa pisləşdirir" sualıdır.
Əsas nəticələr
- Aydın təlimatlarla zero-shot başla. Çıxışlar format və ya üslubca qeyri-sabitdirsə, nümunə əlavə et.
- Nümunələr çoxlarının gözlədiyindən daha hərfi kopyalanır: uzunluq, ton, struktur, hətta mövzu.
- Nümunələri müxtəlif seç, etiketləri balanslaşdır və həmişə eyni sinfi sona qoyma.
- Nümunələr təlimatları tamamlayır; onları nadir hallarda əvəz edir.
Zero-shot prompt necə görünür?
Bu e-poçt imzasından şirkət adını və vəzifəni çıxar.
Onları "Şirkət: ..., Vəzifə: ..." formatında qaytar. Hər hansı biri yoxdursa, "naməlum" yaz.
İmza:
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100
Müasir model bunu demək olar ki, həmişə düzgün edir. Tapşırıq geniş yayılıb, çıxış formatı dəqiq təsvir olunub və çatışmayan hal üçün qayda var. Burada nümunə əlavə etmək token xərcləyər və heç nə qazandırmaz.
Few-shot prompt necə görünür?
İndi sözün çatmadığı bir tapşırığa baxaq. Məhsul təsvirlərini brendinin tonunda yenidən yazdırmaq istəyirsən: quru, bir az zarafatcıl və sifətlərə allergiyalı. Bu tonu təsvir etməyə çalışa bilərsən. Ya da göstərə bilərsən:
Məhsul təsvirlərini bizim üslubda yenidən yaz.
Orijinal: "Bu premium, ultra davamlı su şüşəsi içkilərinizi
inanılmaz 24 saat buz kimi soyuq saxlayır!"
Yenidən: "Suyu 24 saat soyuq saxlayır. Pilləkənlə yuxarıdan
atılmağa dözür, bunu lazım olduğundan çox sınaqdan keçirdik."
Orijinal: "Lüks, ergonomik dizaynlı ofis kreslomuzla
misilsiz rahatlığı yaşayın."
Yenidən: "Bel nahiyəsini dəstəkləyən ofis kreslosu. Onu
hiss etməyəcəksən, məqsəd də elə budur."
Orijinal: "{{new_description}}"
Yenidən:
İki nümunə "zəkalı, amma təmkinli" kimi sifətlərlə dolu bir abzasdan daha çox şey deyir. Few-shot-un ən güclü halı budur: tanımaq asan, dəqiq təsvir etmək çətin olan üslub, ton və format.
Nümunələr nə zaman açıq-aşkar kömək edir?
Təcrübədən görünür ki, nümunələr bir neçə təkrarlanan vəziyyətdə özünü doğruldur:
Qeyri-adi çıxış formatları. Xüsusi markup, tarixin fərqli yazılışı, komandanın icad etdiyi sitat üslubu. Bitmiş çıxışın bir nümunəsi çoxlu təxmini aradan qaldırır.
Qeyri-müəyyən təsnifat sərhədləri. "Şikayət" ilə "funksiya sorğusu" arasındakı fərq komandanın qaydalarından asılıdırsa, sərhəddəki halı istədiyin etiketlə göstər. Yanına yazılı qayda da əlavə et, çünki model tək nümunədən ümumiləşdirə bilməyə bilər.
Üslub köçürmə. Yuxarıdakı kimi. Ton təsvir etmək ən çətin, göstərmək ən asan şeydir.
Kiçik və ya köhnə modellər. Model nə qədər zəifdirsə, nümayişlərə bir o qədər çox söykənir. Kiçik açıq çəkili modeli lokal işlədirsənsə, few-shot frontier modeldə olduğundan çox daha vacib ola bilər.
Few-shot nümunələri nə zaman zərər verir?
Bu, əksər təlimlərin buraxdığı hissədir. Nümunələr güclü siqnaldır, güclü siqnalların isə əlavə təsirləri olur.
Model yanlış şeyləri kopyalayır
Fərz et ki, hər iki nümunən mətbəx məhsulları haqqındadır və təxminən 30 sözdür. Çıxışlar 30 sözə doğru meyllənəcək, noutbuk çantası təsvirlərində isə mətbəx metaforaları görünə bilər. Model nümunənin hansı xüsusiyyətlərinin məqsəd, hansılarının təsadüf olduğunu ayırd edə bilmir. Hamısını bir az kopyalayır.
Çarə müxtəliflikdir. Əhəmiyyət vermədiyin hər ölçüdə nümunələri fərqli et: uzunluq, mövzu, struktur. Yalnız əhəmiyyət verdiyin ölçüdə ardıcıl saxla.
Etiket balanssızlığı və sıra meyli
Few-shot təsnifatı üzrə araşdırmalar bunu birbaşa göstərib. Zhao et al. (2021, "Calibrate Before Use") aşkar etdi ki, GPT-3-ün proqnozları promptda daha çox görünən etiketlərə və sonuncu nümunənin etiketinə doğru əyilir. Yeni modellər daha az kövrəkdir, amma bu meyl yox olmayıb.
Deməli, sentiment promptunda üç müsbət, bir mənfi nümunə varsa, neytral mesajların müsbət qayıtmasına təəccüblənmə. Sinifləri balanslaşdır və sırasını qarışdır, ən azı sonuncu nümunə həmişə eyni etiket olmasın.
Təlimatlara zidd nümunələr
Təəccüblü dərəcədə yayılmış bir səhv:
Məqaləni ən çox iki cümlə ilə ümumiləşdir.
Nümunə məqalə: ...
Nümunə xülasə: Şirkət bu rüb daha yüksək gəlir açıqladı.
O, həm də yeni CEO elan etdi. Analitiklər səhmin qalxacağını gözləyir.
Təlimat iki cümlə deyir, nümunədə üç cümlə var. Təlimat ilə nümunə üst-üstə düşmədikdə modellər çox vaxt nümunəyə əməl edir. Modeli günahlandırmazdan əvvəl nümunələrini öz qaydalarınla yoxla.
Dar qanunauyğunluğu kilidləyən nümunələr
"Əməliyyat maddələrini çıxar" tapşırığının hər nümunəsində düz iki maddə varsa, model beş maddəsi olan görüşdə də iki maddə verməyə başlaya bilər. Sıfır maddəli və çox maddəli nümunə daxil et. Nümunələrdəki kənar hallar modelə kənar halların mümkün olduğunu öyrədir.
Nümunələrdəki etiketlərin düzgün olması vacibdirmi?
Maraqlı sualdır və tədqiqat cavabı belədir: "düşündüyündən az, amma buna güvənmə". Min et al. (2022, "Rethinking the Role of Demonstrations") göstərdi ki, bir sıra təsnifat tapşırıqlarında nümayişlərdəki etiketləri təsadüfi dəyişmək performansı yalnız mülayim şəkildə azaldır; faydanın böyük hissəsi giriş paylanmasını, etiket məkanını və formatı göstərməkdən gəlir. Bu, nümunələrin necə işlədiyi barədə faydalı fikirdir. İstehsalda diqqətsiz nümunələrə icazə demək deyil, çünki yanlış nümunə məhz səni maraqlandıran sərhəd hallarında yanlış qayda öyrədə bilər.
Neçə nümunə istifadə etməli?
Universal rəqəm yoxdur. Praktikada:
- Bir nümunə formatı göstərir, amma güclü kopyalamaya yol açır.
- Yaxşı seçilmiş, müxtəlif iki-beş nümunə əksər tapşırıqlara bəs edir.
- Bundan sonra qazanc adətən düzəlir, hər əlavə nümunə isə hər çağırışda xərc və gecikmə artırır.
Seçməyin yeganə etibarlı yolu test etməkdir. Yaxşı çıxışları məlum olan kiçik qiymətləndirmə dəsti (iyirmi-otuz real giriş) saxla, sıfır, iki və beş nümunə sına, həm dəqiqliyə, həm də səhvlərin növünə bax. Bəzən daha çox nümunə bir problemi həll edir, başqasını yaradır.
Nümunələr təlimatları əvəz etməlidir?
Nadir hallarda. Ən güclü promptlar qısa, aydın qaydanı onu göstərən nümunələrlə birləşdirir. Təlimat modelə nəyin vacib olduğunu deyir; nümunə onun necə göründüyünü göstərir. Yalnız nümunələrə söykənsən, model niyyətini tərs mühəndislik yolu ilə tapmalı olur və bəzən sənin nəzərdə tutduğundan fərqli qayda çıxarır.
Praktik üsul nümunələri aydın işarələməkdir ki, model onları real girişlə qarışdırmasın:
Hər dəstək müraciətini "bug", "billing" və ya "question" kimi təsnif et.
Xəta mesajı bildirən müraciət, istifadəçi onu sual kimi yazsa belə, "bug" sayılır.
<examples>
<example>
Müraciət: Hesabatı ixrac edəndə niyə "Error 502" alıram?
Etiket: bug
</example>
<example>
Müraciət: Aylıq əvəzinə illik ödəyə bilərəm?
Etiket: billing
</example>
<example>
Müraciət: Axtarış üçün klaviatura qısayolu var?
Etiket: question
</example>
</examples>
Müraciət: {{ticket}}
Etiket:
Diqqət et: birinci nümunə yazılı qaydanın təsvir etdiyi sərhəd haldır. Bu, qəsdəndir: təlimat qaydanı deyir, nümunə onu həqiqətən nəzərdə tutduğunu sübut edir.
Qısa qərar bələdçisi
Özündən soruş: səriştəli yeni həmkar tapşırığı yalnız yazılı təlimatlarından yerinə yetirə bilərdimi? Bəli isə, zero-shot seç və səyini aydın təlimat və formata yönəlt. "Mənə birini göstərə bilərsən?" deyərdisə, nümunə əlavə et, onları müxtəlif et, balanslaşdır və qaydalarınla uyğunluğunu yoxla.
Bu barədə daha çox üçün few-shot mövzusu qərarları ətraflı açır, chain-of-thought prompting yazısı isə nümunələrdə yalnız cavab deyil, mühakimə addımları da olduqda nə baş verdiyini əhatə edir. Əsaslara yeni başlayırsansa, prompt engineering nədir yazısından başla.
Tez-tez verilən suallar
Zero-shot ilə few-shot prompting arasındakı fərq nədir?
Zero-shot promptda tapşırıq yalnız təlimatla izah olunur. Few-shot promptda isə bir neçə işlənmiş giriş/çıxış nümunəsi də olur ki, model qanunauyğunluğu onlardan çıxarsın.
Few-shot promptda neçə nümunə olmalıdır?
Adətən yaxşı seçilmiş iki-beş nümunə kifayətdir. Daha çoxunu yalnız test fayda göstərirsə əlavə et və nümunələrin eyni halı təkrarlamayıb müxtəlif hallları əhatə etdiyinə əmin ol.
Few-shot nümunələri nəticəni pisləşdirə bilər?
Bəli. Modellər nümunələrin səthi xüsusiyyətlərini, məsələn uzunluğu, ifadə tərzini və mövzunu kopyalamağa meyllidir, həm də nümunə siyahısında daha tez-tez və ya sonda görünən etiketlərə doğru əyilə bilər.
One-shot prompting nədir?
One-shot prompting tək nümunəli few-shot prompting-dir. Formatı göstərmək üçün faydalıdır, amma tək nümunə modelin onu həddindən artıq dəqiq kopyalamasını asanlaşdırır.
- #few-shot prompting
- #zero-shot prompting
- #in-context learning
- #nümunələr