Few-shot prompting spiegato: esempi contro zero-shot
I prompt zero-shot hanno solo istruzioni; quelli few-shot aggiungono esempi. Quando gli esempi migliorano l'output e quando causano copiature, bias e derive.
In questo articolo
- Che aspetto ha un prompt zero-shot?
- Che aspetto ha un prompt few-shot?
- Quando gli esempi aiutano chiaramente?
- Quando gli esempi few-shot fanno danni?
- Le etichette negli esempi devono essere davvero corrette?
- Quanti esempi conviene usare?
- Gli esempi devono sostituire le istruzioni?
- Una guida rapida alla decisione
Zero-shot prompting significa dare al modello solo le istruzioni e l'input; il few-shot prompting aggiunge un piccolo numero di esempi svolti, così il modello può copiare lo schema. Usa lo zero-shot quando il compito si descrive facilmente a parole, e aggiungi esempi quando formato, stile o confine decisionale sono più facili da mostrare che da spiegare.
I termini vengono dall'articolo su GPT-3 (Brown et al., 2020, "Language Models are Few-Shot Learners"), che mostrò come un modello grande potesse imparare un compito da poche dimostrazioni nel prompt, senza alcun riaddestramento. Questa capacità si chiama di solito in-context learning. Sei anni dopo, i modelli seguono le semplici istruzioni molto meglio di GPT-3, quindi la domanda non è più "mi servono esempi perché funzioni?" ma "gli esempi migliorano o peggiorano le cose nel mio caso?".
Punti chiave
- Parti da zero-shot con istruzioni chiare. Aggiungi esempi quando gli output sono incoerenti per formato o stile.
- Gli esempi vengono copiati più alla lettera di quanto la maggior parte delle persone pensi: lunghezza, tono, struttura, perfino argomento.
- Varia gli esempi, bilancia le etichette e non mettere sempre per ultima la stessa classe.
- Gli esempi completano le istruzioni; raramente le sostituiscono.
Che aspetto ha un prompt zero-shot?
Estrai il nome dell'azienda e la qualifica da questa firma email.
Restituiscili come "Azienda: ..., Qualifica: ...". Se uno dei due manca, scrivi "sconosciuto".
Firma:
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100
Un modello moderno lo fa giusto quasi sempre. Il compito è comune, il formato dell'output è descritto con precisione e c'è una regola per il caso mancante. Aggiungere esempi qui costerebbe token senza dare nulla.
Che aspetto ha un prompt few-shot?
Ora un compito in cui le parole non bastano. Vuoi che le descrizioni dei prodotti vengano riscritte con la voce del tuo marchio, che è asciutta, un po' ironica e allergica agli aggettivi. Potresti provare a descrivere quella voce. Oppure puoi mostrarla:
Riscrivi le descrizioni dei prodotti nel nostro stile.
Originale: "Questa borraccia premium e ultra resistente mantiene le tue
bevande gelate per ben 24 ore!"
Riscrittura: "Mantiene l'acqua fredda per 24 ore. Sopravvive a una
caduta dalle scale, che abbiamo provato più del necessario."
Originale: "Scopri un comfort senza paragoni con la nostra lussuosa
sedia da ufficio dal design ergonomico."
Riscrittura: "Una sedia da ufficio che sostiene la zona lombare. Smetterai
di accorgerti che c'è, ed è proprio questo il punto."
Originale: "{{new_description}}"
Riscrittura:
Due esempi comunicano della voce più di un paragrafo di aggettivi ("brillante ma sobrio"). È il caso più forte per il few-shot: stile, tono e formato facili da riconoscere e difficili da specificare.
Quando gli esempi aiutano chiaramente?
Per esperienza, gli esempi rendono in alcune situazioni ricorrenti:
Formati di output insoliti. Un markup personalizzato, un modo specifico di scrivere le date, uno stile di citazione inventato dal tuo team. Un esempio dell'output finito toglie molte ipotesi.
Confini di classificazione sfumati. Se la differenza tra "reclamo" e "richiesta di funzionalità" dipende dalle convenzioni del tuo team, mostra un caso limite etichettato come vuoi tu. Abbinalo a una regola scritta, perché il modello potrebbe non generalizzare da una sola istanza.
Trasferimento di stile. Come sopra. La voce è la cosa più difficile da descrivere e la più facile da dimostrare.
Modelli più piccoli o più vecchi. Meno è capace il modello, più si appoggia alle dimostrazioni. Se esegui in locale un piccolo modello open-weight, il few-shot spesso conta molto più che con un modello di punta.
Quando gli esempi few-shot fanno danni?
Questa è la parte che la maggior parte dei tutorial salta. Gli esempi sono segnali forti, e i segnali forti hanno effetti collaterali.
Il modello copia le cose sbagliate
Supponi che i tuoi due esempi riguardino prodotti da cucina e siano lunghi circa 30 parole. I tuoi output tenderanno verso le 30 parole, e potresti vedere metafore da cucina insinuarsi nelle descrizioni di borse per laptop. Il modello non sa distinguere quali caratteristiche dell'esempio sono il punto e quali sono casuali. Le copia tutte un po'.
La soluzione è la varietà. Fai in modo che gli esempi differiscano per lunghezza, argomento e struttura su ogni dimensione che non ti interessa, e siano coerenti solo sulla dimensione che ti interessa.
Squilibrio delle etichette e bias d'ordine
La ricerca sulla classificazione few-shot l'ha documentato direttamente. Zhao et al. (2021, "Calibrate Before Use") hanno rilevato che le previsioni di GPT-3 erano sbilanciate verso le etichette che comparivano più spesso nel prompt e verso l'etichetta dell'ultimo esempio. I modelli più recenti sono meno fragili, ma la tendenza non è scomparsa.
Quindi, se il tuo prompt di sentiment ha tre esempi positivi e uno negativo, non stupirti se i messaggi neutri tornano come positivi. Bilancia le classi e mescola l'ordine, o almeno fai in modo che l'ultimo esempio non abbia sempre la stessa etichetta.
Esempi che contraddicono le istruzioni
Un bug sorprendentemente comune:
Riassumi l'articolo in al massimo due frasi.
Articolo di esempio: ...
Riassunto di esempio: L'azienda ha registrato ricavi più alti in questo trimestre.
Ha anche annunciato un nuovo CEO. Gli analisti si aspettano che il titolo salga.
L'istruzione dice due frasi, l'esempio ne ha tre. Quando istruzioni ed esempi sono in disaccordo, i modelli spesso seguono l'esempio. Controlla i tuoi esempi rispetto alle tue regole prima di dare la colpa al modello.
Esempi che bloccano uno schema ristretto
Se ogni esempio di "estrai le azioni da fare" mostra esattamente due voci, il modello può cominciare a produrne due anche per una riunione che ne aveva cinque. Includi un esempio con zero voci e uno con molte. I casi limite negli esempi insegnano al modello che i casi limite sono ammessi.
Le etichette negli esempi devono essere davvero corrette?
Domanda interessante, e la risposta della ricerca è "meno di quanto penseresti, ma non contarci". Min et al. (2022, "Rethinking the Role of Demonstrations") hanno rilevato che, in una serie di compiti di classificazione, scambiare a caso le etichette nelle dimostrazioni peggiorava le prestazioni solo in modo modesto; gran parte del beneficio veniva dal mostrare la distribuzione degli input, lo spazio delle etichette e il formato. È un'osservazione utile su come funzionano gli esempi. Non è un permesso di usare esempi approssimativi in produzione, dove un esempio sbagliato può insegnare una regola sbagliata proprio sui casi limite che ti interessano.
Quanti esempi conviene usare?
Non esiste un numero universale. In pratica:
- Un esempio mostra un formato, ma invita a una copiatura pesante.
- Da due a cinque esempi scelti bene e vari bastano per la maggior parte dei compiti.
- Oltre, i miglioramenti di solito si appiattiscono, e ogni esempio aggiunge costo e latenza a ogni chiamata.
L'unico modo affidabile di scegliere è testare. Tieni un piccolo insieme di valutazione (venti o trenta input reali con output corretti noti), prova zero, due e cinque esempi e guarda sia l'accuratezza sia i tipi di errore. A volte più esempi correggono un modo di fallire e ne introducono un altro.
Gli esempi devono sostituire le istruzioni?
Raramente. I prompt più forti abbinano una regola breve ed esplicita a esempi che la illustrano. Le istruzioni dicono al modello cosa conta; gli esempi mostrano che aspetto ha. Se ti affidi solo agli esempi, il modello deve ricostruire la tua intenzione e a volte dedurrà una regola diversa da quella che avevi in mente.
Uno schema pratico è segnare chiaramente gli esempi, così il modello non li confonde con l'input vero:
Classifica ogni ticket di assistenza come "bug", "billing" o "question".
Un ticket che segnala un messaggio di errore conta come "bug" anche se
l'utente lo formula come una domanda.
<examples>
<example>
Ticket: Perché ottengo "Error 502" quando esporto un report?
Label: bug
</example>
<example>
Ticket: Posso pagare annualmente invece che mensilmente?
Label: billing
</example>
<example>
Ticket: Esiste una scorciatoia da tastiera per la ricerca?
Label: question
</example>
</examples>
Ticket: {{ticket}}
Label:
Nota che il primo esempio è il caso limite descritto dalla regola scritta. È voluto: l'istruzione enuncia la regola, l'esempio dimostra che intendevi proprio quella.
Una guida rapida alla decisione
Chiediti se un collega nuovo e competente potrebbe svolgere il compito con le sole istruzioni scritte. Se sì, vai in zero-shot e metti il tuo impegno in istruzioni e formato chiari. Se chiederebbe "me ne puoi mostrare uno?", aggiungi esempi, variali, bilanciali e verifica che concordino con le tue regole.
Per approfondire, il tema few-shot scompone ulteriormente le decisioni, e l'articolo complementare sul chain-of-thought prompting tratta cosa succede quando gli esempi includono i passaggi del ragionamento e non solo le risposte. Se sei alle prime armi, parti da cos'è il prompt engineering.
Domande frequenti
Qual è la differenza tra zero-shot e few-shot prompting?
Un prompt zero-shot descrive il compito solo con istruzioni. Un prompt few-shot include anche una manciata di esempi svolti input/output, così il modello può dedurre lo schema da quelli.
Quanti esempi deve avere un prompt few-shot?
Di solito bastano da due a cinque esempi scelti bene. Aggiungine altri solo se i test mostrano un miglioramento, e assicurati che coprano casi diversi invece di ripetere sempre lo stesso.
Gli esempi few-shot possono peggiorare i risultati?
Sì. I modelli tendono a copiare le caratteristiche superficiali degli esempi, come lunghezza, formulazione e argomento, e possono essere influenzati verso le etichette che compaiono più spesso o per ultime nell'elenco di esempi.
Cos'è il one-shot prompting?
Il one-shot prompting è un few-shot prompting con un solo esempio. Serve a mostrare un formato, ma con un solo esempio il modello tende a copiarlo troppo da vicino.
- #few-shot prompting
- #zero-shot prompting
- #in-context learning
- #esempi