Chain-of-thought prompting: funziona ancora?
Il chain-of-thought prompting fa ragionare il modello passo per passo prima di rispondere. Quando aiuta e quando i modelli di ragionamento lo rendono superfluo.
In questo articolo
- Perché scrivere il ragionamento aiuta?
- Un esempio concreto, prima e dopo
- "Pensa passo per passo" funziona ancora con i modelli di ragionamento?
- Il modello deve ragionare prima o dopo la risposta?
- Come separare il ragionamento dall'output finale?
- Quando il chain-of-thought è una cattiva idea?
- Tecniche correlate da conoscere
- In sintesi
Il chain-of-thought (CoT) prompting consiste nel chiedere a un modello linguistico di svolgere per iscritto dei passaggi intermedi prima di impegnarsi su una risposta. Aiuta soprattutto nei problemi con più passaggi dipendenti, come aritmetica, logica e pianificazione con più vincoli, e poco nei compiti semplici. I nuovi modelli di "ragionamento" lo fanno internamente, perciò le istruzioni esplicite passo per passo servono meno di qualche anno fa.
La tecnica ha un'origine precisa. Nel 2022 Wei et al. hanno pubblicato "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models", mostrando che esempi few-shot con il ragionamento svolto, non solo le risposte, miglioravano nettamente i modelli grandi nei problemi di matematica a enunciato e in benchmark simili. Poco dopo, Kojima et al. ("Large Language Models are Zero-Shot Reasoners", 2022) hanno scoperto che bastava aggiungere "Let's think step by step" per ottenere un effetto simile senza alcun esempio. Da allora quella frase è stata copiata in milioni di prompt.
Perché scrivere il ragionamento aiuta?
Un modello genera il testo un token alla volta, e ogni token dipende da ciò che lo precede. Se deve dare subito la risposta finale, tutto il lavoro deve avvenire in un solo passaggio. Se prima scrive "il treno parte alle 14:10, il viaggio dura 2 ore e 35 minuti, quindi arriva alle 16:45", ogni risultato intermedio diventa parte del contesto per il passaggio successivo. I passaggi scritti fanno da brutta copia.
Questa spiegazione dice anche dove il CoT non serve. Se il compito non si scompone in passaggi, la brutta copia non ha nulla da contenere. Chiedere a un modello di "pensare passo per passo" su quale di due sinonimi suoni più cordiale produce soprattutto una risposta più lunga.
Un esempio concreto, prima e dopo
Ecco un problema che mette in difficoltà i modelli che rispondono al primo colpo:
Una sala riunioni è prenotata dalle 09:00 alle 10:30 e dalle 13:00 alle 14:00.
Una squadra di pulizie ha bisogno di 45 minuti, deve finire prima delle 12:00
e non può iniziare prima delle 09:15. Elenca tutti gli orari di inizio validi
ogni quarto d'ora.
Rispondendo subito, un modello può elencare le 09:15, che si sovrappone alla prenotazione. Una versione che chiede prima di fare i conti:
Una sala riunioni è prenotata dalle 09:00 alle 10:30 e dalle 13:00 alle 14:00.
Una squadra di pulizie ha bisogno di 45 minuti, deve finire prima delle 12:00
e non può iniziare prima delle 09:15.
Per prima cosa scrivi le fasce libere tra le 09:15 e le 12:00.
Poi verifica quali orari di inizio ogni quarto d'ora permettono uno slot
di 45 minuti dentro quelle fasce. Infine elenca gli orari di inizio validi.
Nota che è meglio di un semplice "pensa passo per passo". Dice al modello quali passaggi contano. Il CoT generico lascia al modello la scelta della scomposizione; il CoT guidato gliene dà una giusta. Quando sai come scomporre il problema, dillo.
(La risposta, per la cronaca: fascia libera dalle 10:30 alle 12:00, quindi 10:30, 10:45 e 11:00, mentre le 11:15 sono escluse perché lo slot deve finire prima delle 12:00. Scrivere i passaggi rende difficile non vedere quest'ultimo limite.)
"Pensa passo per passo" funziona ancora con i modelli di ragionamento?
Qui i consigli del 2023 sono invecchiati. Diverse famiglie di modelli includono ormai modalità di ragionamento o modelli dedicati che generano una catena di pensiero nascosta o riassunta prima della risposta visibile. La serie o di OpenAI, l'extended thinking di Anthropic e i modelli thinking di Gemini sono esempi di questo approccio.
Con questi modelli cambiano alcune cose:
- Aggiungere "pensa passo per passo" di solito serve a poco, perché il modello spende già token per ragionare.
- Le indicazioni dei fornitori tendono a raccomandare istruzioni di alto livello invece di prescrivere i passaggi esatti. Dire a un modello di ragionamento come pensare con precisione può limitarlo e a volte peggiora i risultati.
- Spesso il ragionamento si controlla con un'impostazione dell'API (un livello di reasoning effort o un budget di token di pensiero) e non con il testo del prompt.
La regola pratica è quindi questa: su un modello di chat standard, il CoT esplicito resta uno strumento utile per i problemi a più passaggi. Su un modello di ragionamento, descrivi l'obiettivo, i vincoli e ciò che una risposta corretta deve soddisfare, e lascialo pianificare. Controlla la documentazione del fornitore per il modello specifico che usi, perché questo settore cambia in fretta.
Il modello deve ragionare prima o dopo la risposta?
Prima. Sempre prima.
È uno degli errori più comuni nei prompt strutturati:
{
"answer": "approva",
"reasoning": "Il richiedente rispetta la soglia di reddito e..."
}
Se il campo della risposta viene per primo, il modello si impegna su "approva" e poi scrive una giustificazione per una decisione già presa. Il ragionamento diventa una razionalizzazione. Inverti l'ordine, così il ragionamento viene generato prima e la risposta può dipenderne:
{
"reasoning": "Il reddito è 52.000, la soglia è 50.000, quindi il reddito passa. Il rapporto di indebitamento è 0,46, il limite è 0,40, quindi non passa...",
"answer": "rifiuta"
}
Lo stesso vale per il testo semplice: "Spiega il tuo ragionamento, poi dai la risposta finale sull'ultima riga" funziona meglio di "Dai la risposta e spiega perché".
Una precisazione che va fatta con onestà. La catena di pensiero scritta non è garantita come resoconto fedele di come il modello è arrivato alla risposta. La ricerca sulla fedeltà del CoT ha trovato casi in cui il ragionamento dichiarato omette fattori che hanno davvero influenzato l'output. Trattalo come un prodotto di lavoro utile, non come un registro di audit.
Come separare il ragionamento dall'output finale?
In un'applicazione, gli utenti di solito non devono vedere la brutta copia. Vogliono la risposta. Due schemi affidabili:
Tag nel testo semplice.
Svolgi il problema dentro i tag <thinking>.
Poi dai solo la risposta finale dentro i tag <answer>.
La <answer> deve essere un singolo numero senza unità di misura.
Il tuo codice estrae ciò che sta dentro <answer> e scarta il resto. La documentazione di Anthropic raccomanda questo schema basato sui tag per Claude, e funziona bene anche con altri modelli.
Campi separati nell'output strutturato. Se chiedi già JSON, aggiungi un campo reasoning prima del campo answer, come mostrato sopra, e mostra solo answer. La nostra guida su come ottenere JSON affidabile dagli LLM spiega come far rispettare quella struttura.
Con i modelli di ragionamento che pensano internamente, di solito ottieni direttamente la risposta finale, a volte con un riassunto facoltativo del ragionamento dall'API. Per la parte nascosta non servono tag.
Quando il chain-of-thought è una cattiva idea?
È facile abusarne. Evitalo quando:
- Il compito è una ricerca o una trasformazione semplice. Tradurre una frase, correggere la grammatica, estrarre un indirizzo email. Il CoT aggiunge costo e a volte convince il modello a scartare la risposta ovvia e giusta.
- La latenza conta più di un piccolo guadagno di accuratezza. I token di ragionamento sono token generati. Un chatbot che si ferma sei secondi a riflettere su "qual è il vostro orario di apertura" è un prodotto peggiore.
- Stai classificando con regole nette. Definizioni chiare e un paio di esempi di solito battono il ragionamento. Vedi zero-shot vs few-shot prompting.
- Mostreresti il ragionamento agli utenti finali senza revisione. I passaggi intermedi possono contenere affermazioni abbozzate o sbagliate che la risposta finale poi corregge.
Tecniche correlate da conoscere
Self-consistency (Wang et al., 2022) campiona più catene di pensiero e prende la risposta di maggioranza. Migliora l'accuratezza nei problemi con una sola risposta corretta, al prezzo di eseguire il modello più volte.
Scomposizione su più chiamate. Invece di un unico prompt lungo che fa tutto, dividi il problema: una chiamata estrae i fatti, una seconda ragiona su di essi, una terza formatta il risultato. Ogni prompt è più facile da testare e vedi esattamente dove avviene un errore. Nei sistemi in produzione è spesso la versione più robusta del CoT, e porta in modo naturale a tool calling e agenti AI.
Chiedere una verifica. Dopo che il modello ha prodotto una risposta, un secondo prompt gli chiede di controllarla rispetto ai vincoli originali. Individua alcuni errori, anche se un modello che controlla il proprio lavoro condivide i propri punti ciechi.
In sintesi
Il chain-of-thought dà al modello lo spazio per svolgere passaggi dipendenti, e quello spazio conta soprattutto per matematica, logica e pianificazione. Indica quali passaggi contano quando li conosci. Metti il ragionamento prima della risposta, mai dopo. Nascondi la brutta copia agli utenti con tag o campi separati. E sui modelli di ragionamento, descrivi l'obiettivo invece di scrivere il copione del pensiero.
Se vuoi esercitarti a riconoscere quando il ragionamento serve e dove è messo male, l'argomento ragionamento ti accompagna in queste decisioni una alla volta.
Domande frequenti
Che cos'è il chain-of-thought prompting?
Il chain-of-thought prompting chiede a un modello linguistico di scrivere i passaggi intermedi del ragionamento prima di dare la risposta finale. È stato reso popolare da Wei et al. (2022), che hanno mostrato grandi miglioramenti nei benchmark di matematica e logica.
"Pensiamo passo per passo" funziona ancora?
Sui modelli di chat standard può ancora aiutare nei problemi a più passaggi. Sui modelli di ragionamento, che pensano già prima di rispondere, aggiungerlo di solito cambia poco, e i fornitori in genere sconsigliano di guidare nel dettaglio il loro ragionamento interno.
Quando non conviene usare il chain-of-thought?
Evitalo per semplici ricerche, classificazioni con regole chiare o brevi riscritture. Aggiunge token e latenza, e nei compiti facili il testo in più può introdurre errori invece di prevenirli.
Come nascondo il ragionamento dall'output finale?
Chiedi al modello di mettere il ragionamento dentro un tag, per esempio <thinking>, e la risposta finale dentro un altro, per esempio <answer>, poi mostra agli utenti solo la risposta. Con l'output strutturato usa un campo separato per il ragionamento.
- #chain of thought
- #ragionamento
- #pensa passo per passo
- #modelli di ragionamento