Chain-of-thought prompting: ainda funciona? Guia prático
Chain-of-thought pede que o modelo raciocine passo a passo antes de responder. Veja quando ajuda, quando modelos de raciocínio o tornam redundante e como usar.
Neste artigo
- Por que escrever o raciocínio ajuda?
- Um antes e depois concreto
- O "pense passo a passo" ainda funciona com modelos de raciocínio?
- O modelo deve raciocinar antes ou depois da resposta?
- Como separar o raciocínio da saída final?
- Quando o chain-of-thought é uma má ideia?
- Técnicas relacionadas que vale conhecer
- Em resumo
Chain-of-thought (CoT) prompting é pedir a um modelo de linguagem que desenvolva por escrito etapas intermediárias antes de se comprometer com uma resposta. Ajuda mais em problemas com vários passos dependentes, como aritmética, lógica e planejamento com várias restrições, e ajuda pouco em tarefas simples. Os modelos de "raciocínio" mais novos fazem isso internamente, o que torna as instruções explícitas de passo a passo menos necessárias do que eram há alguns anos.
A técnica tem uma origem clara. Em 2022, Wei et al. publicaram "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models", mostrando que exemplos few-shot com o raciocínio desenvolvido, e não só as respostas, melhoravam muito o desempenho de modelos grandes em problemas de matemática e benchmarks parecidos. Pouco depois, Kojima et al. ("Large Language Models are Zero-Shot Reasoners", 2022) descobriram que bastava acrescentar "Let's think step by step" para obter um efeito semelhante, sem nenhum exemplo. Essa frase foi copiada para milhões de prompts desde então.
Por que escrever o raciocínio ajuda?
Um modelo gera texto um token por vez, e cada token depende do que veio antes. Se ele precisa devolver a resposta final de imediato, todo o trabalho tem que acontecer em um único passo. Se antes escreve "o trem sai às 14:10, a viagem dura 2 horas e 35 minutos, então chega às 16:45", cada resultado intermediário passa a fazer parte do contexto do passo seguinte. As etapas escritas funcionam como rascunho.
Essa explicação também mostra onde o CoT não ajuda. Se a tarefa não se decompõe em etapas, não há o que guardar no rascunho. Pedir a um modelo que "pense passo a passo" sobre qual de dois sinônimos soa mais simpático só produz uma resposta mais longa.
Um antes e depois concreto
Este é um problema que derruba modelos quando respondem de primeira:
Uma sala de reunião está reservada das 09:00 às 10:30 e das 13:00 às 14:00.
Uma equipe de limpeza precisa de 45 minutos, deve terminar antes das 12:00
e não pode começar antes das 09:15. Liste todos os horários de início
válidos, de quinze em quinze minutos.
Respondendo de imediato, um modelo pode listar 09:15, que colide com a reserva. Uma versão que pede o trabalho primeiro:
Uma sala de reunião está reservada das 09:00 às 10:30 e das 13:00 às 14:00.
Uma equipe de limpeza precisa de 45 minutos, deve terminar antes das 12:00
e não pode começar antes das 09:15.
Primeiro, escreva as janelas livres entre 09:15 e 12:00.
Depois, verifique quais horários de início (de quinze em quinze minutos)
cabem em um intervalo de 45 minutos dentro dessas janelas.
Por fim, liste os horários de início válidos.
Repare que isso é melhor do que um simples "pense passo a passo". O prompt diz ao modelo quais etapas importam. O CoT genérico deixa o modelo escolher a própria decomposição; o CoT guiado entrega a decomposição certa. Quando você sabe como o problema deve ser dividido, diga.
(A resposta, para constar: janela livre das 10:30 às 12:00, portanto 10:30, 10:45 e 11:00, com 11:15 excluído porque o intervalo precisa terminar antes das 12:00. Escrever as etapas torna difícil deixar passar esse último limite.)
O "pense passo a passo" ainda funciona com modelos de raciocínio?
É aqui que o conselho de 2023 envelheceu. Várias famílias de modelos agora têm modos de raciocínio ou modelos dedicados que geram uma cadeia de pensamento oculta ou resumida antes da resposta visível. A série o da OpenAI, o extended thinking da Anthropic e os modelos thinking do Gemini são exemplos dessa abordagem.
Com esses modelos, algumas coisas mudam:
- Acrescentar "pense passo a passo" costuma fazer pouca diferença, porque o modelo já gasta tokens raciocinando.
- A orientação dos próprios fornecedores tende a recomendar instruções de alto nível em vez de prescrever os passos exatos. Dizer a um modelo de raciocínio exatamente como pensar pode limitá-lo e às vezes piora o resultado.
- Muitas vezes você controla o raciocínio por uma configuração da API (um nível de esforço de raciocínio ou um orçamento de tokens de pensamento), e não pelo texto do prompt.
Então a regra prática é: em um modelo de chat comum, o CoT explícito continua sendo uma ferramenta útil para problemas de vários passos. Em um modelo de raciocínio, descreva o objetivo, as restrições e o que uma resposta correta precisa satisfazer, e deixe que ele planeje. Consulte a documentação do fornecedor para o modelo específico que você usa, porque essa área muda rápido.
O modelo deve raciocinar antes ou depois da resposta?
Antes. Sempre antes.
Este é um dos erros mais comuns em prompts estruturados:
{
"answer": "approve",
"reasoning": "O candidato atende ao limite de renda e..."
}
Se o campo da resposta vem primeiro, o modelo se compromete com "approve" e só depois escreve uma justificativa para uma decisão que já tomou. O raciocínio vira racionalização. Inverta a ordem para que o raciocínio seja gerado primeiro e a resposta possa depender dele:
{
"reasoning": "A renda é 52,000, o limite é 50,000, então a renda passa. A relação dívida/renda é 0.46, o limite é 0.40, então reprova...",
"answer": "reject"
}
O mesmo vale para texto simples: "Explique seu raciocínio e depois dê a resposta final na última linha" funciona melhor do que "Dê a resposta e explique por quê".
Uma ressalva que vale ser dita com honestidade. A cadeia de pensamento escrita não é garantia de um relato fiel de como o modelo chegou à resposta. Pesquisas sobre a fidelidade do CoT encontraram casos em que o raciocínio declarado omite fatores que de fato influenciaram a saída. Trate o raciocínio como um produto de trabalho útil, não como um registro de auditoria.
Como separar o raciocínio da saída final?
Em uma aplicação, normalmente os usuários não devem ver o rascunho. Eles querem a resposta. Dois padrões confiáveis:
Tags em texto simples.
Resolva o problema dentro de tags <thinking>.
Depois, dê somente a resposta final dentro de tags <answer>.
O conteúdo de <answer> deve ser um único número, sem unidades.
Seu código extrai o que estiver dentro de <answer> e descarta o resto. A documentação da Anthropic recomenda esse padrão com tags para o Claude, e ele funciona bem em vários modelos.
Campos separados na saída estruturada. Se você já pede JSON, adicione um campo reasoning antes do campo answer, como mostrado acima, e exiba apenas o answer. Nosso guia sobre JSON confiável com LLMs mostra como garantir essa estrutura.
Com modelos de raciocínio que pensam internamente, você em geral recebe a resposta final direto, às vezes com um resumo opcional do raciocínio vindo da API. Não é preciso usar tags para a parte oculta.
Quando o chain-of-thought é uma má ideia?
É fácil exagerar no uso. Dispense-o quando:
- A tarefa é uma consulta ou uma transformação simples. Traduzir uma frase, corrigir a gramática, extrair um e-mail. O CoT aumenta o custo e, às vezes, convence o modelo a abandonar a resposta óbvia e correta.
- A latência importa mais do que uma pequena melhora de precisão. Tokens de raciocínio são tokens gerados. Um chatbot que para seis segundos para deliberar sobre "qual o horário de funcionamento" é um produto pior.
- Você está classificando com regras nítidas. Definições claras e alguns exemplos costumam vencer o raciocínio aqui. Veja zero-shot vs few-shot.
- Você mostraria o raciocínio ao usuário final sem revisão. As etapas intermediárias podem conter afirmações pela metade ou erradas que a resposta final corrige depois.
Técnicas relacionadas que vale conhecer
Self-consistency (Wang et al., 2022) amostra várias cadeias de pensamento e fica com a resposta da maioria. Melhora a precisão em problemas com uma única resposta correta, ao custo de rodar o modelo várias vezes.
Decomposição em várias chamadas. Em vez de um prompt longo que faz tudo, divida o problema: uma chamada extrai os fatos, uma segunda raciocina sobre eles, uma terceira formata o resultado. Cada prompt fica mais fácil de testar, e você vê exatamente onde ocorre uma falha. Essa costuma ser a versão mais robusta do CoT em sistemas de produção, e leva naturalmente a tool calling e agentes.
Pedir verificação. Depois que o modelo produz uma resposta, um segundo prompt pede que ele a confira contra as restrições originais. Isso pega alguns erros, embora um modelo que revisa o próprio trabalho compartilhe os próprios pontos cegos.
Em resumo
O chain-of-thought dá ao modelo espaço para trabalhar passos dependentes, e esse espaço importa mais em matemática, lógica e planejamento. Diga quais etapas importam quando você as conhece. Coloque o raciocínio antes da resposta, nunca depois. Esconda o rascunho dos usuários com tags ou campos separados. E, em modelos de raciocínio, descreva o objetivo em vez de roteirizar o pensamento.
Se quiser praticar a identificar quando o raciocínio ajuda e onde ele foi colocado no lugar errado, o tópico de raciocínio percorre essas decisões uma a uma.
Perguntas frequentes
O que é chain-of-thought prompting?
Chain-of-thought prompting pede que um modelo de linguagem escreva etapas intermediárias de raciocínio antes de dar a resposta final. A técnica foi popularizada por Wei et al. (2022), que mostraram grandes ganhos em benchmarks de matemática e lógica.
O "vamos pensar passo a passo" ainda funciona?
Em modelos de chat comuns, ele ainda pode ajudar em problemas de várias etapas. Em modelos de raciocínio, que já pensam antes de responder, incluir a frase costuma mudar pouco, e os fornecedores em geral desaconselham microgerenciar o raciocínio interno deles.
Quando não devo usar chain-of-thought?
Dispense-o em consultas simples, em classificações com regras claras ou em reescritas curtas. Ele gasta tokens e aumenta a latência, e em tarefas fáceis o texto extra pode introduzir erros em vez de evitá-los.
Como escondo o raciocínio da saída final?
Peça ao modelo que coloque o raciocínio dentro de uma tag, como <thinking>, e a resposta final dentro de outra, como <answer>, e mostre só a resposta aos usuários. Com saída estruturada, use um campo separado para o raciocínio.
- #chain of thought
- #raciocínio
- #pense passo a passo
- #modelos de raciocínio