Few-shot prompting explicado: exemplos vs zero-shot
Prompts zero-shot trazem só instruções; os few-shot acrescentam exemplos. Veja quando exemplos melhoram o resultado e quando causam cópia, viés e deriva.
Neste artigo
Zero-shot prompting é dar ao modelo apenas instruções e a entrada; few-shot prompting acrescenta uns poucos exemplos resolvidos para que o modelo copie o padrão. Use zero-shot quando a tarefa é fácil de descrever em palavras e acrescente exemplos quando o formato, o estilo ou a fronteira de decisão são mais fáceis de mostrar do que de explicar.
Os termos vêm do artigo do GPT-3 (Brown et al., 2020, "Language Models are Few-Shot Learners"), que mostrou que um modelo grande conseguia aprender uma tarefa a partir de algumas demonstrações no prompt, sem nenhum retreinamento. Essa capacidade costuma ser chamada de aprendizado em contexto. Seis anos depois, os modelos seguem instruções simples muito melhor do que o GPT-3, então a pergunta já não é "preciso de exemplos para isto funcionar", mas "os exemplos deixam isto melhor ou pior no meu caso".
Pontos principais
- Comece em zero-shot com instruções claras. Acrescente exemplos quando as saídas forem inconsistentes em formato ou estilo.
- Os exemplos são copiados de forma mais literal do que a maioria imagina: tamanho, tom, estrutura, até o assunto.
- Varie os exemplos, equilibre os rótulos e não ponha sempre a mesma classe por último.
- Exemplos complementam as instruções; raramente as substituem.
Como é um prompt zero-shot?
Extraia o nome da empresa e o cargo desta assinatura de e-mail.
Devolva como "Empresa: ..., Cargo: ...". Se algum faltar, escreva "desconhecido".
Assinatura:
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100
Um modelo moderno acerta isso quase sempre. A tarefa é comum, o formato de saída está descrito com exatidão e há uma regra para o caso de falta. Acrescentar exemplos aqui gastaria tokens e não traria nada.
Como é um prompt few-shot?
Agora uma tarefa em que as palavras ficam curtas. Você quer descrições de produto reescritas na voz da sua marca, que é seca, um pouco engraçada e alérgica a adjetivos. Dá para tentar descrever essa voz. Ou dá para mostrá-la:
Reescreva descrições de produto no nosso estilo da casa.
Original: "Esta garrafa premium e ultrarresistente mantém suas bebidas
geladas por incríveis 24 horas!"
Reescrita: "Mantém a água fria por 24 horas. Sobrevive a quedas
escada abaixo, que testamos mais do que o necessário."
Original: "Experimente um conforto incomparável com nossa luxuosa
cadeira de escritório de design ergonômico."
Reescrita: "Uma cadeira de escritório que apoia a lombar. Você vai
parar de notá-la, e é esse o objetivo."
Original: "{{new_description}}"
Reescrita:
Dois exemplos comunicam mais sobre a voz do que um parágrafo de adjetivos ("espirituoso mas discreto") jamais comunicaria. Esse é o caso mais forte do few-shot: estilo, tom e formato fáceis de reconhecer e difíceis de especificar.
Quando os exemplos ajudam claramente?
Pela experiência, os exemplos compensam em algumas situações recorrentes:
Formatos de saída incomuns. Uma marcação própria, um jeito específico de escrever datas, um estilo de citação inventado pela sua equipe. Um exemplo do resultado final tira muito da adivinhação.
Fronteiras de classificação difusas. Se "reclamação" vs "pedido de recurso" depende das convenções da sua equipe, mostre um caso limítrofe rotulado do jeito que você quer. Combine com uma regra escrita, porque o modelo pode não generalizar a partir de uma só ocorrência.
Transferência de estilo. Como acima. A voz é a coisa mais difícil de descrever e a mais fácil de demonstrar.
Modelos menores ou mais antigos. Quanto menos capaz o modelo, mais ele se apoia em demonstrações. Se você roda localmente um modelo pequeno de pesos abertos, o few-shot costuma importar muito mais do que num modelo de ponta.
Quando os exemplos few-shot atrapalham?
Esta é a parte que a maioria dos tutoriais pula. Exemplos são sinais fortes, e sinais fortes trazem efeitos colaterais.
O modelo copia as coisas erradas
Suponha que seus dois exemplos sejam sobre produtos de cozinha e tenham cerca de 30 palavras. Suas saídas vão tender a 30 palavras, e você pode ver metáforas de cozinha aparecendo em descrições de mochilas para notebook. O modelo não sabe quais características do exemplo são o ponto e quais são acidentes. Ele copia todas um pouco.
A solução é variedade. Faça os exemplos diferirem em tamanho, assunto e estrutura em todas as dimensões que não importam para você, e mantenha-os consistentes apenas na dimensão que importa.
Desequilíbrio de rótulos e viés de ordem
Pesquisas sobre classificação few-shot documentaram isso diretamente. Zhao et al. (2021, "Calibrate Before Use") constataram que as previsões do GPT-3 se inclinavam para os rótulos que apareciam mais no prompt e para o rótulo do último exemplo. Os modelos mais novos são menos frágeis, mas a tendência não desapareceu.
Então, se o seu prompt de sentimento tem três exemplos positivos e um negativo, não estranhe quando mensagens neutras voltarem como positivas. Equilibre as classes e embaralhe a ordem, ou ao menos garanta que o último exemplo não seja sempre o mesmo rótulo.
Exemplos que contradizem as instruções
Um bug surpreendentemente comum:
Resuma o artigo em no máximo duas frases.
Artigo de exemplo: ...
Resumo de exemplo: A empresa informou receita maior neste trimestre.
Também anunciou um novo CEO. Analistas esperam alta das ações.
A instrução diz duas frases, o exemplo tem três. Quando instruções e exemplos discordam, os modelos muitas vezes seguem o exemplo. Confira seus exemplos contra as suas próprias regras antes de culpar o modelo.
Exemplos que travam num padrão estreito
Se todo exemplo de "extrair itens de ação" mostra exatamente dois itens, o modelo pode passar a produzir dois itens até para uma reunião que teve cinco. Inclua um exemplo com zero itens e outro com muitos. Casos-limite nos exemplos ensinam ao modelo que casos-limite são permitidos.
Os rótulos dos exemplos precisam mesmo estar corretos?
Pergunta interessante, e a resposta da pesquisa é "menos do que se pensa, mas não conte com isso". Min et al. (2022, "Rethinking the Role of Demonstrations") constataram que, numa série de tarefas de classificação, trocar ao acaso os rótulos das demonstrações prejudicava o desempenho apenas de leve; boa parte do benefício vinha de mostrar a distribuição das entradas, o espaço de rótulos e o formato. É uma ideia útil sobre como os exemplos funcionam. Não é licença para usar exemplos descuidados em produção, onde um exemplo errado pode ensinar uma regra errada justamente nos casos limítrofes que importam.
Quantos exemplos usar?
Não existe um número universal. Na prática:
- Um exemplo mostra um formato, mas convida a muita cópia.
- De dois a cinco exemplos bem escolhidos e variados resolvem a maioria das tarefas.
- Além disso, os ganhos costumam estabilizar, e cada exemplo acrescenta custo e latência em toda chamada.
A única forma confiável de escolher é testar. Mantenha um pequeno conjunto de avaliação (vinte ou trinta entradas reais com boas saídas conhecidas), experimente zero, dois e cinco exemplos e olhe tanto a acurácia quanto os tipos de erro. Às vezes mais exemplos corrigem um modo de falha e introduzem outro.
Os exemplos devem substituir as instruções?
Raramente. Os prompts mais fortes combinam uma regra curta e explícita com exemplos que a ilustram. As instruções dizem ao modelo o que importa; os exemplos mostram como isso se parece. Se você depende só de exemplos, o modelo precisa fazer engenharia reversa da sua intenção e, às vezes, vai inferir uma regra diferente da que você tinha em mente.
Um padrão prático é marcar os exemplos com clareza para que o modelo não os confunda com a entrada real:
Classifique cada chamado de suporte como "bug", "billing" ou "question".
Um chamado que relata uma mensagem de erro conta como "bug" mesmo que o
usuário o formule como pergunta.
<examples>
<example>
Chamado: Por que aparece "Error 502" quando exporto um relatório?
Rótulo: bug
</example>
<example>
Chamado: Posso pagar anualmente em vez de mensalmente?
Rótulo: billing
</example>
<example>
Chamado: Existe um atalho de teclado para a busca?
Rótulo: question
</example>
</examples>
Chamado: {{ticket}}
Rótulo:
Repare que o primeiro exemplo é o caso limítrofe que a regra escrita descreve. É proposital: a instrução enuncia a regra, o exemplo prova que você falava sério.
Um guia rápido de decisão
Pergunte-se se um colega novo e competente conseguiria fazer a tarefa só com as suas instruções escritas. Se sim, vá de zero-shot e gaste energia em instruções e formato claros. Se ele perguntasse "pode me mostrar um?", acrescente exemplos, varie-os, equilibre-os e confira se concordam com as suas regras.
Para saber mais, o tópico de few-shot detalha as decisões, e o texto complementar sobre chain-of-thought trata do que acontece quando os exemplos incluem etapas de raciocínio, e não só respostas. Se você está começando, comece por o que é engenharia de prompts.
Perguntas frequentes
Qual é a diferença entre zero-shot e few-shot prompting?
Um prompt zero-shot descreve a tarefa só com instruções. Um prompt few-shot inclui também um punhado de exemplos resolvidos de entrada e saída, para que o modelo infira o padrão a partir deles.
Quantos exemplos um prompt few-shot deve ter?
Em geral, de dois a cinco exemplos bem escolhidos bastam. Acrescente mais só se os testes mostrarem ganho e garanta que eles cubram casos diferentes, em vez de repetir o mesmo.
Exemplos few-shot podem piorar os resultados?
Sim. Os modelos tendem a copiar características superficiais dos exemplos, como tamanho, frases e assunto, e podem se enviesar para rótulos que aparecem com mais frequência ou por último na lista de exemplos.
O que é one-shot prompting?
One-shot prompting é few-shot prompting com um único exemplo. Serve para mostrar um formato, mas com um só exemplo é fácil o modelo copiá-lo de perto demais.
- #few-shot prompting
- #zero-shot prompting
- #aprendizado em contexto
- #exemplos