Few-shot prompting: ejemplos frente a zero-shot
Los prompts zero-shot solo dan instrucciones; los few-shot añaden ejemplos. Cuándo los ejemplos mejoran la respuesta y cuándo causan copias, sesgo y deriva.
En este artículo
- ¿Cómo es un prompt zero-shot?
- ¿Cómo es un prompt few-shot?
- ¿Cuándo ayudan claramente los ejemplos?
- ¿Cuándo perjudican los ejemplos few-shot?
- ¿Las etiquetas de los ejemplos tienen que ser correctas?
- ¿Cuántos ejemplos conviene usar?
- ¿Deben los ejemplos sustituir a las instrucciones?
- Una guía rápida de decisión
El zero-shot prompting consiste en darle al modelo solo instrucciones y la entrada; el few-shot prompting añade un pequeño número de ejemplos resueltos para que el modelo copie el patrón. Usa zero-shot cuando la tarea sea fácil de describir con palabras, y añade ejemplos cuando el formato, el estilo o el límite de decisión sea más fácil de mostrar que de explicar.
Los términos vienen del artículo de GPT-3 (Brown et al., 2020, "Language Models are Few-Shot Learners"), que mostró que un modelo grande podía aprender una tarea a partir de unas pocas demostraciones en el prompt, sin ningún reentrenamiento. Esa capacidad suele llamarse aprendizaje en contexto (in-context learning). Seis años después, los modelos siguen las instrucciones simples mucho mejor que GPT-3, así que la pregunta ya no es "¿necesito ejemplos para que esto funcione siquiera?", sino "¿los ejemplos mejoran o empeoran esto en mi caso?".
Puntos clave
- Empieza con zero-shot e instrucciones claras. Añade ejemplos cuando las respuestas sean inconsistentes en formato o estilo.
- Los ejemplos se copian de forma más literal de lo que la mayoría espera: longitud, tono, estructura, incluso el tema.
- Varía tus ejemplos, equilibra las etiquetas y no pongas siempre la misma clase al final.
- Los ejemplos complementan las instrucciones; rara vez las sustituyen.
¿Cómo es un prompt zero-shot?
Extrae el nombre de la empresa y el cargo de esta firma de correo.
Devuélvelos como "Empresa: ..., Cargo: ...". Si falta alguno, escribe "desconocido".
Firma:
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100
Un modelo moderno acierta esto casi siempre. La tarea es común, el formato de salida está descrito con exactitud y hay una regla para el caso en que falta un dato. Añadir ejemplos aquí costaría tokens y no aportaría nada.
¿Cómo es un prompt few-shot?
Ahora una tarea en la que las palabras se quedan cortas. Quieres que las descripciones de producto se reescriban con la voz de tu marca, que es seca, algo graciosa y alérgica a los adjetivos. Podrías intentar describir esa voz. O podrías mostrarla:
Reescribe descripciones de producto con nuestro estilo de la casa.
Original: "Esta botella de agua premium y ultrarresistente mantiene tus
bebidas heladas durante unas increíbles 24 horas."
Reescritura: "Mantiene el agua fría durante 24 horas. Sobrevive a caerse
por unas escaleras, cosa que probamos más de lo necesario."
Original: "Descubre una comodidad sin igual con nuestra lujosa silla de
oficina de diseño ergonómico."
Reescritura: "Una silla de oficina que sostiene la zona lumbar. Dejarás
de notarla, que es justo la idea."
Original: "{{new_description}}"
Reescritura:
Dos ejemplos comunican de la voz más que un párrafo de adjetivos ("ingeniosa pero discreta"). Este es el caso más fuerte para el few-shot: estilo, tono y formato que son fáciles de reconocer y difíciles de especificar.
¿Cuándo ayudan claramente los ejemplos?
Por experiencia, los ejemplos compensan en unas cuantas situaciones recurrentes:
Formatos de salida inusuales. Un marcado personalizado, una forma concreta de escribir las fechas, un estilo de citas inventado por tu equipo. Un ejemplo del resultado terminado elimina mucha adivinanza.
Límites de clasificación difusos. Si "queja" frente a "solicitud de función" depende de las convenciones de tu equipo, muestra un caso dudoso etiquetado como tú quieres. Acompáñalo de una regla escrita, porque el modelo puede no generalizar a partir de un solo caso.
Transferencia de estilo. Como arriba. La voz es lo más difícil de describir y lo más fácil de demostrar.
Modelos más pequeños o antiguos. Cuanto menos capaz es el modelo, más se apoya en las demostraciones. Si ejecutas localmente un modelo pequeño de pesos abiertos, el few-shot suele importar mucho más que con un modelo puntero.
¿Cuándo perjudican los ejemplos few-shot?
Esta es la parte que la mayoría de los tutoriales se salta. Los ejemplos son señales fuertes, y las señales fuertes traen efectos secundarios.
El modelo copia lo que no debe
Supón que tus dos ejemplos tratan de productos de cocina y tienen unas 30 palabras. Tus respuestas tenderán a las 30 palabras, y puede que veas metáforas de cocina colándose en las descripciones de una funda para portátil. El modelo no sabe distinguir qué rasgos del ejemplo son el objetivo y cuáles son accidentes. Copia todos un poco.
La solución es la variedad. Haz que los ejemplos difieran en longitud, tema y estructura en todas las dimensiones que no te importan, y mantenlos coherentes solo en la dimensión que sí te importa.
Desbalance de etiquetas y sesgo de orden
La investigación sobre clasificación few-shot lo ha documentado directamente. Zhao et al. (2021, "Calibrate Before Use") encontraron que las predicciones de GPT-3 se inclinaban hacia las etiquetas que aparecían más veces en el prompt y hacia la etiqueta del último ejemplo. Los modelos más nuevos son menos frágiles, pero la tendencia no ha desaparecido.
Así que si tu prompt de sentimiento tiene tres ejemplos positivos y uno negativo, no te sorprendas si los mensajes neutros salen como positivos. Equilibra las clases y mezcla el orden, o al menos procura que el último ejemplo no tenga siempre la misma etiqueta.
Ejemplos que contradicen las instrucciones
Un error sorprendentemente común:
Resume el artículo en dos frases como máximo.
Artículo de ejemplo: ...
Resumen de ejemplo: La empresa informó de mayores ingresos este trimestre.
También anunció un nuevo director general. Los analistas esperan que la acción suba.
La instrucción dice dos frases y el ejemplo tiene tres. Cuando instrucciones y ejemplos no coinciden, los modelos suelen seguir el ejemplo. Revisa tus ejemplos con tus propias reglas antes de culpar al modelo.
Ejemplos que fijan un patrón estrecho
Si cada ejemplo de "extraer tareas pendientes" muestra exactamente dos elementos, el modelo puede empezar a producir dos elementos incluso para una reunión que tuvo cinco. Incluye un ejemplo con cero elementos y otro con muchos. Los casos límite en tus ejemplos le enseñan al modelo que los casos límite están permitidos.
¿Las etiquetas de los ejemplos tienen que ser correctas?
Pregunta interesante, y la respuesta de la investigación es "menos de lo que pensarías, pero no cuentes con ello". Min et al. (2022, "Rethinking the Role of Demonstrations") encontraron que, en una serie de tareas de clasificación, cambiar al azar las etiquetas de las demostraciones perjudicaba el rendimiento solo de forma moderada; buena parte del beneficio venía de mostrar la distribución de las entradas, el espacio de etiquetas y el formato. Es una idea útil sobre cómo funcionan los ejemplos. No es un permiso para usar ejemplos descuidados en producción, donde un ejemplo equivocado puede enseñar una regla equivocada justo en los casos dudosos que te importan.
¿Cuántos ejemplos conviene usar?
No hay un número universal. En la práctica:
- Un ejemplo muestra un formato, pero invita a copiarlo mucho.
- De dos a cinco ejemplos bien elegidos y variados resuelven la mayoría de las tareas.
- Más allá de eso, las mejoras suelen estancarse, y cada ejemplo añade coste y latencia en cada llamada.
La única forma fiable de elegir es probar. Mantén un pequeño conjunto de evaluación (veinte o treinta entradas reales con buenas respuestas conocidas), prueba con cero, dos y cinco ejemplos, y mira tanto la exactitud como el tipo de errores. A veces, más ejemplos arreglan un modo de fallo e introducen otro.
¿Deben los ejemplos sustituir a las instrucciones?
Rara vez. Los prompts más sólidos combinan una regla corta y explícita con ejemplos que la ilustran. Las instrucciones le dicen al modelo qué importa; los ejemplos muestran cómo se ve. Si te apoyas solo en ejemplos, el modelo tiene que deducir tu intención por ingeniería inversa, y a veces inferirá una regla distinta de la que tenías en mente.
Un patrón práctico es marcar los ejemplos con claridad para que el modelo no los confunda con la entrada real:
Clasifica cada ticket de soporte como "bug", "billing" o "question".
Un ticket que informa de un mensaje de error cuenta como "bug" aunque
el usuario lo formule como una pregunta.
<examples>
<example>
Ticket: ¿Por qué me sale "Error 502" al exportar un informe?
Label: bug
</example>
<example>
Ticket: ¿Puedo pagar anualmente en lugar de mensualmente?
Label: billing
</example>
<example>
Ticket: ¿Hay un atajo de teclado para buscar?
Label: question
</example>
</examples>
Ticket: {{ticket}}
Label:
Fíjate en que el primer ejemplo es el caso dudoso que describe la regla escrita. Es deliberado: la instrucción enuncia la regla, el ejemplo demuestra que lo decías en serio.
Una guía rápida de decisión
Pregúntate si un colega nuevo y competente podría hacer la tarea solo con tus instrucciones escritas. Si es así, ve con zero-shot y dedica tu esfuerzo a instrucciones y formato claros. Si te preguntaría "¿me puedes enseñar uno?", añade ejemplos, varíalos, equilíbralos y comprueba que coinciden con tus reglas.
Para saber más, el tema de few-shot desglosa las decisiones con más detalle, y el artículo complementario sobre chain-of-thought prompting trata qué ocurre cuando los ejemplos incluyen pasos de razonamiento y no solo respuestas. Si estás empezando con lo básico, empieza por qué es el prompt engineering.
Preguntas frecuentes
¿Cuál es la diferencia entre zero-shot y few-shot prompting?
Un prompt zero-shot describe la tarea solo con instrucciones. Un prompt few-shot incluye además unos pocos ejemplos resueltos de entrada y salida para que el modelo infiera el patrón a partir de ellos.
¿Cuántos ejemplos debe tener un prompt few-shot?
Normalmente bastan de dos a cinco ejemplos bien elegidos. Añade más solo si las pruebas muestran una mejora, y asegúrate de que cubran casos distintos en lugar de repetir el mismo.
¿Pueden los ejemplos few-shot empeorar los resultados?
Sí. Los modelos tienden a copiar rasgos superficiales de los ejemplos, como la longitud, la redacción y el tema, y pueden inclinarse hacia las etiquetas que aparecen más veces o al final de la lista de ejemplos.
¿Qué es el one-shot prompting?
El one-shot prompting es un few-shot prompting con un solo ejemplo. Sirve para mostrar un formato, pero con un único ejemplo es fácil que el modelo lo copie demasiado de cerca.
- #few-shot prompting
- #zero-shot prompting
- #aprendizaje en contexto
- #ejemplos