Few-shot prompting : exemples ou zero-shot, que choisir ?
Le zero-shot ne donne que des instructions, le few-shot ajoute des exemples. Quand ils améliorent la sortie, et quand ils provoquent copie, biais et dérive.
Dans cet article
- À quoi ressemble un prompt zero-shot ?
- À quoi ressemble un prompt few-shot ?
- Quand les exemples aident-ils clairement ?
- Quand les exemples few-shot nuisent-ils ?
- Les étiquettes des exemples doivent-elles même être correctes ?
- Combien d'exemples utiliser ?
- Les exemples doivent-ils remplacer les instructions ?
- Un guide de décision rapide
Le zero-shot prompting consiste à ne donner au modèle que des instructions et l'entrée ; le few-shot prompting ajoute un petit nombre d'exemples traités pour que le modèle copie le schéma. Utilisez le zero-shot quand la tâche se décrit facilement avec des mots, et ajoutez des exemples quand le format, le style ou la frontière de décision se montrent plus facilement qu'ils ne s'expliquent.
Ces termes viennent de l'article sur GPT-3 (Brown et al., 2020, « Language Models are Few-Shot Learners »), qui a montré qu'un grand modèle pouvait apprendre une tâche à partir de quelques démonstrations dans le prompt, sans aucun réentraînement. Cette capacité s'appelle généralement l'apprentissage en contexte (in-context learning). Six ans plus tard, les modèles suivent bien mieux les instructions simples que GPT-3, si bien que la question n'est plus « ai-je besoin d'exemples pour que cela marche » mais « les exemples améliorent-ils ou dégradent-ils le résultat dans mon cas ».
À retenir
- Commencez en zero-shot avec des instructions claires. Ajoutez des exemples quand les sorties sont incohérentes en format ou en style.
- Les exemples sont copiés plus littéralement qu'on ne le pense : longueur, ton, structure, et même sujet.
- Variez vos exemples, équilibrez les étiquettes et ne mettez pas toujours la même classe en dernier.
- Les exemples complètent les instructions ; ils les remplacent rarement.
À quoi ressemble un prompt zero-shot ?
Extrais le nom de l'entreprise et le poste de cette signature d'e-mail.
Renvoie-les sous la forme "Entreprise : ..., Poste : ...". Si l'un des deux manque, écris "inconnu".
Signature :
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100
Un modèle moderne réussit presque à chaque fois. La tâche est courante, le format de sortie est décrit précisément et il existe une règle pour le cas manquant. Ajouter des exemples ici coûterait des tokens sans rien apporter.
À quoi ressemble un prompt few-shot ?
Prenons maintenant une tâche où les mots ne suffisent pas. Vous voulez que des descriptions de produits soient réécrites dans la voix de votre marque : sèche, légèrement drôle et allergique aux adjectifs. Vous pourriez essayer de décrire cette voix. Ou la montrer :
Réécris des descriptions de produits dans notre style maison.
Original : "Cette gourde premium et ultra-résistante garde vos boissons
glacées pendant 24 heures incroyables !"
Réécriture : "Garde l'eau froide pendant 24 heures. Survit à une chute
dans l'escalier, ce que nous avons testé plus que nécessaire."
Original : "Découvrez un confort inégalé avec notre fauteuil de bureau
luxueux et ergonomique."
Réécriture : "Un fauteuil de bureau qui soutient le bas du dos. Vous
cesserez de le remarquer, et c'est le but."
Original : "{{new_description}}"
Réécriture :
Deux exemples en disent plus sur la voix qu'un paragraphe d'adjectifs (« spirituel mais discret »). C'est le meilleur argument pour le few-shot : un style, un ton et un format faciles à reconnaître et difficiles à spécifier.
Quand les exemples aident-ils clairement ?
Par expérience, les exemples sont rentables dans quelques situations récurrentes :
Formats de sortie inhabituels. Un balisage maison, une façon particulière d'écrire les dates, un style de citation inventé par votre équipe. Un exemple du résultat fini supprime beaucoup de suppositions.
Frontières de classification floues. Si « réclamation » et « demande de fonctionnalité » dépendent des conventions de votre équipe, montrez un cas limite étiqueté comme vous le voulez. Associez-le à une règle écrite, car le modèle ne généralisera pas forcément à partir d'un seul cas.
Transfert de style. Comme ci-dessus. La voix est ce qu'il y a de plus difficile à décrire et de plus facile à démontrer.
Modèles plus petits ou plus anciens. Moins le modèle est capable, plus il s'appuie sur les démonstrations. Si vous faites tourner en local un petit modèle à poids ouverts, le few-shot compte souvent bien plus qu'avec un modèle de pointe.
Quand les exemples few-shot nuisent-ils ?
C'est la partie que la plupart des tutoriels sautent. Les exemples sont des signaux forts, et les signaux forts ont des effets secondaires.
Le modèle copie les mauvaises choses
Imaginons que vos deux exemples portent sur des produits de cuisine et fassent environ 30 mots. Vos sorties dériveront vers 30 mots, et vous verrez peut-être des métaphores de cuisine s'infiltrer dans les descriptions de sacs pour ordinateur portable. Le modèle ne sait pas quelles caractéristiques de l'exemple sont le but et lesquelles sont accidentelles. Il les copie toutes un peu.
La solution, c'est la variété. Faites varier les exemples en longueur, en sujet et en structure sur toutes les dimensions qui vous sont égales, et ne les gardez cohérents que sur la dimension qui vous importe.
Déséquilibre des étiquettes et biais d'ordre
La recherche sur la classification few-shot l'a documenté directement. Zhao et al. (2021, « Calibrate Before Use ») ont constaté que les prédictions de GPT-3 étaient biaisées vers les étiquettes plus fréquentes dans le prompt et vers l'étiquette du dernier exemple. Les modèles récents sont moins fragiles, mais la tendance n'a pas disparu.
Si votre prompt d'analyse de sentiment contient trois exemples positifs et un négatif, ne vous étonnez donc pas que des messages neutres reviennent positifs. Équilibrez les classes et mélangez l'ordre, ou veillez au moins à ce que le dernier exemple n'ait pas toujours la même étiquette.
Des exemples qui contredisent les instructions
Un bug étonnamment fréquent :
Résume l'article en deux phrases au maximum.
Article d'exemple : ...
Résumé d'exemple : L'entreprise a annoncé un chiffre d'affaires en hausse ce trimestre.
Elle a aussi annoncé un nouveau PDG. Les analystes s'attendent à une hausse de l'action.
La consigne dit deux phrases, l'exemple en a trois. Quand instructions et exemples divergent, les modèles suivent souvent l'exemple. Vérifiez vos exemples par rapport à vos propres règles avant d'accuser le modèle.
Des exemples qui figent un schéma étroit
Si chaque exemple d'« extraire les actions à mener » montre exactement deux éléments, le modèle peut se mettre à produire deux éléments même pour une réunion qui en comptait cinq. Incluez un exemple sans aucun élément et un avec beaucoup. Les cas limites dans vos exemples apprennent au modèle que les cas limites sont permis.
Les étiquettes des exemples doivent-elles même être correctes ?
Question intéressante, et la réponse de la recherche est « moins qu'on ne le pense, mais ne comptez pas là-dessus ». Min et al. (2022, « Rethinking the Role of Demonstrations ») ont constaté que, sur toute une gamme de tâches de classification, échanger au hasard les étiquettes des démonstrations ne dégradait les performances que modestement ; l'essentiel du bénéfice venait de la distribution des entrées, de l'espace des étiquettes et du format. C'est un éclairage utile sur le fonctionnement des exemples. Ce n'est pas un permis d'utiliser des exemples bâclés en production, où un exemple faux peut enseigner une mauvaise règle précisément sur les cas limites qui vous importent.
Combien d'exemples utiliser ?
Il n'y a pas de nombre universel. En pratique :
- Un exemple montre un format, mais invite à une forte copie.
- Deux à cinq exemples bien choisis et variés suffisent pour la plupart des tâches.
- Au-delà, les gains plafonnent en général, et chaque exemple ajoute du coût et de la latence à chaque appel.
La seule façon fiable de choisir est de tester. Gardez un petit jeu d'évaluation (vingt ou trente entrées réelles avec de bonnes sorties connues), essayez zéro, deux et cinq exemples, et regardez à la fois la précision et le type d'erreurs. Parfois, plus d'exemples corrigent un mode d'échec et en introduisent un autre.
Les exemples doivent-ils remplacer les instructions ?
Rarement. Les prompts les plus solides associent une règle courte et explicite à des exemples qui l'illustrent. Les instructions disent ce qui compte ; les exemples montrent à quoi cela ressemble. Si vous ne vous appuyez que sur des exemples, le modèle doit reconstituer votre intention, et il déduira parfois une autre règle que celle que vous aviez en tête.
Un bon réflexe est de marquer clairement les exemples pour que le modèle ne les confonde pas avec l'entrée réelle :
Classe chaque ticket de support comme "bug", "billing" ou "question".
Un ticket qui signale un message d'erreur compte comme "bug" même si
l'utilisateur le formule comme une question.
<examples>
<example>
Ticket : Pourquoi ai-je "Error 502" quand j'exporte un rapport ?
Label: bug
</example>
<example>
Ticket : Puis-je payer annuellement plutôt que mensuellement ?
Label: billing
</example>
<example>
Ticket : Existe-t-il un raccourci clavier pour la recherche ?
Label: question
</example>
</examples>
Ticket : {{ticket}}
Label:
Remarquez que le premier exemple est le cas limite décrit par la règle écrite. C'est voulu : l'instruction énonce la règle, l'exemple prouve que vous la pensiez.
Un guide de décision rapide
Demandez-vous si un nouveau collègue compétent pourrait faire la tâche à partir de vos seules instructions écrites. Si oui, restez en zero-shot et consacrez votre énergie à des instructions et un format clairs. S'il demanderait « tu peux m'en montrer un ? », ajoutez des exemples, variez-les, équilibrez-les et vérifiez qu'ils concordent avec vos règles.
Pour aller plus loin, le thème few-shot détaille davantage les décisions, et l'article complémentaire sur le chain-of-thought explique ce qui se passe quand les exemples incluent des étapes de raisonnement, pas seulement des réponses. Si vous débutez, commencez par ce qu'est le prompt engineering.
Questions fréquentes
Quelle est la différence entre le zero-shot et le few-shot prompting ?
Un prompt zero-shot décrit la tâche avec des instructions seulement. Un prompt few-shot ajoute quelques exemples entrée/sortie traités, pour que le modèle déduise le schéma à partir d'eux.
Combien d'exemples un prompt few-shot doit-il contenir ?
En général, deux à cinq exemples bien choisis suffisent. N'en ajoutez davantage que si les tests montrent un gain, et veillez à ce qu'ils couvrent des cas différents au lieu de répéter le même.
Les exemples few-shot peuvent-ils dégrader les résultats ?
Oui. Les modèles ont tendance à copier les caractéristiques de surface des exemples, comme la longueur, la formulation et le sujet, et peuvent être biaisés vers les étiquettes plus fréquentes ou placées en dernier dans la liste d'exemples.
Qu'est-ce que le one-shot prompting ?
Le one-shot prompting est du few-shot avec un seul exemple. Il est utile pour montrer un format, mais un seul exemple facilite une copie trop fidèle de cet exemple par le modèle.
- #few-shot prompting
- #zero-shot prompting
- #apprentissage en contexte
- #exemples