Aller au contenu
TokIQ
Techniques

Chain-of-thought prompting : marche-t-il encore ?

Le chain-of-thought fait raisonner le modèle étape par étape. Quand il aide, quand les modèles de raisonnement le rendent superflu, et comment l'utiliser.

TokIQ Editorial6 min de lecture
Dans cet article
  1. Pourquoi écrire le raisonnement aide-t-il ?
  2. Un exemple concret, avant et après
  3. « Réfléchis étape par étape » fonctionne-t-il encore avec les modèles de raisonnement ?
  4. Le modèle doit-il raisonner avant ou après la réponse ?
  5. Comment séparer le raisonnement de la sortie finale ?
  6. Quand le chain-of-thought est-il une mauvaise idée ?
  7. Techniques voisines à connaître
  8. En résumé

Le chain-of-thought (CoT, « chaîne de pensée ») prompting consiste à demander à un modèle de langage de passer par des étapes intermédiaires écrites avant de s'engager sur une réponse. Il aide surtout pour les problèmes à plusieurs étapes dépendantes, comme l'arithmétique, la logique et la planification sous plusieurs contraintes, et peu pour les tâches simples. Les modèles de « raisonnement » plus récents le font en interne, ce qui rend les consignes explicites du type « étape par étape » moins nécessaires qu'il y a quelques années.

La technique a une origine claire. En 2022, Wei et al. ont publié « Chain-of-Thought Prompting Elicits Reasoning in Large Language Models », montrant que des exemples few-shot incluant un raisonnement détaillé, et pas seulement les réponses, amélioraient nettement les grands modèles sur des problèmes de maths rédigés et des benchmarks similaires. Peu après, Kojima et al. (« Large Language Models are Zero-Shot Reasoners », 2022) ont constaté qu'ajouter simplement « Let's think step by step » produisait un effet comparable sans aucun exemple. Cette phrase a depuis été recopiée dans un million de prompts.

Pourquoi écrire le raisonnement aide-t-il ?

Un modèle génère le texte un token à la fois, et chaque token dépend de ce qui précède. S'il doit produire la réponse finale tout de suite, tout le travail doit se faire en une seule étape. S'il écrit d'abord « le train part à 14:10, le trajet dure 2 heures 35 minutes, donc il arrive à 16:45 », chaque résultat intermédiaire entre dans le contexte de l'étape suivante. Les étapes écrites servent de brouillon.

Cette explication indique aussi où le CoT n'aidera pas. Si la tâche ne se décompose pas en étapes, il n'y a rien à mettre dans le brouillon. Demander à un modèle de « réfléchir étape par étape » pour savoir lequel de deux synonymes sonne le plus chaleureux produit surtout une réponse plus longue.

Un exemple concret, avant et après

Voici un problème qui fait trébucher les modèles quand ils répondent d'un coup :

Une salle de réunion est réservée de 09:00 à 10:30 et de 13:00 à 14:00.
Une équipe de ménage a besoin de 45 minutes, doit terminer avant 12:00
et ne peut pas commencer avant 09:15. Indique toutes les heures de début
valides, au quart d'heure.

En répondant immédiatement, un modèle peut proposer 09:15, ce qui chevauche la réservation. Voici une version qui demande d'abord le travail :

Une salle de réunion est réservée de 09:00 à 10:30 et de 13:00 à 14:00.
Une équipe de ménage a besoin de 45 minutes, doit terminer avant 12:00
et ne peut pas commencer avant 09:15.

D'abord, écris les plages libres entre 09:15 et 12:00.
Ensuite, vérifie quelles heures de début au quart d'heure permettent
un créneau de 45 minutes dans ces plages. Enfin, liste les heures
de début valides.

Notez que c'est mieux qu'un simple « réfléchis étape par étape ». La consigne dit au modèle quelles étapes comptent. Le CoT générique laisse le modèle choisir sa propre décomposition ; le CoT guidé lui donne la bonne. Quand vous savez comment découper le problème, dites-le.

(La réponse, pour mémoire : plage libre de 10:30 à 12:00, donc 10:30, 10:45 et 11:00, avec 11:15 exclu parce que le créneau doit se terminer avant 12:00. Écrire les étapes rend cette dernière limite difficile à rater.)

« Réfléchis étape par étape » fonctionne-t-il encore avec les modèles de raisonnement ?

C'est là que les conseils de 2023 sont dépassés. Plusieurs familles de modèles proposent désormais des modes de raisonnement ou des modèles de raisonnement dédiés, qui génèrent une chaîne de pensée cachée ou résumée avant la réponse visible. La série o d'OpenAI, l'extended thinking d'Anthropic et les modèles thinking de Gemini en sont des exemples.

Avec ces modèles, plusieurs choses changent :

  • Ajouter « réfléchis étape par étape » change en général peu de choses, car le modèle dépense déjà des tokens à raisonner.
  • Les recommandations des éditeurs eux-mêmes privilégient plutôt des consignes de haut niveau à la prescription d'étapes précises. Dire à un modèle de raisonnement exactement comment penser peut le brider et dégrade parfois les résultats.
  • On contrôle souvent le raisonnement via un paramètre d'API (un niveau d'effort de raisonnement ou un budget de tokens de réflexion) plutôt que par le texte du prompt.

La règle pratique est donc la suivante : sur un modèle de chat classique, le CoT explicite reste un outil utile pour les problèmes à plusieurs étapes. Sur un modèle de raisonnement, décrivez l'objectif, les contraintes et ce que doit satisfaire une bonne réponse, et laissez-le planifier. Consultez la documentation du fournisseur pour le modèle que vous utilisez, car ce domaine évolue vite.

Le modèle doit-il raisonner avant ou après la réponse ?

Avant. Toujours avant.

C'est l'une des erreurs les plus courantes dans les prompts structurés :

{
  "answer": "approve",
  "reasoning": "Le candidat atteint le seuil de revenu et..."
}

Si le champ de la réponse vient en premier, le modèle s'engage sur « approve » puis écrit une justification pour une décision déjà prise. Le raisonnement devient une rationalisation. Inversez l'ordre pour que le raisonnement soit généré d'abord et que la réponse puisse en dépendre :

{
  "reasoning": "Le revenu est de 52 000, le seuil est de 50 000, donc le revenu passe. Le ratio d'endettement est de 0,46, la limite est de 0,40, donc il échoue...",
  "answer": "reject"
}

Même chose pour le texte libre : « Explique ton raisonnement, puis donne la réponse finale sur la dernière ligne » fonctionne mieux que « Donne la réponse et explique pourquoi ».

Une réserve qu'il faut dire honnêtement. La chaîne de pensée écrite n'est pas garantie de refléter fidèlement la façon dont le modèle est arrivé à sa réponse. Des recherches sur la fidélité du CoT ont trouvé des cas où le raisonnement affiché omet des facteurs qui ont réellement influencé la sortie. Considérez le raisonnement comme un produit de travail utile, pas comme un journal d'audit.

Comment séparer le raisonnement de la sortie finale ?

Dans une application, les utilisateurs n'ont généralement pas à voir le brouillon. Ils veulent la réponse. Deux méthodes fiables :

Des balises dans le texte brut.

Résous le problème à l'intérieur de balises <thinking>.
Donne ensuite uniquement la réponse finale dans des balises <answer>.
La <answer> doit être un nombre seul, sans unité.

Votre code extrait ce qui se trouve dans <answer> et jette le reste. La documentation d'Anthropic recommande ce système de balises pour Claude, et il fonctionne bien sur tous les modèles.

Des champs séparés dans une sortie structurée. Si vous demandez déjà du JSON, ajoutez un champ reasoning avant le champ answer, comme montré plus haut, et n'affichez que answer. Notre guide sur le JSON fiable avec les LLM explique comment imposer cette structure.

Avec les modèles de raisonnement qui réfléchissent en interne, vous obtenez en général directement la réponse finale, parfois avec un résumé du raisonnement facultatif via l'API. Pas besoin de balises pour la partie cachée.

Quand le chain-of-thought est-il une mauvaise idée ?

On en abuse facilement. Évitez-le dans ces cas :

  • La tâche est une recherche ou une transformation simple. Traduire une phrase, corriger la grammaire, extraire une adresse e-mail. Le CoT ajoute du coût et dissuade parfois le modèle de la bonne réponse évidente.
  • La latence compte plus qu'un gain de précision marginal. Les tokens de raisonnement sont des tokens générés. Un chatbot qui marque une pause de six secondes pour délibérer sur « quels sont vos horaires d'ouverture » est un moins bon produit.
  • Vous classez avec des règles nettes. Des définitions claires et quelques exemples valent en général mieux qu'un raisonnement ici. Voir zero-shot vs few-shot prompting.
  • Vous montreriez le raisonnement aux utilisateurs finaux sans relecture. Les étapes intermédiaires peuvent contenir des affirmations bancales ou fausses que la réponse finale corrige ensuite.

Techniques voisines à connaître

L'auto-cohérence (self-consistency) (Wang et al., 2022) échantillonne plusieurs chaînes de pensée et retient la réponse majoritaire. Elle améliore la précision sur les problèmes à une seule bonne réponse, au prix de plusieurs exécutions du modèle.

La décomposition sur plusieurs appels. Au lieu d'un long prompt qui fait tout, découpez le problème : un appel extrait les faits, un deuxième raisonne dessus, un troisième met en forme le résultat. Chaque prompt est plus facile à tester, et vous voyez exactement où l'échec se produit. C'est souvent la version la plus robuste du CoT dans les systèmes en production, et elle mène naturellement au tool calling et aux agents.

Demander une vérification. Une fois la réponse produite, un second prompt demande au modèle de la vérifier au regard des contraintes d'origine. Cela attrape certaines erreurs, même si un modèle qui contrôle son propre travail partage ses propres angles morts.

En résumé

Le chain-of-thought donne au modèle de la place pour traverser des étapes dépendantes, et cette place compte surtout pour les maths, la logique et la planification. Dites-lui quelles étapes comptent quand vous les connaissez. Placez le raisonnement avant la réponse, jamais après. Cachez le brouillon aux utilisateurs avec des balises ou des champs séparés. Et avec les modèles de raisonnement, décrivez l'objectif plutôt que de scénariser la réflexion.

Si vous voulez vous entraîner à repérer quand le raisonnement aide et où il est mal placé, le thème raisonnement passe en revue ces décisions une par une.

Questions fréquentes

Qu'est-ce que le chain-of-thought prompting ?

Le chain-of-thought prompting (chaîne de pensée) consiste à demander à un modèle de langage d'écrire les étapes intermédiaires de son raisonnement avant de donner sa réponse finale. La méthode a été popularisée par Wei et al. (2022), qui ont montré de gros gains sur des benchmarks de maths et de logique.

« Réfléchissons étape par étape » fonctionne-t-il encore ?

Sur les modèles de chat classiques, cette formule peut encore aider pour les problèmes à plusieurs étapes. Sur les modèles de raisonnement, qui réfléchissent déjà avant de répondre, elle change en général peu de choses, et les éditeurs déconseillent le plus souvent de micromanager leur raisonnement interne.

Quand ne faut-il pas utiliser le chain-of-thought ?

Évitez-le pour les recherches simples, la classification à règles claires ou les courtes reformulations. Il ajoute des tokens et de la latence, et sur les tâches faciles, le texte supplémentaire peut introduire des erreurs au lieu de les éviter.

Comment masquer le raisonnement dans la sortie finale ?

Demandez au modèle de placer son raisonnement dans une balise, comme <thinking>, et la réponse finale dans une autre, comme <answer>, puis n'affichez que la réponse aux utilisateurs. Avec une sortie structurée, utilisez un champ distinct pour le raisonnement.

  • #chain of thought
  • #raisonnement
  • #réfléchir étape par étape
  • #modèles de raisonnement

À vous de jouer

TokIQ transforme le prompt engineering en courts quiz, avec une explication pour chaque réponse.

Bientôt surApp StoreDisponible surGoogle Play

Écrivez de meilleurs prompts, quelques questions par jour.

De courts quiz sur de vraies décisions de prompting, avec une explication pour chaque réponse. Gratuit pour commencer sur iPhone et Android.

Bientôt surApp StoreDisponible surGoogle Play