Перейти к содержимому
TokIQ
Техники

Chain-of-thought: что это и работает ли «думай по шагам»

Chain-of-thought просит модель рассуждать по шагам перед ответом. Когда это помогает, когда reasoning-модели делают его лишним и как применять.

TokIQ Editorial5 мин чтения
В этой статье
  1. Почему письменное рассуждение помогает?
  2. Конкретный пример: до и после
  3. Работает ли «думай по шагам» с reasoning-моделями?
  4. Рассуждать до ответа или после?
  5. Как отделить рассуждение от итогового ответа?
  6. Когда chain-of-thought вредит?
  7. Родственные приёмы, которые стоит знать
  8. Коротко

Chain-of-thought (CoT, «цепочка рассуждений») - это когда языковую модель просят письменно пройти промежуточные шаги, прежде чем она выдаст ответ. Больше всего это помогает в задачах из нескольких зависимых шагов: арифметика, логика, планирование с несколькими ограничениями. В простых задачах пользы почти нет. Новые «рассуждающие» (reasoning) модели делают это внутри себя, поэтому явные инструкции вроде «думай по шагам» нужны меньше, чем несколько лет назад.

У приёма понятное происхождение. В 2022 году Wei et al. опубликовали статью «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» и показали: если в few-shot-примерах есть не только ответы, но и разобранные рассуждения, большие модели заметно лучше решают текстовые математические задачи и похожие тесты. Вскоре Kojima et al. («Large Language Models are Zero-Shot Reasoners», 2022) обнаружили, что достаточно дописать «Let's think step by step», и получится похожий эффект без всяких примеров. С тех пор эту фразу скопировали в бессчётное число промптов.

Почему письменное рассуждение помогает?

Модель генерирует текст по одному токену, и каждый токен зависит от того, что было до него. Если она должна сразу выдать окончательный ответ, вся работа приходится на один шаг. Если же сначала написать «поезд отправляется в 14:10, в пути 2 часа 35 минут, значит, прибывает в 16:45», то каждый промежуточный результат становится частью контекста для следующего шага. Записанные шаги служат черновиком.

Из этого же видно, где CoT не поможет. Если задача не раскладывается на шаги, черновику нечего хранить. Если попросить модель «думать по шагам», какой из двух синонимов звучит дружелюбнее, получится в основном просто более длинный ответ.

Конкретный пример: до и после

Вот задача, на которой модели, отвечающие с ходу, часто ошибаются:

Переговорная забронирована 09:00–10:30 и 13:00–14:00.
Бригаде уборщиков нужно 45 минут, она должна закончить до 12:00
и не может начинать раньше 09:15. Перечислите все допустимые
времена начала с шагом в четверть часа.

Отвечая сразу, модель может назвать 09:15, а это пересекается с бронированием. Версия, в которой сначала просят показать работу:

Переговорная забронирована 09:00–10:30 и 13:00–14:00.
Бригаде уборщиков нужно 45 минут, она должна закончить до 12:00
и не может начинать раньше 09:15.

Сначала запишите свободные окна между 09:15 и 12:00.
Затем проверьте, какие времена начала с шагом в четверть часа
подходят для 45-минутного слота внутри этих окон. В конце
перечислите допустимые времена начала.

Заметьте: это лучше, чем просто «думай по шагам». Здесь модели говорят, какие шаги важны. Обычный CoT позволяет модели самой выбрать разбиение, а направляемый CoT сразу даёт ей верное. Если вы знаете, как правильно разбить задачу, так и напишите.

(Для справки, ответ: свободное окно с 10:30 до 12:00, поэтому подходят 10:30, 10:45 и 11:00, а 11:15 не подходит, потому что слот должен закончиться до 12:00. Если выписать шаги, эту последнюю границу трудно пропустить.)

Работает ли «думай по шагам» с reasoning-моделями?

Именно здесь советы 2023 года устарели. В нескольких семействах моделей теперь есть режимы рассуждения или отдельные reasoning-модели, которые перед видимым ответом генерируют скрытую или сокращённую цепочку рассуждений. Таковы серия o от OpenAI, extended thinking у Anthropic и модели thinking у Gemini.

С такими моделями меняется несколько вещей:

  • Фраза «думай по шагам» обычно почти ничего не даёт, потому что модель и так тратит токены на рассуждение.
  • В собственных рекомендациях разработчиков обычно советуют давать общие инструкции, а не предписывать точные шаги. Если рассказывать reasoning-модели, как именно думать, это может её сковать и порой ухудшает результат.
  • Рассуждением часто управляют через настройку API (уровень усилий на рассуждение или бюджет токенов на размышление), а не через текст промпта.

Практическое правило такое: на обычной чат-модели явный CoT по-прежнему полезен для задач из нескольких шагов. На reasoning-модели опишите цель, ограничения и то, чему должен соответствовать верный ответ, и дайте ей спланировать самой. Загляните в документацию поставщика для конкретной модели, потому что в этой области всё быстро меняется.

Рассуждать до ответа или после?

До. Всегда до.

Это одна из самых частых ошибок в структурированных промптах:

{
  "answer": "approve",
  "reasoning": "Заявитель проходит порог по доходу и..."
}

Если поле с ответом идёт первым, модель сначала фиксирует «approve», а потом пишет обоснование уже принятому решению. Рассуждение превращается в оправдание. Поменяйте порядок, чтобы рассуждение генерировалось первым и ответ мог на него опираться:

{
  "reasoning": "Доход 52,000, порог 50,000, значит, по доходу проходит. Долговая нагрузка 0.46, лимит 0.40, значит, не проходит...",
  "answer": "reject"
}

То же верно и для обычного текста: «Объясни своё рассуждение, а затем дай окончательный ответ в последней строке» работает лучше, чем «Дай ответ и объясни почему».

Честная оговорка. Записанная цепочка рассуждений не обязательно точно отражает, как модель на самом деле пришла к ответу. В исследованиях достоверности CoT находили случаи, когда в заявленном рассуждении не упомянуты факторы, которые реально повлияли на результат. Относитесь к рассуждению как к полезному рабочему материалу, а не как к журналу аудита.

Как отделить рассуждение от итогового ответа?

В приложении пользователям обычно не нужно видеть черновик. Им нужен ответ. Два надёжных приёма:

Теги в обычном тексте.

Разберите задачу внутри тегов <thinking>.
Затем дайте только окончательный ответ внутри тегов <answer>.
В <answer> должно быть одно число без единиц измерения.

Ваш код извлекает всё, что стоит внутри <answer>, а остальное отбрасывает. Такой приём на тегах рекомендует документация Anthropic для Claude, и он хорошо работает и с другими моделями.

Отдельные поля в структурированном выводе. Если вы и так запрашиваете JSON, добавьте поле reasoning перед полем answer, как показано выше, и выводите только answer. Как обеспечить такую структуру, разобрано в нашем руководстве про надёжный JSON от LLM.

С reasoning-моделями, которые думают внутри, вы обычно получаете сразу итоговый ответ, иногда с необязательным кратким описанием рассуждения от API. Теги для скрытой части не нужны.

Когда chain-of-thought вредит?

Им легко злоупотребить. Откажитесь от него, когда:

  • Задача сводится к поиску или простому преобразованию. Перевести предложение, поправить грамматику, достать адрес почты. CoT добавляет расходы и иногда отговаривает модель от очевидного верного ответа.
  • Задержка важнее небольшого выигрыша в точности. Токены рассуждения - тоже сгенерированные токены. Чат-бот, который шесть секунд размышляет над вопросом «в какие часы вы работаете», - плохой продукт.
  • Вы классифицируете по чётким правилам. Тут обычно лучше работают ясные определения и пара примеров, чем рассуждение. См. zero-shot и few-shot промптинг.
  • Вы покажете рассуждение конечным пользователям без проверки. В промежуточных шагах бывают недодуманные или неверные утверждения, которые итоговый ответ потом исправляет.

Родственные приёмы, которые стоит знать

Self-consistency (Wang et al., 2022) берёт несколько цепочек рассуждений и выбирает ответ большинства. Это повышает точность в задачах с единственным верным ответом, но модель приходится запускать несколько раз.

Декомпозиция по вызовам. Вместо одного длинного промпта, который делает всё, задачу делят: один вызов извлекает факты, второй рассуждает над ними, третий оформляет результат. Каждый промпт проще тестировать, и видно, где именно случилась ошибка. В продакшене это часто более надёжный вариант CoT, и он естественно подводит к вызову инструментов и агентам.

Просьба о проверке. Когда модель дала ответ, второй промпт просит сверить этот ответ с исходными ограничениями. Так отлавливается часть ошибок, хотя у модели, проверяющей собственную работу, те же слепые пятна.

Коротко

Chain-of-thought даёт модели пространство, чтобы пройти зависимые шаги, и больше всего это важно для математики, логики и планирования. Если знаете, какие шаги важны, скажите об этом. Рассуждение ставьте перед ответом, никогда не после. Черновик прячьте от пользователей с помощью тегов или отдельных полей. А с reasoning-моделями описывайте цель, а не расписывайте сценарий размышления.

Если хотите потренироваться замечать, когда рассуждение помогает, а когда оно поставлено не там, тема «рассуждение» разбирает эти решения по одному.

Частые вопросы

Что такое chain-of-thought prompting?

Chain-of-thought prompting (промптинг с цепочкой рассуждений) просит языковую модель записать промежуточные шаги рассуждения, прежде чем дать окончательный ответ. Приём получил известность благодаря работе Wei et al. (2022), которая показала заметный рост результатов на тестах по математике и логике.

Работает ли «давай подумаем шаг за шагом» сейчас?

На обычных чат-моделях это по-прежнему может помочь в задачах из нескольких шагов. У reasoning-моделей, которые и так думают перед ответом, эта фраза обычно мало что меняет, а разработчики, как правило, советуют не управлять их внутренним рассуждением слишком подробно.

Когда chain-of-thought лучше не применять?

Не нужен он для простого поиска фактов, классификации по чётким правилам и коротких правок текста. Он добавляет токены и задержку, а в лёгких задачах лишний текст может внести ошибки, а не предотвратить их.

Как скрыть рассуждение из итогового ответа?

Попросите модель поместить рассуждение в один тег, например <thinking>, а итоговый ответ в другой, например <answer>, и показывайте пользователям только ответ. При структурированном выводе рассуждение выносят в отдельное поле.

  • #chain of thought
  • #рассуждение
  • #думай по шагам
  • #reasoning-модели

Теперь потренируйтесь

TokIQ превращает промпт-инжиниринг в короткие тесты с объяснением каждого ответа.

Скоро вApp StoreДоступно вGoogle Play
Техники5 мин чтения

Что такое RAG: объяснение простыми словами

RAG находит нужные документы и добавляет их в промпт, чтобы модель отвечала по источникам. Как это работает и как составить промпт для ответов с цитатами.

Техники5 мин чтения

Few-shot промптинг: примеры против zero-shot

Zero-shot промпт содержит только инструкции, few-shot добавляет примеры. Когда примеры улучшают результат, а когда приводят к копированию, смещению и дрейфу.

Пишите промпты лучше, по нескольку вопросов в день.

Короткие тесты о реальных решениях при составлении промптов, с объяснением к каждому ответу. Начать можно бесплатно на iPhone и Android.

Скоро вApp StoreДоступно вGoogle Play