Перейти к содержимому
TokIQ
Техники

Few-shot промптинг: примеры против zero-shot

Zero-shot промпт содержит только инструкции, few-shot добавляет примеры. Когда примеры улучшают результат, а когда приводят к копированию, смещению и дрейфу.

TokIQ Editorial5 мин чтения
В этой статье
  1. Как выглядит zero-shot промпт?
  2. Как выглядит few-shot промпт?
  3. Когда примеры явно помогают?
  4. Когда примеры few-shot вредят?
  5. Должны ли метки в примерах вообще быть верными?
  6. Сколько примеров использовать?
  7. Должны ли примеры заменять инструкции?
  8. Краткий путеводитель по выбору

Zero-shot промптинг означает, что модели даются только инструкции и входные данные; few-shot промптинг добавляет небольшое число разобранных примеров, чтобы модель скопировала шаблон. Используйте zero-shot, когда задачу легко описать словами, а примеры добавляйте, когда формат, стиль или границу решения проще показать, чем объяснить.

Эти термины пришли из статьи о GPT-3 (Brown et al., 2020, "Language Models are Few-Shot Learners"), где было показано, что большая модель может освоить задачу по нескольким демонстрациям в промпте, без какого-либо дообучения. Эту способность обычно называют обучением в контексте (in-context learning). Спустя шесть лет модели следуют обычным инструкциям гораздо лучше, чем GPT-3, поэтому вопрос уже не в том, «нужны ли примеры, чтобы это вообще заработало», а в том, «делают ли примеры лучше или хуже в моём случае».

Главное

  • Начинайте с zero-shot и чётких инструкций. Добавляйте примеры, когда результаты нестабильны по формату или стилю.
  • Примеры копируются буквальнее, чем думает большинство: длина, тон, структура и даже тема.
  • Делайте примеры разными, балансируйте метки и не ставьте последним один и тот же класс.
  • Примеры дополняют инструкции; заменяют их редко.

Как выглядит zero-shot промпт?

Извлеки название компании и должность из подписи в письме.
Верни в виде "Компания: ..., Должность: ...". Если чего-то нет, напиши "неизвестно".

Подпись:
Мария Лопес
Руководитель платформы данных | Northwind Logistics
+1 555 0100

Современная модель справляется с этим почти всегда. Задача распространённая, формат вывода описан точно, а для случая отсутствия данных есть правило. Примеры здесь только потратили бы токены и ничего не дали.

Как выглядит few-shot промпт?

Теперь задача, в которой слов не хватает. Нужно переписать описания товаров в голосе вашего бренда: он сухой, слегка ироничный и не терпит прилагательных. Можно попытаться описать этот голос. А можно показать его:

Перепиши описания товаров в нашем фирменном стиле.

Оригинал: "Эта премиальная сверхпрочная бутылка для воды сохраняет
напитки ледяными целых 24 часа!"
Переписано: "Держит воду холодной 24 часа. Пережила падение с лестницы,
которое мы проверяли чаще, чем нужно."

Оригинал: "Почувствуйте непревзойдённый комфорт в нашем роскошном
офисном кресле эргономичного дизайна."
Переписано: "Офисное кресло, которое поддерживает поясницу. Вы перестанете
его замечать, в этом и смысл."

Оригинал: "{{new_description}}"
Переписано:

Два примера говорят о голосе больше, чем абзац прилагательных («остроумный, но сдержанный»). Это самый сильный довод в пользу few-shot: стиль, тон и формат, которые легко узнать и трудно описать.

Когда примеры явно помогают?

По опыту, примеры окупаются в нескольких повторяющихся ситуациях:

Необычные форматы вывода. Собственная разметка, особая запись дат, стиль цитирования, который придумала ваша команда. Один пример готового результата убирает много догадок.

Размытые границы классификации. Если разница между «жалобой» и «пожеланием по функции» зависит от договорённостей в вашей команде, покажите пограничный случай с нужной вам меткой. Дополните его письменным правилом, потому что модель может не обобщить один случай.

Перенос стиля. Как выше. Голос труднее всего описать и легче всего показать.

Меньшие или старые модели. Чем слабее модель, тем сильнее она опирается на демонстрации. Если вы запускаете локально небольшую модель с открытыми весами, few-shot часто значит гораздо больше, чем для передовой модели.

Когда примеры few-shot вредят?

Эту часть большинство учебников пропускает. Примеры — сильные сигналы, а сильные сигналы дают побочные эффекты.

Модель копирует не то

Допустим, оба ваших примера случайно про кухонные товары и длиной около 30 слов. Ваши результаты начнут стремиться к 30 словам, и кухонные метафоры могут проникнуть в описания сумок для ноутбуков. Модель не может понять, какие признаки примера составляют суть, а какие случайны. Она понемногу копирует всё.

Решение — разнообразие. Пусть примеры различаются длиной, темой и структурой по всем параметрам, которые вам не важны, и согласуются только по тому, что важно.

Дисбаланс меток и смещение из-за порядка

Исследования few-shot классификации документировали это напрямую. Zhao et al. (2021, "Calibrate Before Use") обнаружили, что предсказания GPT-3 смещались в сторону меток, которые чаще встречались в промпте, и в сторону метки последнего примера. Новые модели менее хрупки, но склонность не исчезла.

Поэтому, если в промпте для оценки тональности три положительных примера и один отрицательный, не удивляйтесь, когда нейтральные сообщения будут возвращаться как положительные. Балансируйте классы и перемешивайте порядок, или хотя бы следите, чтобы последний пример не всегда имел одну и ту же метку.

Примеры, противоречащие инструкциям

Удивительно частая ошибка:

Изложи статью не более чем в двух предложениях.

Пример статьи: ...
Пример изложения: Компания сообщила о росте выручки за квартал.
Также объявлено о назначении нового CEO. Аналитики ждут роста акций.

В инструкции два предложения, в примере три. Когда инструкции и примеры расходятся, модели часто следуют примеру. Сверяйте примеры со своими правилами, прежде чем винить модель.

Примеры, закрепляющие узкий шаблон

Если в каждом примере «извлечения задач» ровно два пункта, модель может начать выдавать два пункта и для встречи, где их было пять. Включите пример с нулём пунктов и пример с большим числом. Крайние случаи в примерах учат модель тому, что крайние случаи допустимы.

Должны ли метки в примерах вообще быть верными?

Интересный вопрос, и исследовательский ответ такой: «меньше, чем можно подумать, но на это не стоит полагаться». Min et al. (2022, "Rethinking the Role of Demonstrations") обнаружили, что в ряде задач классификации случайная замена меток в демонстрациях снижала качество лишь умеренно; значительная часть пользы приходила от показа распределения входных данных, пространства меток и формата. Это полезное понимание того, как работают примеры. Но это не разрешение использовать небрежные примеры в продакшене, где неверный пример может научить неверному правилу именно на тех пограничных случаях, которые вас интересуют.

Сколько примеров использовать?

Универсального числа нет. На практике:

  • Один пример показывает формат, но провоцирует сильное копирование.
  • Два-пять хорошо подобранных разных примеров справляются с большинством задач.
  • Дальше выигрыш обычно выходит на плато, а каждый пример добавляет стоимость и задержку в каждом вызове.

Выбрать надёжно можно только тестом. Держите небольшой оценочный набор (двадцать-тридцать реальных входных данных с известными хорошими результатами), попробуйте ноль, два и пять примеров и посмотрите и на точность, и на виды ошибок. Иногда больше примеров исправляет один тип сбоя и приносит другой.

Должны ли примеры заменять инструкции?

Редко. Самые сильные промпты сочетают короткое явное правило с примерами, которые его иллюстрируют. Инструкции говорят модели, что важно, примеры показывают, как это выглядит. Если полагаться только на примеры, модели приходится восстанавливать ваше намерение, и иногда она выводит другое правило, не то, которое вы имели в виду.

Практичный приём — чётко маркировать примеры, чтобы модель не путала их с настоящими входными данными:

Отнеси каждое обращение в поддержку к категории "bug", "billing" или "question".
Обращение, в котором сообщается о сообщении об ошибке, считается "bug",
даже если пользователь сформулировал его как вопрос.

<examples>
<example>
Обращение: Почему при экспорте отчёта я получаю "Error 502"?
Метка: bug
</example>
<example>
Обращение: Можно ли платить за год вместо оплаты по месяцам?
Метка: billing
</example>
<example>
Обращение: Есть ли сочетание клавиш для поиска?
Метка: question
</example>
</examples>

Обращение: {{ticket}}
Метка:

Обратите внимание, что первый пример — это пограничный случай, который описывает письменное правило. Это сделано намеренно: инструкция формулирует правило, а пример доказывает, что вы имели его в виду.

Краткий путеводитель по выбору

Спросите себя, смог бы толковый новый коллега выполнить задачу только по вашим письменным инструкциям. Если да, идите в zero-shot и тратьте силы на чёткие инструкции и формат. Если он спросил бы: «покажете один пример?», добавьте примеры, сделайте их разными, сбалансируйте и проверьте, что они согласуются с вашими правилами.

Подробнее об этом: тема few-shot разбирает решения глубже, а сопутствующая статья про chain-of-thought промптинг рассказывает, что происходит, когда примеры включают шаги рассуждения, а не только ответы. Если вы только знакомитесь с основами, начните со статьи что такое промпт-инжиниринг.

Частые вопросы

В чём разница между zero-shot и few-shot промптингом?

Zero-shot промпт описывает задачу только инструкциями. Few-shot промпт содержит ещё и несколько разобранных пар «вход-выход», чтобы модель вывела шаблон из них.

Сколько примеров должно быть в few-shot промпте?

Обычно достаточно двух-пяти хорошо подобранных примеров. Добавляйте больше, только если тесты показывают прирост, и следите, чтобы примеры охватывали разные случаи, а не повторяли один и тот же.

Могут ли примеры в few-shot ухудшить результат?

Да. Модели склонны копировать поверхностные признаки примеров, такие как длина, формулировки и тема, и могут смещаться в сторону меток, которые встречаются чаще или стоят последними в списке примеров.

Что такое one-shot промптинг?

One-shot промптинг — это few-shot с единственным примером. Он полезен, чтобы показать формат, но с одним примером модели легко скопировать его слишком близко.

  • #few-shot промптинг
  • #zero-shot промптинг
  • #обучение в контексте
  • #примеры

Теперь потренируйтесь

TokIQ превращает промпт-инжиниринг в короткие тесты с объяснением каждого ответа.

Скоро вApp StoreДоступно вGoogle Play
Техники5 мин чтения

Что такое RAG: объяснение простыми словами

RAG находит нужные документы и добавляет их в промпт, чтобы модель отвечала по источникам. Как это работает и как составить промпт для ответов с цитатами.

Пишите промпты лучше, по нескольку вопросов в день.

Короткие тесты о реальных решениях при составлении промптов, с объяснением к каждому ответу. Начать можно бесплатно на iPhone и Android.

Скоро вApp StoreДоступно вGoogle Play