Перейти к содержимому
TokIQ
Основы

Промпты для ChatGPT, Claude и Gemini: что переносится

Одинаково ли работают промпты в ChatGPT, Claude и Gemini? Большинство принципов переносится. Что различается и как проверить промпт на моделях без догадок.

TokIQ Editorial6 мин чтения
В этой статье
  1. Что переносится между моделями?
  2. Что обычно различается?
  3. Как проверить промпт на нескольких моделях?
  4. Один промпт для всех моделей или по одному на каждую?
  5. Где руководства вендоров по промптингу помогают больше всего?

Большая часть промпт-инжиниринга переносится между ChatGPT, Claude и Gemini: чёткие задачи, реальный контекст, явный формат результата, хорошие примеры и опора на источники помогают в каждой крупной модели. Различаются стиль по умолчанию, степень буквального следования инструкциям, работа с форматированием и очень длинными входными данными, а также возможности API вокруг промпта. Надёжный подход: писать промпты, исходя из принципов, а затем проверять их на той модели, с которой вы выходите в продакшен.

В этой статье мы намеренно избегаем утверждений вроде «модель X лучше в Y». Такие утверждения устаревают за недели. Полезно знать, какие части промпта переносимы и как быстро выяснить, когда это не так.

Главное

  • Принципы переносятся. Точная формулировка, подбор длины и особенности форматирования часто нет.
  • У каждого вендора есть собственное руководство по промптингу; читайте то, что относится к вашей модели.
  • Небольшой тестовый набор лучше любой статьи со сравнением, включая эту.
  • При смене модели, а также когда вендор обновляет свою модель, ждите, что промпты придётся подстраивать заново.

Что переносится между моделями?

Почти всё, что касается информации, а не формулировок.

Конкретные задачи и контекст. Любая модель работает лучше, когда вы говорите, для кого результат, зачем он нужен и каким должен быть хороший вариант. Ни одна модель не угадает вашу аудиторию.

Явный формат результата. «Верни таблицу с такими столбцами» или «JSON с такими ключами» работает везде. У всех трёх вендоров есть и возможности структурированного вывода на уровне API, о них мы пишем в статье как получать надёжный JSON от LLM.

Примеры. Few-shot примеры помогают всем в стиле и формате и везде вызывают одни и те же побочные эффекты (копирование длины и формулировок, смещение меток). Смотрите zero-shot и few-shot промптинг.

Выделение данных. Отделение инструкций от вставленного материала тегами, заголовками или кавычками уменьшает путаницу в любой модели.

Заземление. «Отвечай только по этим источникам, цитируй их, говори, когда ответа нет» — основа промптинга с заземлением независимо от модели.

Ограничения безопасности. Prompt injection касается каждой модели. Ни одну нельзя сделать безопасной одними лишь формулировками промпта.

Если вы пишете промпт, соблюдая всё это, он будет работать достаточно хорошо на любой актуальной передовой модели. Обычно не одинаково, но достаточно хорошо.

Что обычно различается?

Многословность и стиль по умолчанию

Дайте одну и ту же открытую просьбу трём ассистентам, и вы получите разную длину, разное количество разметки и разную готовность добавлять оговорки. Промпт, настроенный на одной модели так, чтобы ответ получался «примерно нужной длины», на другой может дать заметно более длинные или короткие ответы. Решение: перестаньте полагаться на значения по умолчанию и прямо указывайте длину («до 150 слов»), структуру («без заголовков, два абзаца») и тон.

Насколько буквально выполняются инструкции

Модели различаются тем, насколько они домысливают сверх буквальной инструкции. Одни склонны делать ровно то, что просили; другие — то, что, по их мнению, вы имели в виду, добавляя лишнее. Вендоры ещё и меняют это между версиями. Например, OpenAI в своих рекомендациях для некоторых новых моделей отмечала, что они выполняют инструкции буквальнее предшественников, поэтому промпты, рассчитанные на то, что модель сама додумает намерение, пришлось уточнять.

Переносимая привычка: явно указывать границы задачи. Если вам нужен только отредактированный абзац, а не переписанное целиком письмо, так и скажите. Если хотите, чтобы модель заодно исправила всё остальное, что заметит, скажите и это.

Соглашения о форматировании в промпте

Документация Anthropic рекомендует теги в стиле XML (<document>, <instructions>, <example>) для структуры промптов в Claude, и Claude очень хорошо на них реагирует. В руководствах OpenAI и Google заголовки markdown, XML-теги и другие разделители показаны как допустимые варианты. На практике XML-теги работают во всех крупных моделях и однозначно показывают, где блок заканчивается, поэтому это разумный вариант по умолчанию, если нужен один стиль везде.

Обработка системного промпта

Все три API поддерживают какую-то форму системных инструкций или инструкций разработчика, но различаются названиями, приоритетом нескольких источников инструкций и тем, какой вес имеет системный промпт против настойчивого пользователя. Если ваш продукт зависит от того, что системный промпт держится под давлением, проверьте это поведение отдельно: запросы не по теме, попытки вытащить промпт, пользователь, настаивающий на запрещённом действии. Подробнее об этом в статье как написать системный промпт.

Работа с длинным контекстом

Размеры контекстного окна различаются и часто меняются, поэтому цифр мы не приводим. Важнее максимума то, насколько хорошо модель использует информацию внутри длинных входных данных. Исследования вроде «Lost in the Middle» (Liu et al., 2023) показали, что модели лучше используют информацию в начале и конце длинного контекста, чем в середине. Советы вендоров здесь немного отличаются: Anthropic рекомендует ставить длинные документы ближе к началу, а вопрос в конце; OpenAI для промптов с длинным контекстом предлагала размещать ключевые инструкции и до материала, и после него. Когда вы переносите промпт для длинного документа между моделями, расположение инструкций — одно из первых, что стоит проверить.

Режимы рассуждения

У каждого вендора есть модели или режимы, которые рассуждают перед ответом, и управляются они разными настройками API (уровни усилия, бюджеты на размышление). Советы по промптингу для этих режимов у вендоров похожи: описывайте цель и ограничения и не диктуйте рассуждение по шагам. Явные инструкции «думай шаг за шагом», которые помогали обычным моделям, в режимах рассуждения часто мало что добавляют.

Форматы вызова инструментов

Вызов функций и инструментов везде построен на одной идее (вы описываете инструменты названием, описанием и параметрами в JSON Schema, а модель возвращает структурированный вызов), но форматы запросов и ответов различаются. Библиотеки и протоколы вроде Model Context Protocol сглаживают различия в «обвязке». Качество описаний ваших инструментов переносится полностью.

Как проверить промпт на нескольких моделях?

Метод, который занимает вечер и экономит недели споров о том, какая модель «лучше»:

  1. Соберите от 20 до 50 реальных входных данных для задачи. Включите трудные: неоднозначные запросы, нехватку информации, очень длинные входные данные, сообщение не по теме.
  2. Запишите, как выглядит хороший результат для каждого, или хотя бы правила, которым он должен соответствовать (формат корректен, есть ссылка на источник, меньше 100 слов, «не найдено» в случаях, где ответа нет).
  3. Запустите один и тот же промпт на каждой модели-кандидате. Зафиксируйте temperature или запускайте каждый вход несколько раз, потому что результаты меняются от запуска к запуску.
  4. Оцените по своим правилам: где возможно кодом (проверка формата, длины, обязательных строк), остальное читая глазами.
  5. Смотрите на сбои, а не на средние значения. Одна модель может быть чуть хуже в среднем, но ошибаться аккуратно; другая — лучше в среднем, но иногда выдумывать факты. Вторая для реального продукта часто хуже.
  6. При необходимости подстройте промпт под каждую модель, затем прогоните всё заново.

Сохраните тестовый набор. Когда вендор выпустит новую версию, прогоните его заново, прежде чем переключаться.

Один промпт для всех моделей или по одному на каждую?

Для личной работы обычно достаточно одного хорошо написанного промпта; небольшие различия не важны, когда вы сами читаете результат.

Для продукта планируйте варианты под каждую модель хотя бы для инструкций о форматировании и длине, а основное содержание (задача, контекст, правила, примеры) делайте общим. Храните промпты в системе контроля версий рядом с результатами тестов, чтобы на вопрос «зачем эта строка?» был ответ.

Где руководства вендоров по промптингу помогают больше всего?

Каждый крупный вендор ведёт документацию по промпт-инжинирингу для своих моделей: руководство OpenAI по промпт-инжинирингу, документация Anthropic по промпт-инжинирингу для Claude и стратегии составления промптов Google для Gemini. Они бесплатны, достаточно регулярно обновляются и написаны изнутри. Прочитайте то, что относится к вашей целевой модели, прежде чем подстраивать промпт: там есть возможности и предпочтения, за которыми не уследит никакая общая статья, включая эту.

Если вы ежедневно пользуетесь несколькими ассистентами, практический совет короче: пишите промпты так, чтобы они были понятны умному коллеге, который никогда не видел вашего проекта, а особенности каждой модели выясняйте в тестах, а не в предположениях. Переносимое ядро описано в теме «основы», а в статье как писать промпты для ChatGPT есть чек-лист, который подходит для всех трёх.

Частые вопросы

Одни и те же промпты работают в ChatGPT, Claude и Gemini?

Основы работают: чёткая задача, контекст, формат и примеры помогают у всех. Но результаты всё равно различаются по тону, длине, форматированию и поведению в крайних случаях, поэтому важные промпты нужно проверять на той модели, которой вы действительно будете пользоваться.

Какая ИИ-модель лучше всего подходит для промпт-инжиниринга?

Постоянного ответа нет, потому что рейтинги меняются с каждым релизом. Выберите модель, которая лучше всего справляется с вашими тестовыми случаями для вашей задачи, и проверяйте заново после обновлений моделей.

Использовать в промптах XML-теги или markdown?

Работают оба варианта в крупных моделях. В документации Anthropic для Claude специально рекомендуются теги в стиле XML, и на любой модели они хорошо отделяют инструкции от данных. Используйте то, что делает границы однозначными.

Почему один и тот же промпт на разных моделях даёт разные ответы?

Модели различаются обучающими данными, настройкой на инструкции и стилем по умолчанию. Кроме того, они выбирают слова случайным образом, если не настроено иначе, поэтому даже одна и та же модель может давать разные результаты от запуска к запуску.

  • #ChatGPT
  • #Claude
  • #Gemini
  • #сравнение моделей
  • #переносимость промптов

Теперь потренируйтесь

TokIQ превращает промпт-инжиниринг в короткие тесты с объяснением каждого ответа.

Скоро вApp StoreДоступно вGoogle Play

Пишите промпты лучше, по нескольку вопросов в день.

Короткие тесты о реальных решениях при составлении промптов, с объяснением к каждому ответу. Начать можно бесплатно на iPhone и Android.

Скоро вApp StoreДоступно вGoogle Play