Надёжный JSON от LLM: схемы, валидация, повторные запросы
Чтобы LLM вернула корректный JSON, одной вежливой просьбы мало. Схемы, режимы структурированного вывода, валидация, повторы и типичные сбои.
Структурированный вывод
Промптинг структурированного вывода — это способ добиться от модели ответа в фиксированной, машиночитаемой форме, обычно в виде JSON по схеме. Надёжный подход сочетает чёткую схему, пример, режим структурированного вывода или JSON-режим провайдера (если он есть) и проверку в вашем коде с повторной попыткой при ошибке разбора.
Your app parses the model’s JSON, but sometimes the reply starts with “Sure! Here is the JSON:”. What is the most robust fix?
Ваше приложение разбирает JSON от модели, но иногда ответ начинается со слов «Конечно! Вот JSON:». Какое исправление самое надёжное?
B. Использовать режим структурированного вывода / JSON-режим API со схемой и проверять результат Встроенные режимы структурированного вывода ограничивают ответ корректным JSON, а проверка по схеме ловит остальное. Хитрости со строками ломаются, как только меняется формулировка.
Дайте схему и пример, используйте режим структурированного вывода или JSON-режим провайдера, если он есть, и проверяйте ответ в коде. При сбое повторите запрос, добавив ошибку проверки.
Скажите ей об этом прямо, например: «используй null, если в документе этого нет». Иначе модели склонны заполнять пробелы правдоподобными догадками.
Чтобы LLM вернула корректный JSON, одной вежливой просьбы мало. Схемы, режимы структурированного вывода, валидация, повторы и типичные сбои.
Как работает tool calling в LLM, как писать описания инструментов, как запускается и останавливается цикл агента и каких сбоев ждать.
Zero-shot промпт содержит только инструкции, few-shot добавляет примеры. Когда примеры улучшают результат, а когда приводят к копированию, смещению и дрейфу.
Короткие тесты о реальных решениях при составлении промптов, с объяснением к каждому ответу. Начать можно бесплатно на iPhone и Android.