Что такое RAG: объяснение простыми словами
RAG находит нужные документы и добавляет их в промпт, чтобы модель отвечала по источникам. Как это работает и как составить промпт для ответов с цитатами.
Опора на источники
Опора на источники (grounding) означает, что модель отвечает по предоставленным вами источникам, а не по памяти. Retrieval-augmented generation (RAG) делает это автоматически: ищет по вашим документам, помещает нужные фрагменты в промпт и просит модель ответить по ним. Хорошие промпты для опоры на источники велят модели ссылаться на использованный фрагмент и говорить, если в источниках ответа нет.
Your app parses the model’s JSON, but sometimes the reply starts with “Sure! Here is the JSON:”. What is the most robust fix?
RAG-ассистент уверенно отвечает, даже когда найденные фрагменты не покрывают вопрос. Какая инструкция поможет больше всего?
B. «Отвечай только по фрагментам ниже. Если в них нет ответа, так и скажи». Если дать модели явную, разрешённую возможность сказать «в источниках этого нет», выдуманных ответов становится меньше. «Будь точен» не даёт ей ничего, на что можно опереться.
RAG — это шаблон, при котором система извлекает нужные фрагменты из хранилища документов и добавляет их в промпт, чтобы модель отвечала по этому материалу, а не только по обучающим данным. Термин происходит из работы Lewis et al. (2020).
Нет. Он их уменьшает, но модель всё равно может неверно прочитать фрагменты или выйти за их пределы. Если просить ссылки на источники и разрешить ответ «не знаю», ошибки легче заметить.
RAG находит нужные документы и добавляет их в промпт, чтобы модель отвечала по источникам. Как это работает и как составить промпт для ответов с цитатами.
Prompt injection заставляет ИИ выполнять инструкции атакующего, спрятанные во вводе или документах. Прямые и непрямые атаки и защита, которая работает.
Ошибки в промптах, из-за которых ИИ выдаёт плохой результат: от нехватки контекста до противоречивых правил и непроверенных правок. К каждой есть решение.
Короткие тесты о реальных решениях при составлении промптов, с объяснением к каждому ответу. Начать можно бесплатно на iPhone и Android.