Cos'è la RAG (Retrieval-Augmented Generation), spiegata
La RAG recupera documenti rilevanti e li aggiunge al prompt, così il modello risponde dalle fonti. Come funziona e come scrivere prompt con risposte citate.
Grounding
Grounding significa far rispondere un modello a partire da fonti che fornisci tu invece che dalla memoria. La retrieval-augmented generation (RAG) lo fa in automatico: cerca nei tuoi documenti, inserisce i passaggi rilevanti nel prompt e chiede al modello di rispondere in base a quelli. I buoni prompt di grounding dicono al modello di citare il passaggio usato e di segnalare quando le fonti non contengono la risposta.
Your app parses the model’s JSON, but sometimes the reply starts with “Sure! Here is the JSON:”. What is the most robust fix?
Un assistente RAG risponde con sicurezza anche quando i passaggi recuperati non coprono la domanda. Quale istruzione aiuta di più?
B. “Rispondi solo in base ai passaggi qui sotto. Se non contengono la risposta, dillo.” Dare al modello un modo esplicito e consentito per dire “non è nelle fonti” riduce le risposte inventate. “Sii accurato” non gli dà nulla su cui agire.
Il RAG è uno schema in cui un sistema recupera passaggi rilevanti da un archivio di documenti e li aggiunge al prompt, così il modello risponde in base a quel materiale e non solo ai suoi dati di addestramento. Il termine viene da Lewis et al. (2020).
No. Le riduce, ma il modello può comunque fraintendere o andare oltre i passaggi. Chiedere citazioni e consentire il “non lo so” rende gli errori più facili da individuare.
La RAG recupera documenti rilevanti e li aggiunge al prompt, così il modello risponde dalle fonti. Come funziona e come scrivere prompt con risposte citate.
La prompt injection fa seguire all'AI istruzioni dell'attaccante nascoste in input o documenti. Attacchi diretti e indiretti e le difese che funzionano.
Gli errori di prompt engineering che causano la maggior parte dei risultati AI scadenti, dal contesto mancante alle regole in conflitto, con le correzioni.
Brevi quiz su vere decisioni di prompting, con una spiegazione per ogni risposta. Gratis per iniziare su iPhone e Android.