Generazione e indici ottimizzati per il recupero

Questo articolo illustra l'importanza e la necessità della Generazione Aumentata tramite Recupero (RAG) e dell'indice nell'intelligenza artificiale generativa.

Informazioni su RAG

Alcune nozioni di base. I modelli di linguaggio di grandi dimensioni come ChatGPT vengono sottoposti a training su dati Internet pubblici disponibili nel momento in cui sono stati sottoposti a training. Possono rispondere a domande relative ai dati su cui è stato eseguito il training. I dati pubblici potrebbero non essere sufficienti per soddisfare tutte le esigenze. Potresti voler ottenere risposte alle domande basate sui tuoi dati privati. In alternativa, i dati pubblici potrebbero non essere aggiornati. La soluzione a questo problema consiste nella generazione aumentata di recupero (RAG), un modello usato nell'intelligenza artificiale che usa un LLM per generare risposte con i propri dati.

Come funziona RAG?

RAG è un modello che utilizza i tuoi dati con un LLM per generare risposte specifiche ai tuoi dati. Quando un utente pone una domanda, viene eseguita una ricerca nell'archivio dati in base all'input dell'utente. La domanda dell'utente viene quindi combinata con i risultati corrispondenti e inviata a LLM usando un prompt (istruzioni esplicite per un modello di intelligenza artificiale o Machine Learning) per generare la risposta desiderata. Questo processo può essere illustrato come segue.

Che cos'è un indice e perché è necessario?

RAG usa i dati per generare risposte alla domanda dell'utente. Per garantire il corretto funzionamento di RAG, è necessario trovare un modo per cercare e inviare i dati in modo semplice e conveniente agli LLM. Un indice risolve questo problema. Un indice è un archivio dati che consente di cercare questi ultimi in modo efficiente. Questo indice è molto utile in RAG. Un indice può essere ottimizzato per i file LLM creando vettori (dati di testo convertiti in sequenze numeriche usando un modello di incorporamento). Un buon indice offre in genere funzionalità di ricerca efficienti, ad esempio ricerche di parole chiave, ricerche semantiche, ricerche vettoriali o una combinazione di queste funzionalità. Questo modello RAG ottimizzato può essere illustrato come segue.

Azure per intelligenza artificiale fornisce un asset di indici da usare con il modello RAG. L'asset di indice contiene informazioni importanti, ad esempio:

• Dove è archiviato l'indice?
• Come accedere all'indice?
• Quali sono le modalità di ricerca dell'indice?
• Il tuo indice ha vettori?
• Qual è il modello di incorporamento usato per i vettori?

L'indice di Azure AI usa Azure AI Search come archivio di indici principale e consigliato. Azure AI Search è una risorsa di Azure che supporta il recupero delle informazioni sui dati vettoriali e testuali archiviati negli indici di ricerca.

Passaggi successivi

• Creare un indice vettoriale