Generazione e indici ottimizzati per il recupero
Questo articolo illustra l'importanza e la necessità di recuperare la generazione aumentata (RAG) e l'indice nell'intelligenza artificiale generativa.
Informazioni su RAG
Alcune nozioni di base. I modelli di linguaggio di grandi dimensioni come ChatGPT vengono sottoposti a training su dati Internet pubblici disponibili nel momento in cui sono stati sottoposti a training. Possono rispondere a domande relative ai dati su cui è stato eseguito il training. Questi dati pubblici potrebbero non essere sufficienti per soddisfare tutte le esigenze. È possibile che si desideri rispondere alle domande in base ai dati privati. In alternativa, i dati pubblici potrebbero essere semplicemente obsoleti. La soluzione a questo problema consiste nella generazione aumentata di recupero (RAG), un modello usato nell'intelligenza artificiale che usa un LLM per generare risposte con i propri dati.
Come funziona RAG?
RAG è un modello che usa i dati con un LLM per generare risposte specifiche per i dati. Quando un utente pone una domanda, viene eseguita una ricerca nell'archivio dati in base all'input dell'utente. La domanda dell'utente viene quindi combinata con i risultati corrispondenti e inviata a LLM usando un prompt (istruzioni esplicite per un modello di intelligenza artificiale o Machine Learning) per generare la risposta desiderata. Questo può essere illustrato come segue.
Che cos'è un indice e perché è necessario?
RAG usa i dati per generare risposte alla domanda dell'utente. Per garantire il corretto funzionamento di RAG, è necessario trovare un modo per cercare e inviare i dati in modo semplice e conveniente agli LLM. Questo risultato viene ottenuto usando un indice. Un indice è un archivio dati che consente di cercare questi ultimi in modo efficiente. Risulta molto utile in RAG. Un indice può essere ottimizzato per i file LLM creando vettori (dati di testo convertiti in sequenze numeriche usando un modello di incorporamento). Un buon indice offre in genere funzionalità di ricerca efficienti, ad esempio ricerche con parole chiave, ricerche semantiche, ricerche vettoriali o una combinazione di queste. Questo modello RAG ottimizzato può essere illustrato come segue.
Azure per intelligenza artificiale fornisce un asset di indici da usare con il modello RAG. L'asset di indici contiene informazioni importanti, ad esempio dove è archiviato l'indice, come accedere all'indice, quali sono le modalità di ricerca dell'indice, l'indice include vettori, qual è il modello di incorporamento usato per i vettori e così via. L'indice di intelligenza artificiale di Azure usa ricerca di intelligenza artificiale di Azure come archivio di indici primario e consigliato. Azure AI Search è una risorsa di Azure che supporta il recupero delle informazioni sui dati vettoriali e testuali archiviati negli indici di ricerca.