Informazioni sui database vettoriali, sulla Generazione potenziata da recupero e sugli incorporamenti nell’IA
I database vettoriali, gli incorporamenti e la Generazione potenziata da recupero (RAG) sono tecnologie fondamentali per migliorare le applicazioni guidate dall'IA, in particolare nel contesto di Azure Cosmos DB basato su vCore per MongoDB. Comprendere questi concetti è essenziale per implementare funzionalità avanzate come ad esempio la ricerca vettoriale che esegue query sui propri dati.
Informazioni sugli incorporamenti nell’IA
Prima di illustrare i database vettoriali o i sistemi RAG, è necessario comprendere gli incorporamenti e il loro ruolo nelle applicazioni di IA. Gli incorporamenti convertono elementi come parole, frasi o interi documenti in vettori numerici che ne riflettono i significati. Ad esempio, un vettore che rappresenta la parola "cat" potrebbe essere rappresentato come segue:
[0.1, 0.2, 0.3, 0.4, 0.5]
Questi vettori, creati tramite tecniche di Machine Learning, aiutano i modelli di IA a comprendere e usare i dati in modo più efficace. I modelli di IA possono quindi usare questi vettori per eseguire operazioni come classificazione, raggruppamento o corrispondenza delle somiglianze. Svolgono un ruolo fondamentale nelle applicazioni che vanno dall'analisi del testo alla visione artificiale, supportando operazioni come ad esempio la classificazione di testi o la generazione di immagini e di codice.
Nelle piattaforme come Azure OpenAI, gli incorporamenti sono fondamentali per aiutare i modelli linguistici di grandi dimensioni a elaborare e produrre testo che rispecchia la comunicazione umana. Trasformano i dati complessi in una forma strutturata utilizzabile dai modelli, migliorando la capacità degli stessi di generare risposte pertinenti e coerenti. Gli incorporamenti sono essenziali anche per i database vettoriali, che archiviano e recuperano i dati in base a queste rappresentazioni numeriche.
Esplorare i database vettoriali
Ogni valore nel vettore viene considerato una dimensione dei dati che rappresenta. Tale vettore rappresenta quindi la sua posizione in uno spazio altamente multidimensionale rispetto a tutti gli altri vettori. Questi vettori hanno spesso molte dimensioni mentre alcuni dei modelli di incorporamento "più piccoli" in Azure OpenAI hanno 1536 dimensioni.
I database vettoriali salvano i dati come vettori altamente multidimensionali creati tramite trasformazioni o incorporamenti da vari tipi di dati, come ad esempio testo, immagini o video. Questi database sono in grado di trovare rapidamente i dati che corrispondono semanticamente, non soltanto tramite query esatte. Questa funzionalità è utile per applicazioni come l'individuazione di immagini, documenti o prodotti simili.
Ad esempio, in un database vettoriale, è possibile eseguire ricerche usando un'immagine o una parte di testo come query per trovarne altri che corrispondono strettamente allo stile o al contenuto. Questo processo implica la ricerca di un vettore di query (incorporamento) per l'input di ricerca e l'utilizzo di misure di somiglianza come la somiglianza del coseno o la distanza euclidea per trovare la distanza tra vettori.
Pertanto, se si cerca la parola "cat", il database restituirà vettori più simili alla parola "cat" in base alla misura della somiglianza utilizzata. Queste misure di somiglianza si basano sulle trasformazioni o sugli incorporamenti per classificare i risultati in base alla loro corrispondenza con la query.
I database vettoriali possono essere un componente essenziale di un sistema RAG, dove archiviano e recuperano i dati per consentire ai modelli di IA di generare risposte. Usando i database vettoriali, è possibile accertarsi che i modelli di IA recuperino e generino risposte in base ai dati pertinenti e sensibili al contesto, migliorando l'accuratezza e la pertinenza delle risposte.
Scopri la Generazione potenziata da recupero (RAG)
I sistemi RAG migliorano i modelli linguistici di grandi dimensioni aggiungendo un sistema di recupero delle informazioni. Questo sistema basa le risposte dell’IA su dati specifici pertinenti, come ad esempio documenti e immagini vettorializzati creati a partire dai dati dell'azienda.
Un sistema RAG che usa i database vettoriali segue in genere questi passaggi:
- Incorpora la domanda o la query di input e recupera i dati pertinenti da un database vettoriale.
- Genera una richiesta che include l'input iniziale e i dati recuperati per fornire il contesto.
- Esegue una query sul modello di IA generativa con la richiesta combinata per generare una risposta.
L'integrazione dei sistemi RAG consente di controllare con precisione i dati usati dai modelli linguistici, rendendo le risposte più accurate e personalizzate. Quando è collegato a database vettoriali contenenti i tuoi dati, il modello di IA può usare i tuoi dati, migliorandone le risposte e rendendo tali risposte più applicabili e sensibili al contesto per l'azienda.
Nei sistemi RAG le applicazioni di IA sono personalizzate e gestite dai tuoi dati e non viceversa.
I database vettoriali, gli incorporamenti e la Generazione potenziata da recupero (RAG) sono essenziali per migliorare le applicazioni guidate dall'IA, in particolare con Azure Cosmos DB basato su vCore per MongoDB e Azure OpenAI. Gli incorporamenti traducono dati complessi in vettori numerici che migliorano la comprensione di un modello di IA, fondamentale per attività come la classificazione del testo e il recupero dei dati. I database vettoriali usano questi incorporamenti per eseguire ricerche rapide e basate sul significato, migliorando notevolmente le funzionalità di recupero dei dati. Quando si combinano queste tecnologie in un sistema RAG, consentono all'IA di fornire risposte non solo accurate, ma anche personalizzate per i dati specifici, migliorando sia la pertinenza che l'efficacia delle applicazioni.