Archivi di vettori in Azure Machine Learning (anteprima)
Importante
Questa funzionalità è attualmente in anteprima pubblica. Questa versione di anteprima viene fornita senza contratto di servizio, pertanto se ne sconsiglia l’uso per i carichi di lavoro in ambienti di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate.
Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.
Questo articolo descrive gli indici vettoriali in Azure Machine Learning che è possibile usare per eseguire la generazione avanzata del recupero (RAG). Un indice vettoriale archivia incorporamenti che sono rappresentazioni numeriche di concetti (dati) convertiti in sequenze numeriche. Gli incorporamenti consentono ai modelli di linguaggio di grandi dimensioni di comprendere le relazioni tra i concetti. È possibile creare archivi vettoriali per connettere i dati con LLM come GPT-4 e recuperare i dati in modo efficiente.
Azure Machine Learning supporta due archivi vettoriali che contengono i dati supplementari usati in un flusso di lavoro RAG:
| Archivio vettoriale | Descrizione | Funzionalità e utilizzo |
|---|---|---|
| Faiss | Libreria open source | - Usare l'archivio basato su file locale - Costi minimi - Supporto per soli dati vettoriali - Supporto di sviluppo e test |
| Azure AI Search | Risorse PaaS di Azure | - Archivio dei dati di testo nell'indice di ricerca - Numero elevato di indici con un singolo servizio - Supporto dei requisiti aziendali a livello aziendale - Accesso al recupero di informazioni ibride |
Le sezioni seguenti illustrano le considerazioni per l'uso di questi archivi vettoriali.
Libreria Faiss
Faiss è una libreria open source che fornisce un archivio basato su file locale. L'indice vettoriale viene archiviato nell'account di archiviazione di Azure dell'area di lavoro di Azure Machine Learning. Per lavorare con Faiss, scaricare la libreria e usarla come componente della soluzione. Poiché l'indice viene archiviato in locale, i costi sono minimi.
È possibile usare la libreria Faiss come archivio vettoriale ed eseguire le azioni seguenti:
Archiviare i dati vettoriali localmente senza costi per la creazione di un indice (solo costo di archiviazione)
Compilare ed eseguire query su un indice in memoria
Condividere copie per uso singolo e configurare l'hosting dell'indice per un'applicazione
Ridimensionare con l'indice di caricamento del calcolo sottostante
Azure AI Search
Azure AI Search (in precedenza Ricerca cognitiva) è una risorsa Azure PaaS dedicata creata in una sottoscrizione di Azure. La risorsa supporta il recupero delle informazioni sui dati vettoriali e testuali archiviati negli indici di ricerca. Un prompt flow può creare, popolare ed eseguire query sui dati vettoriali archiviati in Azure AI Search. Un singolo servizio di ricerca può ospitare un numero elevato di indici, che possono essere sottoposti a query e usati in un criterio RAG.
Ecco alcuni punti chiave sull'uso di Azure AI Search per l'archivio di vettori:
Supporto dei requisiti aziendali a livello aziendale per la scalabilità, la sicurezza e la disponibilità.
Accesso al recupero di informazioni ibride. I dati vettoriali possono coesistere con dati non vettoriali, pertanto è possibile usare qualsiasi funzionalità di Azure AI Search per l'indicizzazione e le query, tra cui ricerca ibrida e riclassificazione semantica.
Tenere presente che il supporto del vettore di è disponibile in anteprima. Attualmente, i vettori devono essere generati esternamente e quindi passati ad Azure AI Search per l'indicizzazione e la codifica delle query. Il prompt flow gestisce automaticamente queste transizioni.
Per usare AI Search come archivio di vettori per Azure Machine Learning, è necessario avere un servizio di ricerca. Dopo aver creato il servizio e aver concesso l'accesso agli sviluppatori, è possibile scegliere Azure AI Search come indice vettoriale in un prompt flow. Il prompt flow crea l'indice in Azure AI Search, genera vettori dai dati di origine, invia i vettori all'indice, richiama la ricerca di somiglianza in AI Search e restituisce la risposta.