Condividi tramite

Ricerca vettoriale in Azure Cosmos DB per NoSQL

  • Si applica a: ✅ NoSQL

Azure Cosmos DB per NoSQL offre ora un'efficiente indicizzazione e ricerca di vettori. Questa funzionalità è progettata per gestire vettori multi modali, ad alta dimensione, consentendo una ricerca di vettori efficiente e accurata su qualsiasi scala. È ora possibile archiviare i vettori direttamente nei documenti insieme ai dati. Ogni documento nel database può contenere non solo dati tradizionali senza schema, ma anche vettori ad alta dimensione multi modali come altre proprietà dei documenti. Questa coubicazione di dati e vettori consente un'indicizzazione e una ricerca efficienti, poiché i vettori vengono archiviati nella stessa unità logica dei dati che rappresentano. Mantenere insieme vettori e dati semplifica la gestione dei dati, le architetture delle applicazioni di intelligenza artificiale e l'efficienza delle operazioni basate su vettori.

Azure Cosmos DB per NoSQL offre flessibilità consentendo di scegliere il metodo di indicizzazione vettoriale:

  • Una ricerca esatta flat o k-nearest neighbors (talvolta chiamata anche forza bruta) può fornire il 100% di richiamo di recupero per ricerche vettoriali più piccole e incentrate. in particolare quando si combinano con filtri di query e chiavi di partizione.
  • Indice flat quantizzato che comprime i vettori usando metodi di quantizzazione basati su DiskANN per migliorare l'efficienza nella ricerca kNN.
  • DiskANN, una suite di algoritmi di indicizzazione vettoriali all'avanguardia sviluppati da Microsoft Research per una ricerca efficiente e ad alta precisione di vettori multi modali su qualsiasi scala.

Per altre informazioni sull'indicizzazione vettoriale, vedere Indici vettoriali.

La ricerca vettoriale in Azure Cosmos DB può essere combinata con tutti gli altri filtri e indici di query NoSQL supportati di Azure Cosmos DB tramite WHERE clausole. Ciò consente alle ricerche vettoriali di fornire i dati più rilevanti per le applicazioni.

Questa funzionalità migliora le funzionalità di base di Azure Cosmos DB, rendendola più versatile per la gestione dei dati vettoriali e dei requisiti di ricerca nelle applicazioni di intelligenza artificiale.


Nota

Interessato alle funzionalità di ricerca vettoriale con velocità effettiva ultra elevata? Azure Cosmos DB sta sviluppando funzionalità avanzate di ricerca vettoriale progettate per set di dati vettoriali di grandi dimensioni associati a inserimenti e ricerche con velocità effettiva ultra elevata. Può supportare milioni di query al secondo (QPS) con una latenza prevedibile e bassa, oltre a un'efficienza dei costi impareggiabile. Iscriversi per altre informazioni sulle opportunità di accesso anticipato e ricevere notifiche quando queste funzionalità diventano disponibili.

Iscriviti all'Anteprima Privata Estesa.

Che cos'è un archivio di vettori?

Un archivio vettoriale o un database vettoriale è un database progettato per archiviare e gestire incorporamenti vettoriali, che sono rappresentazioni matematiche dei dati in uno spazio ad alta dimensionalità. In questo spazio, ogni dimensione corrisponde a una caratteristica dei dati e decine di migliaia di dimensioni possono essere usate per rappresentare dati sofisticati. La posizione di un vettore in questo spazio rappresenta le sue caratteristiche. Parole, frasi o interi documenti, immagini, audio e altri tipi di dati possono essere vettorizzati.

Come funziona un archivio vettoriale?

In un archivio vettoriale, gli algoritmi di ricerca vettoriale vengono usati per indicizzare ed eseguire query sugli incorporamenti. Alcuni algoritmi di ricerca di vettori noti includono Gerarchica Navigable Small World (HNSW), Inverted File (IVF) e DiskANN. La ricerca vettoriale è un metodo che consente di trovare elementi simili in base alle caratteristiche dei dati anziché in base alle corrispondenze esatte in un campo di proprietà.

Questa tecnica è utile nelle applicazioni come la ricerca di testi simili o di immagini correlate, la creazione di elementi consigliati o anche il rilevamento di anomalie. Viene usato per eseguire query sui vettori di incorporamento dei dati che hai creato utilizzando un modello di Apprendimento Automatico tramite un'API di vettori di incorporamento. Esempi di API di incorporamento sono gli incorporamenti OpenAI di Azure o Hugging Face in Azure.

La ricerca vettoriale misura quindi la distanza tra i vettori di dati e i vettori di query. I vettori di dati più vicini al vettore di query sono quelli che risultano più simili dal punto di vista semantico.

Nel database integrato di vettori in Azure Cosmos DB per NoSQL, è possibile archiviare, indicizzare ed eseguire query sugli embeddings insieme ai dati originali. Questo approccio elimina il costo aggiuntivo della replica dei dati in un database vettoriale puro separato. Inoltre, questa architettura mantiene insieme gli incorporamenti vettoriali e i dati originali, che facilitano meglio le operazioni di dati multi modale e consentono una maggiore coerenza, scalabilità e prestazioni dei dati.

Abilitare la funzionalità di indicizzazione e ricerca dei vettori

Per abilitare questa funzionalità per Azure Cosmos DB per NoSQL, seguire questa procedura:

  1. Vai alla pagina della risorsa Azure Cosmos DB per NoSQL.
  2. Nel riquadro sinistro, in Impostazioni, selezionare Funzionalità.
  3. Selezionare Ricerca vettoriale per l'API NoSQL.
  4. Leggere la descrizione della funzionalità per confermare che si vuole abilitarla.
  5. Selezionare Abilita per attivare la ricerca vettoriale in Azure Cosmos DB per NoSQL.

Suggerimento

In alternativa, usare l'interfaccia della riga di comando di Azure per aggiornare le funzionalità dell'account per supportare la ricerca vettoriale NoSQL.

az cosmosdb update \
     --resource-group <resource-group-name> \
     --name <account-name> \
     --capabilities EnableNoSQLVectorSearch

La richiesta di registrazione viene approvata automaticamente, ma potrebbero essere necessari 15 minuti.

Politiche vettoriali dei contenitori

Per eseguire la ricerca vettoriale con Azure Cosmos DB for NoSQL è necessario definire criteri vettoriali per il contenitore. In questo modo vengono fornite informazioni essenziali per il motore di database per eseguire una ricerca efficiente di somiglianza per i vettori presenti nei documenti del contenitore. In questo modo si informa anche il criterio di indicizzazione vettoriale delle informazioni necessarie, se si sceglie di specificarne una. Le informazioni seguenti sono incluse nei criteri vettoriali contenuti:

  • path: percorso della proprietà che contiene vettori (obbligatorio).
  • datatype: tipo di dati della proprietà vettore. I tipi supportati sono float32, float16int8, e uint8.
  • dimensions: la dimensionalità o la lunghezza di ogni vettore nel percorso. Tutti i vettori in un percorso devono avere lo stesso numero di dimensioni. Il valore predefinito è 1536.
  • distanceFunction: metrica usata per calcolare la distanza/somiglianza. Metriche supportate:
    • coseno (impostazione predefinita), che ha valori da -1 (meno simile) a +1 (più simile).
    • dot product, con valori compresi tra -inf (meno simili) e +inf (più simili).
    • euclideo, con valori compresi tra 0 (più simili) e +inf (meno simili).

Nota

Ogni percorso univoco può avere al massimo un criterio. Tuttavia, è possibile specificare più criteri se sono destinati a un percorso diverso.

Nota

Molti modelli di incorporamento rappresentano elementi di un vettore usando float32. Uso di float16 può invece ridurre il footprint di archiviazione dei vettori del 50%, tuttavia è possibile che si verifichi una riduzione dell'accuratezza.

I criteri del vettore del contenitore possono essere descritti come oggetti JSON. Di seguito sono riportati due esempi di criteri di vettori di contenitori validi:

Politica con un singolo percorso vettoriale

{
    "vectorEmbeddings": [
        {
            "path":"/vector1",
            "dataType":"float32",
            "distanceFunction":"cosine",
            "dimensions":1536
        }
    ]
}

Politica con due percorsi vettoriali

{
    "vectorEmbeddings": [
        {
            "path":"/vector1",
            "dataType":"float32",
            "distanceFunction":"cosine",
            "dimensions":1536
        },
        {
            "path":"/vector2",
            "dataType":"float16",
            "distanceFunction":"dotproduct",
            "dimensions":100
        }
    ]
}

Criteri di indicizzazione vettoriale

Gli indici vettoriali aumentano l'efficienza durante l'esecuzione di ricerche vettoriali usando la funzione di VectorDistance sistema. Le ricerche vettoriali hanno una latenza inferiore, una velocità effettiva più elevata e un consumo minore di UR quando si usa un indice vettoriale. È possibile specificare i tipi seguenti di criteri di indice vettoriale:

Tipo Descrizione Dimensioni massime
flat Archivia i vettori nello stesso indice di altre proprietà indicizzate. 505
quantizedFlat Quantizza (comprime) i vettori prima di archiviarli nell'indice. Ciò può migliorare la latenza e la velocità effettiva a scapito dell'accuratezza. 4096
diskANN Crea un indice basato su DiskANN per una ricerca approssimativa veloce ed efficiente. 4096

Nota

Gli indici quantizedFlat e diskANN richiedono l'inserimento di almeno 1.000 vettori. Ciò consente di garantire l'accuratezza del processo di quantizzazione. Se sono presenti meno di 1.000 vettori, si esegue invece una scansione completa, con addebiti RU più elevati per una query di ricerca vettoriale.

Alcuni punti da considerare:

  • I flat tipi di indice e quantizedFlat usano l'indice di Azure Cosmos DB per archiviare e leggere ogni vettore durante l'esecuzione di una ricerca vettoriale. Le ricerche vettoriali con un indice flat sono ricerche di forza bruta e producono precisione o richiamo al 100%. Ovvero, è garantito trovare i vettori più simili nel set di dati. Tuttavia, esiste una limitazione delle dimensioni 505 per i vettori in un indice flat.

  • L'indice quantizedFlat archivia i vettori quantizzati (compressi) nell'indice. Le ricerche vettoriali con indice quantizedFlat sono anche ricerche di forza bruta, ma la loro accuratezza potrebbe essere leggermente inferiore al 100% perché i vettori vengono quantizzati prima di aggiungere all'indice. Tuttavia, le ricerche vettoriali con quantized flat devono avere una latenza inferiore, una velocità effettiva più elevata e un costo UR inferiore rispetto alle ricerche vettoriali su un indice flat. Questa è un'opzione valida per gli scenari più piccoli o per gli scenari in cui si usano filtri di query per restringere la ricerca vettoriale a un set relativamente ridotto di vettori. quantizedFlat è consigliabile quando il numero di vettori da indicizzare è in una posizione di circa 50.000 o meno per partizione fisica. Tuttavia, questa è solo una linea guida generale e le prestazioni effettive devono essere testate perché ogni scenario può essere diverso.

  • L'indice diskANN è un indice separato definito in modo specifico per i vettori che usano DiskANN, una suite di algoritmi di indicizzazione a vettori con prestazioni elevate sviluppati da Microsoft Research. Gli indici DiskANN possono offrire una certa latenza più bassa, la velocità effettiva più elevata e le query sui costi delle UR più basse, mantenendo comunque un'accuratezza elevata. In generale, DiskANN è il più efficiente di tutti i tipi di indice se sono presenti più di 50.000 vettori per partizione fisica.

Ecco alcuni esempi di criteri di indice vettoriale validi:

{
    "indexingMode": "consistent",
    "automatic": true,
    "includedPaths": [
        {
            "path": "/*"
        }
    ],
    "excludedPaths": [
        {
            "path": "/_etag/?"
        },
        {
            "path": "/vector1/*"
        }
    ],
    "vectorIndexes": [
        {
            "path": "/vector1",
            "type": "diskANN"
        }
    ]
}

{
    "indexingMode": "consistent",
    "automatic": true,
    "includedPaths": [
        {
            "path": "/*"
        }
    ],
    "excludedPaths": [
        {
            "path": "/_etag/?"
        }
    ],
    "vectorIndexes": [
        {
            "path": "/vector1",
            "type": "quantizedFlat"
        },
        {
            "path": "/vector2",
            "type": "diskANN"
        }
    ]
}

Importante

I caratteri jolly (*,[]) e i percorsi dei vettori annidati all'interno delle matrici non sono attualmente supportati nei criteri vettoriali o nell'indice vettoriale.

Eseguire la ricerca vettoriale con query usando VectorDistance

Dopo aver creato un contenitore con i criteri vettoriali desiderati e aver inserito i dati vettoriali nel contenitore, è possibile eseguire una ricerca vettoriale usando la funzione di sistema VectorDistance in una query. L'esempio seguente mostra una query NoSQL che visualizza il punteggio di somiglianza con l'alias SimilarityScore, ordinando dal più simile al meno simile.

SELECT TOP 10 c.title, VectorDistance(c.contentVector, [1,2,3]) AS SimilarityScore   
FROM c  
ORDER BY VectorDistance(c.contentVector, [1,2,3])  

Importante

Usare sempre una clausola TOP N nell'istruzione SELECT di una query. In caso contrario, la ricerca vettoriale tenta di restituire molti più risultati e la query costa più UR e ha una latenza più elevata del necessario.

Limitazioni correnti

L'indicizzazione vettoriale e la ricerca in Azure Cosmos DB per NoSQL presentano alcune limitazioni.

  • quantizedFlat gli indici e diskANN richiedono l'indicizzazione di almeno 1.000 vettori per garantire che la quantizzazione sia accurata. Se vengono indicizzati meno di 1.000 vettori, viene invece usata un'analisi completa e gli addebiti per le UR potrebbero essere maggiori.
  • I vettori indicizzati con il tipo di indice flat possono essere al massimo di 505 dimensioni. I vettori indicizzati con il tipo di indice quantizedFlat o DiskANN possono essere al massimo di 4.096 dimensioni.
  • La frequenza di inserimenti vettoriali deve essere limitata. L'inserimento molto grande (superiore a 5 milioni di vettori) in un breve periodo di tempo potrebbe richiedere più tempo per la costruzione dell'indice.
  • La funzionalità di ricerca vettoriale non è attualmente supportata nei contenitori esistenti. Per usarlo, è necessario creare un nuovo contenitore e specificare i criteri di incorporamento del vettore a livello di contenitore.
  • I database con velocità effettiva condivisa non sono supportati.
  • Al momento, l'indicizzazione vettoriale e la ricerca non sono supportate sugli account con Throughput Condiviso.
  • Dopo aver abilitato l'indicizzazione e la ricerca di vettori in un contenitore, non può essere disabilitata.

Contenuto correlato

Passaggio successivo

Usare il livello a vita gratuito di Azure Cosmos DB

  • Last updated on