Condividi tramite

Ricerca vettoriale di Mosaic AI: Guida alla gestione dei costi

Questo articolo descrive come gestire in modo efficace i costi quando si utilizza Mosaic AI Vector Search. Include gli argomenti seguenti:

  • Nozioni di base sugli indici di ricerca vettoriali e sugli endpoint.
  • Monitoraggio della fatturazione e dell'utilizzo.
  • Modalità di sincronizzazione.
  • Procedure consigliate per ottimizzare i costi.

Nozioni di base sulla ricerca vettoriale di Mosaic AI Vector

Mosaic AI Vector Search è composto da:

  • Indici di ricerca vettoriale: gli indici archiviano i vettori per la ricerca e il recupero.
  • Endpoint di ricerca vettoriale: ogni endpoint ospita uno o più indici per la gestione delle query. È possibile avere più indici gestiti con un singolo endpoint e un endpoint può servire fino a 50 indici. In molti casi, è possibile combinare carichi di lavoro più piccoli in un singolo endpoint per ridurre i costi totali.

Modalità di prezzo della ricerca vettoriale

Databricks offre due opzioni per l'endpoint:

  • Endpoint standard. Un'unità di ricerca vettoriale copre fino a 2 milioni di vettori della dimensione 768 (o equivalente). Ad esempio, se si dispone di 1 milione di vettori della dimensione 1536, questo conteggia anche come un'unità.

  • Endpoint ottimizzati per l'archiviazione. Un'unità di ricerca vettoriale copre fino a 64 milioni di vettori della dimensione 768 (o equivalente).

Per entrambe le opzioni, ogni endpoint ha un prezzo di base e aumenta automaticamente in modo che corrisponda alle dimensioni totali degli indici che sta servendo.

  • Gli endpoint standard non vengono ridimensionati automaticamente. Anche se si eliminano vettori o si riducono le dimensioni degli indici, si continua a pagare per una maggiore capacità fino a quando non si apportano modifiche manualmente.
  • Gli endpoint ottimizzati per l'archiviazione vengono ridimensionati automaticamente quando viene eliminato un indice. La dimensione minima per un endpoint è un'unità di ricerca vettoriale.

Importante

Gli endpoint standard non vengono ridimensionati automaticamente. Se il conteggio dei vettori scende significativamente (ad esempio, da 4 milioni a 1,5 milioni di vettori), si continua a pagare per la capacità più elevata (due unità di ricerca vettoriale in questo esempio) fino a quando non si elimina l'endpoint e ne viene creato uno nuovo. Questo vale solo per gli endpoint standard. Gli endpoint ottimizzati per l'archiviazione vengono ridimensionati automaticamente.

Come monitorare l'utilizzo e i costi

Databricks fornisce una tabella di utilizzo fatturabile, dashboard di utilizzo e criteri di budget per monitorare l'utilizzo e i costi per La ricerca vettoriale.

Tabella di utilizzo fatturabile

Di seguito è riportata una query di esempio della tabella di utilizzo fatturabile:

WITH all_vector_search_usage AS (
  SELECT *,
         CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
              WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
              ELSE 'serving'
         END as workload_type
    FROM system.billing.usage
   WHERE billing_origin_product = 'VECTOR_SEARCH'
),

daily_dbus AS (
  SELECT
    workspace_id,
    cloud,
    usage_date,
    workload_type,
    usage_metadata.endpoint_name as vector_search_endpoint,
    CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
         WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
         ELSE null
         END as dbus,
    CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
         ELSE null
         END as dsus
  FROM all_vector_search_usage
  GROUP BY 1,2,3,4,5
  ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus;

Per altri dettagli sulla tabella relativa all'utilizzo fatturabile, vedere Informazioni di riferimento sulla tabella di sistema di utilizzo fatturabile.

Nel Notebook di esempio seguente, sono disponibili query aggiuntive.

Taccuino delle query delle tabelle del sistema di ricerca vettoriale

Ottieni il notebook

Cruscotti di utilizzo

Per informazioni sui dashboard di utilizzo che è possibile importare per ottenere informazioni dettagliate sui driver dei costi, incluso l'utilizzo per la ricerca vettoriale, vedere Dashboard di utilizzo.

Politiche di budget

I criteri di budget consentono agli amministratori di raggruppare e filtrare i record di fatturazione in tutti i prodotti serverless di Azure Databricks e di fornire un'interfaccia utente dedicata per tenere traccia della spesa. Per informazioni su come applicare criteri di budget a un endpoint di ricerca vettoriale, vedere Mosaic AI Vector Search: Budget policies (Ricerca a vettori di intelligenza artificiale mosaico: criteri di budget). Per informazioni generali e dettagli su come creare e gestire i criteri di budget, vedere Utilizzo degli attributi con criteri di budget serverless.

Come gestire i costi di sincronizzazione degli indici

È possibile configurare l'indice per l'aggiornamento in due modi:

  • Sincronizzazione attivata: si chiama l'API o Python SDK per attivare un aggiornamento dell'indice. Questa è l'opzione più conveniente.
  • Sincronizzazione continua: l'indice viene aggiornato automaticamente con le modifiche apportate alla tabella Delta di origine con latenza quasi in tempo reale. Questo costa di più perché viene effettuato il provisioning di un cluster di streaming per gestire la sincronizzazione. Se gli aggiornamenti in tempo quasi reale con alcuni secondi di latenza non sono critici, considerare l'uso della sincronizzazione attivata per ridurre i costi.

Procedure consigliate per la gestione dei costi

  • Combinare i carichi di lavoro in un singolo endpoint: se si prevede un valore inferiore a 150 QPS in tutti gli indici, è possibile combinare gli indici in un singolo endpoint per evitare più costi degli endpoint di base.
  • Monitorare l'utilizzo: usare le tabelle di fatturazione di sistema e i dashboard di utilizzo predefiniti per tenere traccia della capacità, dell'utilizzo e dei costi.
  • Riduzione manuale: come illustrato in precedenza, è necessario eliminare l'endpoint e ricrearlo se il numero di vettori scende al di sotto di una soglia di capacità precedente non più necessaria.
  • Scegliere la modalità di sincronizzazione corretta: usare la sincronizzazione attivata anziché la sincronizzazione continua, laddove possibile, per ridurre i costi di streaming.

Risorse aggiuntive