Delen via

Mozaïek AI Vector Search: Handleiding voor kostenbeheer

In dit artikel wordt beschreven hoe u uw kosten effectief kunt beheren bij het gebruik van Mozaïek AI Vector Search. De volgende onderwerpen komen aan bod:

  • Basisprincipes van vector zoekindex en eindpunten.
  • Facturerings- en gebruikscontrole.
  • Synchronisatiemodi.
  • Best practices voor het optimaliseren van kosten.

Basisprincipes van Mosaic AI Vector Search

Mozaïek AI Vector Search bestaat uit:

  • Indexen voor vectorzoekopdrachten: indexen slaan uw vectoren op voor zoeken en ophalen.
  • Vectorzoekeindpunten: elk eindpunt fungeert als host voor een of meer indexen voor het leveren van query's. U kunt meerdere indexen laten uitvoeren onder één eindpunt en één eindpunt kan maximaal 50 indexen leveren. In veel gevallen kunt u kleinere workloads op één eindpunt combineren om de totale kosten te verlagen.

Hoe de prijs wordt bepaald voor vectorzoekopdrachten

Databricks biedt twee eindpuntopties:

  • Standaardeindpunten. Eén vectorzoekeenheid omvat maximaal 2 miljoen vectoren van dimensie 768 (of het equivalent). Als u bijvoorbeeld 1 miljoen vectoren van dimensie 1536 hebt, telt dat ook als één eenheid.

  • Eindpunten die zijn geoptimaliseerd voor opslag. Eén vectorzoekeenheid omvat maximaal 64 miljoen vectoren van dimensie 768 (of het equivalent).

Voor beide opties heeft elk eindpunt een basisprijs en wordt automatisch omhoog geschaald zodat deze overeenkomt met de totale grootte van de indexen die het biedt.

  • Standaardeindpunten worden niet automatisch omlaag geschaald. Zelfs als u vectoren verwijdert of de grootte van uw indexen verkleint, betaalt u verder voor de hogere capaciteit totdat u handmatig wijzigingen aanbrengt.
  • Voor opslag geoptimaliseerde eindpunten worden automatisch omlaag geschaald wanneer een index wordt verwijderd. De minimale grootte voor een eindpunt is één vectorzoekeenheid.

Belangrijk

Standaardeindpunten worden niet automatisch omlaag geschaald. Als het aantal vectoren aanzienlijk afneemt (bijvoorbeeld van 4 miljoen tot 1,5 miljoen vectoren), blijft u betalen voor de hogere capaciteit (twee vectorzoekeenheden in dit voorbeeld) totdat u het eindpunt verwijdert en een nieuw eindpunt maakt. Dit geldt alleen voor standaardeindpunten. Voor opslag geoptimaliseerde eindpunten worden automatisch omlaag geschaald.

Gebruik en kosten bewaken

Databricks biedt een factureerbare gebruikstabel, gebruiksdashboards en budgetbeleid waarmee u het gebruik en de kosten voor Vector Search kunt bewaken.

Factureerbare gebruikstabel

Hier volgt een voorbeeldquery van de factureerbare gebruikstabel:

WITH all_vector_search_usage AS (
  SELECT *,
         CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
              WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
              ELSE 'serving'
         END as workload_type
    FROM system.billing.usage
   WHERE billing_origin_product = 'VECTOR_SEARCH'
),

daily_dbus AS (
  SELECT
    workspace_id,
    cloud,
    usage_date,
    workload_type,
    usage_metadata.endpoint_name as vector_search_endpoint,
    CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
         WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
         ELSE null
         END as dbus,
    CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
         ELSE null
         END as dsus
  FROM all_vector_search_usage
  GROUP BY 1,2,3,4,5
  ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus;

Zie de naslaginformatie over de Factureerbare gebruikstabel voor meer details over het gebruik dat in rekening wordt gebracht.

Aanvullende query's bevinden zich in het volgende voorbeeldnotebook.

Query's voor tabellen in vectorzoekssysteem notitieboek

Notebook krijgen

Gebruiksdashboards

Zie Gebruiksdashboards voor informatie over gebruiksdashboards die u kunt importeren om inzicht te krijgen in kostenfactoren, waaronder gebruik voor vectorzoekopdrachten.

Budgetbeleid

Met budgetbeleid kunnen beheerders factureringsrecords groeperen en filteren op alle serverloze Azure Databricks-producten en beschikken ze over een speciale gebruikersinterface voor het bijhouden van uitgaven. Zie Mozaïek AI Vector Search: Budgetbeleid voor informatie over het toepassen van een budgetbeleid op een vectorzoekeindpunt. Zie Kenmerkgebruik met serverloze budgetbeleidsregels voor algemene informatie en details over het maken en beheren van budgetbeleid.

Kosten voor indexsynchronisatie beheren

U kunt uw index zo configureren dat deze op twee manieren wordt bijgewerkt:

  • Geactiveerde synchronisatie: u roept de API of Python SDK aan om een indexupdate te activeren. Dit is de meest rendabele optie.
  • Continue synchronisatie: de index wordt automatisch bijgewerkt met wijzigingen uit de Delta-brontabel met bijna realtime latentie. Dit kost meer omdat een streamingcluster is ingericht voor het afhandelen van de synchronisatie. Als updates in bijna realtime met seconden latentie niet essentieel zijn, kunt u overwegen om geactiveerde synchronisatie te gebruiken om de kosten te verlagen.

Beste praktijken voor kostenbeheer

  • Workloads combineren op één eindpunt: als u verwacht dat er minder dan 150 QPS voor alle indexen zijn, kunt u uw indexen onder één eindpunt combineren om meerdere basiskosten voor eindpunten te voorkomen.
  • Gebruik bewaken: gebruik de systeemfactureringstabellen en ingebouwde gebruiksdashboards om capaciteit, gebruik en kosten bij te houden.
  • Handmatig omlaag schalen: zoals hierboven uitgelegd, moet u het eindpunt verwijderen en opnieuw maken als het aantal vectoren lager is dan een eerdere capaciteitsdrempel die u niet meer nodig hebt.
  • Kies de juiste synchronisatiemodus: Gebruik geactiveerde synchronisatie in plaats van continue synchronisatie waar mogelijk om streamingkosten te verlagen.

Aanvullende informatiebronnen