Freigeben über

Mosaik KI-Vektorsuche: Kostenverwaltungshandbuch

In diesem Artikel wird beschrieben, wie Sie Ihre Kosten effektiv verwalten können, wenn Sie die Mosaik-KI-Vektorsuche verwenden. Es werden die folgenden Themen behandelt:

  • Grundlagen von Vektor-Suchindex und Endpunkten.
  • Abrechnungs- und Nutzungsüberwachung.
  • Synchronisierungsmodi.
  • Bewährte Methoden zur Optimierung der Kosten.

Grundlagen der Mosaik-KI-Vektorsuche

Mosaik AI Vector Search besteht aus:

  • Vektorsuchindizes: Indizes speichern Ihre Vektoren für die Suche und den Abruf.
  • Vektorsuchendpunkte: Jeder Endpunkt hostet eine oder mehrere Indizes für die Bereitstellung von Abfragen. Sie können mehrere Indizes unter einem einzelnen Endpunkt bereitstellen, und ein Endpunkt kann bis zu 50 Indizes bereitstellen. In vielen Fällen können Sie kleinere Workloads auf einem einzelnen Endpunkt kombinieren, um die Gesamtkosten zu senken.

Preis der Vektorsuche

Databricks bietet zwei Endpunktoptionen:

  • Standardendpunkte. Eine Vektorsucheinheit deckt bis zu 2 Millionen Vektoren der Dimension 768 ab (oder das Entsprechende). Wenn Sie beispielsweise über 1 Millionen Vektoren der Dimension 1536 verfügen, zählt dies auch als eine Einheit.

  • Speicheroptimierte Endpunkte. Eine Vektorsucheinheit deckt bis zu 64 Millionen Vektoren der Dimension 768 ab (oder das Entsprechende).

Für beide Optionen verfügt jeder Endpunkt über einen Grundpreis und skaliert automatisch entsprechend der Gesamtgröße der Indizes, die er bedient.

  • Standardendpunkte werden nicht automatisch herunterskaliert. Selbst wenn Sie Vektoren löschen oder die Größe Ihrer Indizes verringern, zahlen Sie weiterhin die höhere Kapazität, bis Sie manuell Änderungen vornehmen.
  • Speicheroptimierte Endpunkte werden automatisch nach unten skaliert, wenn ein Index gelöscht wird. Die Mindestgröße für einen Endpunkt ist eine Vektorsucheinheit.

Von Bedeutung

Standardendpunkte werden nicht automatisch herunterskaliert. Wenn ihre Vektoranzahl erheblich abfällt (z. B. von 4 Millionen auf 1,5 Millionen Vektoren), zahlen Sie weiterhin die höhere Kapazität (zwei Vektorsucheinheiten in diesem Beispiel), bis Sie den Endpunkt löschen und eine neue erstellen. Dies gilt nur für Standardendpunkte. Speicheroptimierte Endpunkte skalieren automatisch nach unten.

Wie man Nutzung und Kosten überwacht.

Databricks bietet eine abrechnungsfähige Nutzungstabelle, Nutzungsdashboards und Budgetrichtlinien, die Ihnen helfen, die Nutzung und Kosten für die Vektorsuche zu überwachen.

Abrechnungsfähige Nutzungstabelle

Hier ist ein Beispiel für eine Abfrage der Tabelle mit den abrechnungsrelevantem Verbrauch:

WITH all_vector_search_usage AS (
  SELECT *,
         CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
              WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
              ELSE 'serving'
         END as workload_type
    FROM system.billing.usage
   WHERE billing_origin_product = 'VECTOR_SEARCH'
),

daily_dbus AS (
  SELECT
    workspace_id,
    cloud,
    usage_date,
    workload_type,
    usage_metadata.endpoint_name as vector_search_endpoint,
    CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
         WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
         ELSE null
         END as dbus,
    CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
         ELSE null
         END as dsus
  FROM all_vector_search_usage
  GROUP BY 1,2,3,4,5
  ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus;

Weitere Informationen zur abrechnungsrelevanten Verbrauchstabelle finden Sie in der Referenz der abrechnungsrelevanten Verbrauchstabelle.

Weitere Abfragen befinden sich im folgenden Beispiel-Notebook.

Notebook für Vektorsuche-Systemtabellenabfragen

Notebook abrufen

Nutzungsübersichten

Informationen zu Nutzungsdashboards, die Sie importieren können, um Einblicke in Kostentreiber zu erhalten, einschließlich der Verwendung für die Vektorsuche, finden Sie unter Verwendungsdashboards.

Budgetrichtlinien

Mithilfe von Budgetrichtlinien können Administratoren Abrechnungsdatensätze für alle serverlosen Azure Databricks-Produkte gruppieren und filtern und eine dedizierte Benutzeroberfläche zum Nachverfolgen von Ausgaben bereitstellen. Informationen zum Anwenden einer Budgetrichtlinie auf einen Vektorsuchendpunkt finden Sie unter Mosaik AI Vector Search: Budget policies. Allgemeine Informationen und Details zum Erstellen und Verwalten von Budgetrichtlinien finden Sie unter Attributverwendung mit serverlosen Budgetrichtlinien.

So verwalten Sie Die Kosten für die Indexsynchronisierung

Sie können Ihren Index so konfigurieren, dass er auf zwei Arten aktualisiert wird:

  • Ausgelöste Synchronisierung: Sie rufen die API oder das Python SDK auf, um eine Indexaktualisierung auszulösen. Dies ist die kostengünstigste Option.
  • Kontinuierliche Synchronisierung: Der Index wird automatisch mit Änderungen aus der Quell-Delta-Tabelle mit nahezu Echtzeitlatenz aktualisiert. Dies kostet mehr, da ein Streamingcluster bereitgestellt wird, um die Synchronisierung zu verarbeiten. Wenn nahezu Echtzeitupdates mit Sekunden der Latenz nicht kritisch sind, sollten Sie die Verwendung der ausgelösten Synchronisierung in Betracht ziehen, um Kosten zu reduzieren.

Bewährte Methoden für das Kostenmanagement

  • Kombinieren Sie Workloads auf einem einzelnen Endpunkt: Wenn Sie weniger als 150 QPS über alle Indizes hinweg erwarten, können Sie Ihre Indizes unter einem einzelnen Endpunkt kombinieren, um die Grundkosten für mehrere Endpunkte zu vermeiden.
  • Überwachen der Nutzung: Verwenden Sie die Systemabrechnungstabellen und integrierte Nutzungsdashboards, um Kapazität, Nutzung und Kosten nachzuverfolgen.
  • Manuell verkleinern: Wie oben erläutert, müssen Sie den Endpunkt löschen und neu erstellen, wenn die Vektoranzahl unter einen früheren Kapazitätsschwellenwert fällt, den Sie nicht mehr benötigen.
  • Wählen Sie den richtigen Synchronisierungsmodus aus: Verwenden Sie "Ausgelöste Synchronisierung" anstelle der kontinuierlichen Synchronisierung, wenn möglich, um Streamingkosten zu reduzieren.

Zusätzliche Ressourcen