Vektoroptimierung auf von Unity Catalog verwalteten Tabellen

Important

Dieses Feature befindet sich in der Betaversion.

Die Vektoroptimierung beschleunigt Ähnlichkeitssuchen über Vektorspalten in von Unity Catalog verwalteten Tabellen. Wenn Sie eine Vektorsuchanfrage mit APPROX NEAREST BYausführen, kann Azure Databricks Vektoroptimierung nutzen, um die Suche auf Daten einzugrenzen, die wahrscheinlich die nächstgelegenen Übereinstimmungen enthalten. Dies reduziert die Menge an gescannten Daten, insbesondere bei großen Tabellen.

Um Vektoroptimierung zu verwenden, erstellen Sie einen Vektorindex für eine Spalte und geben Sie eine Wertungsmetrik an: Kosinusähnlichkeit, Skalarprodukt oder L2-Abstand. Predictive Optimization aktualisiert den Index automatisch, sobald sich Ihre Daten ändern. Zulässige Abfragen mit der indexierten Spalte und der Matching-Vergleichsfunktion verwenden die Optimierung; andere Abfragen verwenden Brute-Force-Suche. Für Abfragesyntax und Beispiele siehe Klausel NEAREST BY.

Requirements

Um einen Vektorindex in einer Tabelle zu erstellen:

  • Verwenden Sie Databricks Runtime 19 oder höher.
  • Du musst die Berechtigungen MODIFY und USE CATALOG für die Tabelle, USE SCHEMA für den Katalog und SELECT für das Schema haben.
  • Die Tabelle muss eine von Unity Catalog verwaltete Delta Lake- oder Iceberg-Tabelle sein.
  • Erstelle den Index im selben Katalog und Schema wie die Tabelle.
  • Prädiktive Optimierung muss für die Tabelle aktiviert sein, um den Index automatisch zu aktualisieren.
  • Zeilenverfolgung muss aktiviert sein, bevor du den Index erstellst. Siehe Zeilenverfolgung in Databricks.
  • Die Tabelle muss Daten enthalten, wenn Sie den Index erstellen.
  • Die Vektorspalte muss den Datentyp ARRAY<FLOAT>haben, und alle Vektoren müssen die gleiche Anzahl von Elementen haben.

Um Vektoroptimierung in einem APPROX NEAREST BY Join zu verwenden, platzieren Sie die Tabelle mit dem Vektorindex rechts und verwenden Sie die Vergleichsfunktion, die mit der Wertungsmetrik des Index übereinstimmt. Die Abfragevektortabelle links muss ebenfalls die Zeilenverfolgung aktiviert haben.

Einen Vektorindex erstellen

Verwenden Sie CREATE VECTOR INDEX, um einen Index für eine Spalte und eine Bewertungsmetrik zu erstellen. Zum Beispiel erzeugt diese Aussage einen Index mit Kosinusähnlichkeit für die Spalte embedding :

CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');

Man kann mehrere Vektorindizes in derselben Spalte erstellen, um unterschiedliche Bewertungsmetriken zu unterstützen.

Jede Bewertungsmetrik entspricht einer Abfragefunktion:

Bewertungsmetrik Abfragefunktion
cosine_similarity vector_cosine_similarity
inner_product vector_inner_product
l2_distance vector_l2_distance

Important

Verwenden Sie die Queryfunktion, die mit der Bewertungsmetrik des Index in Ihrer APPROX NEAREST BY Abfrage übereinstimmt. Wenn kein passender Index existiert, wird die Abfrage ohne Vektoroptimierung ausgeführt.

Daten mit Vektoroptimierung abfragen

Platziere die Tabelle mit dem Vektorindex auf die rechte Seite eines APPROX NEAREST BY Joins. Du kannst die Abfrage-Vektor-Tabelle links filtern und dabei weiterhin Vektoroptimierung verwenden. Das folgende Batch-Join liefert bis zu 10 Dokumente pro Abfragevektor:

SELECT
  q.query_id,
  d.document_id
FROM main.analytics.query_vectors AS q
INNER JOIN main.analytics.documents AS d
  APPROX NEAREST 10 BY SIMILARITY
    vector_cosine_similarity(q.embedding, d.embedding);

Indexpflege und Status

Nachdem du einen Vektorindex erstellt hast, aktualisiert die Predictive Optimization ihn automatisch, wenn sich die Tabelle ändert. Abfragen liefern sofort neu angehängte Zeilen, noch bevor diese indexiert wurden.

Um die mit einer Tabelle zugeordneten Indizes zu finden, führe DESCRIBE EXTENDEDaus:

DESCRIBE EXTENDED main.analytics.documents;

Der # Indexes Abschnitt der Ausgabe zeigt den Namen und den vollständig qualifizierten Namen jedes Indexes. Beispiele:

# Indexes
documents_embedding_cosine_idx   main.analytics.documents_embedding_cosine_idx

Um den Index zu inspizieren, verwenden Sie seinen vollständig qualifizierten Namen:

DESCRIBE INDEX main.analytics.documents_embedding_cosine_idx;

Die Ausgabe enthält Informationen über die indizierte Spalte und die Bewertungsmetrik. Beispiele:

property Wert
Name documents_embedding_cosine_idx
Columns embedding
Wertungsmetrik cosine_similarity

Predictive Optimization aktualisiert den Index, trainiert ihn aber nicht automatisch neu. Wenn sich die Verteilung der Vektoren in deiner Tabelle erheblich ändert, kann ein Nachtraining helfen, die Suchqualität aufrechtzuerhalten.

Um den Index neu zu trainieren, löschen Sie ihn und erstellen Sie ihn mit derselben Spalte und derselben Wertungsmetrik neu. Beispiele:

DROP INDEX main.analytics.documents_embedding_cosine_idx;

CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');

Vektorindex löschen

Verwenden Sie DROP INDEX, um einen Vektorindex zu entfernen:

DROP INDEX main.analytics.documents_embedding_cosine_idx;

Nachdem du den Index entfernt hast, laufen Abfragen, die darauf angewiesen waren, ohne die Beschleunigung dieses Indexes.

Note

Bevor Sie eine indizierte Spalte umbenennen, löschen oder den Typ dieser Spalte ändern, löschen Sie alle Vektorindizes für diese Spalte.

Limitations

  • Wenn Sie den Index erstellen, kann die Tabelle bis zu 1 Milliarde Zeilen enthalten, und Vektoren können bis zu 4.096 Elemente enthalten.

  • In den folgenden Fällen verwenden Abfragen Brute-Force-Suche anstelle von Vektoroptimierung:

    • Die Abfrage verwendet Time Travel für die indexierte Tabelle.
    • Die Tabelle enthält Zeilenfilter, Spaltenmasken oder attributbasierte Zugriffskontrollrichtlinien (ABAC).
    • Die Tabelle ist eine OpenSharing-Quelle oder ein OpenSharing-Ziel.

    Das gilt sogar, wenn du diese Policies hinzufügst oder die Tabelle nach der Erstellung des Index teilst.