Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Dieses Feature befindet sich in der Betaversion.
Die Vektoroptimierung beschleunigt Ähnlichkeitssuchen über Vektorspalten in von Unity Catalog verwalteten Tabellen. Wenn Sie eine Vektorsuchanfrage mit APPROX NEAREST BYausführen, kann Azure Databricks Vektoroptimierung nutzen, um die Suche auf Daten einzugrenzen, die wahrscheinlich die nächstgelegenen Übereinstimmungen enthalten. Dies reduziert die Menge an gescannten Daten, insbesondere bei großen Tabellen.
Um Vektoroptimierung zu verwenden, erstellen Sie einen Vektorindex für eine Spalte und geben Sie eine Wertungsmetrik an: Kosinusähnlichkeit, Skalarprodukt oder L2-Abstand. Predictive Optimization aktualisiert den Index automatisch, sobald sich Ihre Daten ändern. Zulässige Abfragen mit der indexierten Spalte und der Matching-Vergleichsfunktion verwenden die Optimierung; andere Abfragen verwenden Brute-Force-Suche. Für Abfragesyntax und Beispiele siehe Klausel NEAREST BY.
Requirements
Um einen Vektorindex in einer Tabelle zu erstellen:
- Verwenden Sie Databricks Runtime 19 oder höher.
- Du musst die Berechtigungen
MODIFYundUSE CATALOGfür die Tabelle,USE SCHEMAfür den Katalog undSELECTfür das Schema haben. - Die Tabelle muss eine von Unity Catalog verwaltete Delta Lake- oder Iceberg-Tabelle sein.
- Erstelle den Index im selben Katalog und Schema wie die Tabelle.
- Prädiktive Optimierung muss für die Tabelle aktiviert sein, um den Index automatisch zu aktualisieren.
- Zeilenverfolgung muss aktiviert sein, bevor du den Index erstellst. Siehe Zeilenverfolgung in Databricks.
- Die Tabelle muss Daten enthalten, wenn Sie den Index erstellen.
- Die Vektorspalte muss den Datentyp
ARRAY<FLOAT>haben, und alle Vektoren müssen die gleiche Anzahl von Elementen haben.
Um Vektoroptimierung in einem APPROX NEAREST BY Join zu verwenden, platzieren Sie die Tabelle mit dem Vektorindex rechts und verwenden Sie die Vergleichsfunktion, die mit der Wertungsmetrik des Index übereinstimmt. Die Abfragevektortabelle links muss ebenfalls die Zeilenverfolgung aktiviert haben.
Einen Vektorindex erstellen
Verwenden Sie CREATE VECTOR INDEX, um einen Index für eine Spalte und eine Bewertungsmetrik zu erstellen. Zum Beispiel erzeugt diese Aussage einen Index mit Kosinusähnlichkeit für die Spalte embedding :
CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');
Man kann mehrere Vektorindizes in derselben Spalte erstellen, um unterschiedliche Bewertungsmetriken zu unterstützen.
Jede Bewertungsmetrik entspricht einer Abfragefunktion:
| Bewertungsmetrik | Abfragefunktion |
|---|---|
cosine_similarity |
vector_cosine_similarity |
inner_product |
vector_inner_product |
l2_distance |
vector_l2_distance |
Important
Verwenden Sie die Queryfunktion, die mit der Bewertungsmetrik des Index in Ihrer APPROX NEAREST BY Abfrage übereinstimmt. Wenn kein passender Index existiert, wird die Abfrage ohne Vektoroptimierung ausgeführt.
Daten mit Vektoroptimierung abfragen
Platziere die Tabelle mit dem Vektorindex auf die rechte Seite eines APPROX NEAREST BY Joins. Du kannst die Abfrage-Vektor-Tabelle links filtern und dabei weiterhin Vektoroptimierung verwenden. Das folgende Batch-Join liefert bis zu 10 Dokumente pro Abfragevektor:
SELECT
q.query_id,
d.document_id
FROM main.analytics.query_vectors AS q
INNER JOIN main.analytics.documents AS d
APPROX NEAREST 10 BY SIMILARITY
vector_cosine_similarity(q.embedding, d.embedding);
Indexpflege und Status
Nachdem du einen Vektorindex erstellt hast, aktualisiert die Predictive Optimization ihn automatisch, wenn sich die Tabelle ändert. Abfragen liefern sofort neu angehängte Zeilen, noch bevor diese indexiert wurden.
Um die mit einer Tabelle zugeordneten Indizes zu finden, führe DESCRIBE EXTENDEDaus:
DESCRIBE EXTENDED main.analytics.documents;
Der # Indexes Abschnitt der Ausgabe zeigt den Namen und den vollständig qualifizierten Namen jedes Indexes. Beispiele:
# Indexes
documents_embedding_cosine_idx main.analytics.documents_embedding_cosine_idx
Um den Index zu inspizieren, verwenden Sie seinen vollständig qualifizierten Namen:
DESCRIBE INDEX main.analytics.documents_embedding_cosine_idx;
Die Ausgabe enthält Informationen über die indizierte Spalte und die Bewertungsmetrik. Beispiele:
| property | Wert |
|---|---|
| Name | documents_embedding_cosine_idx |
| Columns | embedding |
| Wertungsmetrik | cosine_similarity |
Predictive Optimization aktualisiert den Index, trainiert ihn aber nicht automatisch neu. Wenn sich die Verteilung der Vektoren in deiner Tabelle erheblich ändert, kann ein Nachtraining helfen, die Suchqualität aufrechtzuerhalten.
Um den Index neu zu trainieren, löschen Sie ihn und erstellen Sie ihn mit derselben Spalte und derselben Wertungsmetrik neu. Beispiele:
DROP INDEX main.analytics.documents_embedding_cosine_idx;
CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');
Vektorindex löschen
Verwenden Sie DROP INDEX, um einen Vektorindex zu entfernen:
DROP INDEX main.analytics.documents_embedding_cosine_idx;
Nachdem du den Index entfernt hast, laufen Abfragen, die darauf angewiesen waren, ohne die Beschleunigung dieses Indexes.
Note
Bevor Sie eine indizierte Spalte umbenennen, löschen oder den Typ dieser Spalte ändern, löschen Sie alle Vektorindizes für diese Spalte.
Limitations
Wenn Sie den Index erstellen, kann die Tabelle bis zu 1 Milliarde Zeilen enthalten, und Vektoren können bis zu 4.096 Elemente enthalten.
In den folgenden Fällen verwenden Abfragen Brute-Force-Suche anstelle von Vektoroptimierung:
- Die Abfrage verwendet Time Travel für die indexierte Tabelle.
- Die Tabelle enthält Zeilenfilter, Spaltenmasken oder attributbasierte Zugriffskontrollrichtlinien (ABAC).
- Die Tabelle ist eine OpenSharing-Quelle oder ein OpenSharing-Ziel.
Das gilt sogar, wenn du diese Policies hinzufügst oder die Tabelle nach der Erstellung des Index teilst.