Vektorspeicher in Azure Machine Learning (Vorschau)
Wichtig
Dieses Feature ist zurzeit als öffentliche Preview verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und ist nicht für Produktionsworkloads vorgesehen. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar.
Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.
In diesem Artikel werden Vektorindizes in Azure Machine Learning beschrieben, die Sie verwenden können, um die Retrieval-Augmented Generation (RAG) durchzuführen. Ein Vektorindex speichert Einbettungen, die numerische Darstellungen von Konzepten (Daten) sind, die in Zahlensequenzen konvertiert werden. Einbettungen ermöglichen es großen Sprachmodellen (Large Language Models, LLMs), die Beziehungen zwischen den Konzepten zu verstehen. Sie können Vektorspeicher erstellen, um Ihre Daten mit LLMs wie GPT-4 zu verbinden und die Daten effizient abzurufen.
Azure Machine Learning unterstützt zwei Arten von Vektorspeichern, die Ihre zusätzlichen Daten enthalten, die in einem RAG-Workflow verwendet werden:
| Vektorspeicher | Beschreibung | Features und Nutzung |
|---|---|---|
| Faiss | Open-Source-Bibliotheken | – Verwenden lokaler dateibasierter Speicher – Es entstehen minimale Kosten – Unterstützen reiner Vektordaten – Unterstützen von Entwicklung und Tests |
| Azure AI Search | Azure PaaS-Ressource | – Speichern von Textdaten im Suchindex – Hosten einer großen Anzahl von Indizes mit einem einzelnen Dienst – Unterstützen der geschäftlichen Anforderungen auf Unternehmensebene – Zugreifen auf den Abruf hybrider Informationen |
In den folgenden Abschnitten werden Überlegungen zum Arbeiten mit diesen Vektorspeichern erläutert.
Faiss-Bibliothek
Faiss ist eine Open Source-Bibliothek, die einen lokalen dateibasierten Speicher bereitstellt. Der Vektorindex wird im Azure-Speicherkonto Ihres Azure Machine Learning-Arbeitsbereichs gespeichert. Um mit Faiss zu arbeiten, laden Sie die Bibliothek herunter und verwenden sie als Komponente Ihrer Lösung. Da der Index lokal gespeichert wird, sind die Kosten minimal.
Sie können die Faiss-Bibliothek als Vektorspeicher verwenden und die folgenden Aktionen ausführen:
Lokales Speichern von Vektordaten, ohne Kosten für die Erstellung eines Indexes (nur Speicherkosten)
Erstellen und Abfragen eines Indexes im Arbeitsspeicher
Freigeben von Kopien für die individuelle Verwendung und Konfigurieren des Hostings des Indexes für eine Anwendung
Skalieren mit zugrunde liegendem Computelastenindex
Azure KI Search
Azure KI-Suche (ehemals Cognitive Search) ist eine dedizierte Azure PaaS-Ressource, die Sie in einem Azure-Abonnement erstellen. Die Ressource unterstützt das Abrufen von Informationen über Ihre in Suchindizes gespeicherten Vektor- und Textdaten. Ein Prompt Flow kann Ihre in Azure AI Search gespeicherten Vektordaten erstellen, auffüllen und abfragen. Ein einzelner Suchdienst kann eine große Anzahl von Indizes hosten, die abgefragt und in einem RAG-Muster verwendet werden können.
Hier finden Sie einige wichtige Punkte zur Verwendung der Azure KI-Suche für Ihren Vektorspeicher:
Unterstützung der geschäftlichen Anforderungen an Skalierbarkeit, Sicherheit und Verfügbarkeit auf Unternehmensebene.
Zugriff auf den Abruf hybrider Informationen Vektordaten können mit Nicht-Vektordaten koexistieren, was bedeutet, dass Sie alle Features der Azure KI-Suche für die Indizierung und Abfrage verwenden können, einschließlich hybrider Suche und semantischer Neubewertung.
Beachten Sie, dass sich die Vektorunterstützung in der Vorschauphase befindet. Derzeit müssen die Vektoren extern generiert und dann zur Indizierung und Abfragekodierung an Azure AI Search übergeben werden. Der Prompt-Flow übernimmt diese Übergänge für Sie.
Um AI Search als Vektorspeicher für Azure Machine Learning zu verwenden, müssen Sie einen Suchdienst haben. Sobald der Dienst vorhanden ist und Sie den Fachkräften in der Entwicklung Zugriff gewährt haben, können Sie die Azure KI-Suche als Vektorindex in einem Eingabeaufforderungsflow auswählen. Der Prompt Flow erstellt den Index auf Azure AI Search, generiert Vektoren aus Ihren Quelldaten, sendet die Vektoren an den Index, ruft die Ähnlichkeitssuche auf AI Search auf und gibt die Antwort zurück.