Grundlegendes zu Vektordatenbanken, Retrieval Augmentation Generation und Einbettungen in KI

  • 6 Minuten

Vektordatenbanken, Einbettungen und Retrieval Augmentation Generation (RAG) sind wichtige Technologien zur Verbesserung von KI-gesteuerten Anwendungen, insbesondere im Kontext von vCore-basierten Azure Cosmos DB for MongoDB. Diese Konzepte zu verstehen ist für die Implementierung erweiterter Funktionen unerlässlich, wie z. B. die Vektorsuche zur Abfrage Ihrer eigenen Daten.

Grundlegendes zu Einbettungen in KI

Bevor man über Vektordatenbanken oder RAG-Systeme sprechen kann, muss man Einbettungen und ihre Rolle in KI-Anwendungen verstehen. Einbettungen konvertieren Elemente wie Wörter, Sätze oder ganze Dokumente in numerische Vektoren, die ihre Bedeutung widerspiegeln. Ein Vektor, der das Wort „Katze“ darstellt, kann zum Beispiel wie folgt dargestellt werden:

[0.1, 0.2, 0.3, 0.4, 0.5]

Vektoren, die durch maschinelles Lernen erstellt wurden, helfen KI-Modellen, Daten effektiver zu verstehen und zu arbeiten. KI-Modelle können Vektoren verwenden, um Aufgaben wie Klassifizierung, Clustering oder einen Ähnlichkeitsabgleich auszuführen. Sie spielen eine entscheidende Rolle bei zahlreichen Anwendungen, von Textanalyse und maschinellem Sehen bis hin zu unterstützenden Aufgaben wie dem Klassifizieren von Texten oder dem Generieren von Bildern und Code.

Auf Plattformen wie Azure OpenAI sind Einbettungen entscheidend, um großen Sprachmodellen die Arbeit zu erleichtern und einen Text zu erzeugen, der eine menschliche Kommunikation widerspiegelt. Sie verwandeln komplexe Daten in eine strukturierte Form, die Modelle verarbeiten können, sodass die Fähigkeit der Modelle relevante und kohärente Antworten zu erstellen verbessert wird. Einbettungen sind auch bei Vektordatenbanken unerlässlich, die Daten basierend auf diesen numerischen Darstellungen speichern und abrufen.

Erkunden von Vektordatenbanken

Jeder Wert im Vektor wird als Dimension der Daten betrachtet, die er darstellt. Der Vektor stellt dann seine Position in einem hochdimensionalen Raum relativ zu allen anderen Vektoren dar. Vektoren haben oft viele Dimensionen, während einige der „kleineren“ Einbettungsmodelle in Azure OpenAI 1536-Dimensionen aufweisen.

Vektordatenbanken speichern Daten in Form dieser hochdimensionalen Vektoren, die durch Transformationen oder Einbettungen aus verschiedenen Datentypen wie Text, Bildern oder Videos erstellt wurden. Diese Datenbanken zeichnen sich dadurch aus, dass sie schnell Daten finden, die semantisch übereinstimmen, und dies nicht nur durch exakte Abfragen. Diese Funktion ist nützlich für Anwendungen, zum Beispiel um ähnliche Bilder, Dokumente oder Produkte aufzufinden.

In einer Vektordatenbank könnten Sie beispielsweise mithilfe eines Bilds oder eines Textabschnitts eine Abfrage ausführen, um andere Personen zu finden, die in Format oder Inhalt eng übereinstimmen. Dieser Prozess umfasst das Suchen eines Abfragevektors (Einbettung) für die Sucheingabe und die Verwendung von Ähnlichkeitsmaßen wie Kosinus-Ähnlichkeit oder euklidischer Abstand, um den Abstand zwischen Vektoren zu ermitteln.

Wenn Sie also nach dem Wort „Katze“ suchen, würde die Datenbank Vektoren zurückgeben, die dem Wort „Katze“ auf Grundlage des verwendeten Ähnlichkeitsmaßes am ähnlichsten sind. Diese Ähnlichkeitsmaße basieren auf den Transformationen oder Einbettungen, um Ergebnisse dahingehend zu bewerten, wie genau sie mit der Abfrage übereinstimmen.

Vektordatenbanken können eine wesentliche Komponente eines RAG-Systems (Retrieval Augmentation Generation) sein, in dem sie Daten für KI-Modelle speichern und abrufen, um Antworten zu generieren. Mithilfe von Vektordatenbanken können Sie sicherstellen, dass die KI-Modelle Antworten basierend auf ihren relevanten und kontextfähigen Daten abrufen und generieren, um die Genauigkeit und Relevanz der Antworten zu verbessern.

Erkunden von RAG (Retrieval Augmented Generation)

RAG-Systeme verbessern große Sprachmodelle durch Hinzufügen eines Informationsabrufsystems. Dieses System erstellt die KI-Antworten auf Grundlage relevanter, spezifischer Daten, wie z. B. vektorisierten Dokumenten und Bildern, die aus den Daten Ihres Unternehmens erstellt wurden.

Ein RAG-System mit Vektordatenbanken führt in der Regel die folgenden Schritte aus:

  1. Es bettet die eingehende Frage oder Abfrage ein und ruft die relevanten Daten aus einer Vektordatenbank ab.
  2. Es generiert einen Prompt, einschließlich der anfänglichen Eingabe und der abgerufenen Daten, um Kontext bereitzustellen.
  3. Es fragt das generative KI-Modell mit dem kombinierten Prompt ab, um eine Antwort zu generieren.

Diagramm eines Retrieval Augmentation Generation-Systems.

Durch die Integration von RAG-Systemen können Sie die von Ihren Sprachmodellen verwendeten Daten präziser steuern und ihre Antworten treffend und maßgeschneidert gestalten. Durch eine Verknüpfung mit Vektordatenbanken, die Ihre Daten enthalten, kann das KI-Modell Ihre Daten nutzen, seine Antworten verbessern und diese Antworten für Ihr Unternehmen relevanter und kontextbezogener machen.

In RAG-Systemen werden KI-Anwendungen auf Ihre Daten zugeschnitten und von diesen verwaltet, nicht umgekehrt.

Vektordatenbanken, Einbettungen und Retrieval Augmentation Generation (RAG) sind essenzielle Technologien zur Verbesserung von KI-gesteuerten Anwendungen, insbesondere im Kontext von vCore-basierten Azure Cosmos DB for MongoDB und Azure OpenAI. Einbettungen übersetzen komplexe Daten in numerische Vektoren, die das Verständnis eines KI-Modells verbessern, was für die Klassifizierung von Text und den Datenabruf entscheidend ist. Vektordatenbanken verwenden diese Einbettungen, um schnelle, semantisch gesteuerte Suchvorgänge durchzuführen und den Datenabruf erheblich zu verbessern. Wenn Sie diese Technologien in einem RAG-System kombinieren, kann die KI Antworten liefern, die nicht nur treffend, sondern auch auf Ihre spezifischen Daten zugeschnitten sind, um sowohl die Relevanz als auch die Effektivität Ihrer Anwendungen zu verbessern.