Freigeben über

Integrieren von Azure AI-Funktionen in Azure-Datenbank für PostgreSQL

Die azure_ai Erweiterung bietet die Möglichkeit , große Sprachmodelle (LLMs) zu verwenden und generative KI-Anwendungen in einer Azure-Datenbank für PostgreSQL-Datenbank zu erstellen, indem die Leistungsfähigkeit von Azure AI-Diensten integriert wird.

Generative KI ist eine Form der künstlichen Intelligenz, bei der LLMs darauf trainiert werden, auf der Grundlage von natürlichem Sprachinput originale Inhalte zu generieren. Mithilfe der azure_ai Erweiterung können Sie die Funktionen von generativen KI zum Verarbeiten von Abfragen natürlicher Sprachen direkt aus der Datenbank verwenden.

In diesem Artikel wird gezeigt, wie leistungsstarke KI-Funktionalitäten zu einer flexiblen Serverinstanz der Azure-Datenbank für PostgreSQL mithilfe der azure_ai-Erweiterung hinzugefügt werden können. Es zeigt, wie Sie sowohl Azure OpenAI als auch den Azure AI Language-Dienst mithilfe der Erweiterung in Ihre Datenbank integrieren können.

Voraussetzungen

Herstellen einer Verbindung mit der Datenbank mithilfe von psql in Azure Cloud Shell

Öffnen Sie Azure Cloud Shell in einem Webbrowser. Wählen Sie Bash als Umgebung aus. Wenn Sie dazu aufgefordert werden, wählen Sie das Abonnement aus, das Sie für Ihre Azure-Datenbank für PostgreSQL-Datenbank verwendet haben, und wählen Sie dann "Speicher erstellen" aus.

So rufen Sie Details zur Datenbankverbindung ab:

  1. Wechseln Sie im Azure-Portal zu Ihrer Azure-Datenbank für flexible Serverinstanz von PostgreSQL.

  2. Wählen Sie im linken Menü unter "Einstellungen" die Option "Verbinden" aus. Kopieren Sie den Block der Verbindungsdetails.

  3. Fügen Sie die kopierten Deklarationszeilen für Umgebungsvariablen in das Azure Cloud Shell-Terminal ein. Ersetzen Sie das {your-password} Token durch das Kennwort, das Sie beim Erstellen der Datenbank festgelegt haben.

    export PGHOST={your-server-name}.postgresql.database.azure.com
export PGUSER={your-user-name}
export PGPORT=5432
export PGDATABASE={your-database-name}
export PGPASSWORD="{your-password}"

  4. Stellen Sie mithilfe des Befehlszeilentools psql eine Verbindung mit Ihrer Datenbank her. Geben Sie an der Eingabeaufforderung den folgenden Befehl ein:

    psql

Installieren der azure_ai-Erweiterung

Sie können die azure_ai Erweiterung verwenden, um Azure OpenAI und Azure Cognitive Services in Ihre Datenbank zu integrieren. Weitere Informationen finden Sie unter Generieren von Vektoreinbettungen mit Azure OpenAI in Azure Database for PostgreSQL.

So aktivieren Sie die Erweiterung in Ihrer Datenbank:

  1. Fügen Sie die Erweiterung zu Ihrer Zulassungsliste hinzu, wie unter "Erweiterungen zulassen" beschrieben.

  2. Installieren Sie in der Datenbank, in der Sie die azure_ai Erweiterung verwenden möchten, die Erweiterung, wie in "Erweiterungen erstellen" beschrieben.

Überprüfen der Objekte in der Erweiterung azure_ai

Das Überprüfen der Objekte, die die azure_ai Erweiterung enthält, kann ein besseres Verständnis der von ihr angebotenen Funktionen bieten. Sie können den \dx Metabefehl über die psql Eingabeaufforderung verwenden, um die Objekte in der Erweiterung auflisten zu können:

\dx+ azure_ai

Die Metabefehlsausgabe zeigt, dass die azure_ai Erweiterung drei Schema, mehrere benutzerdefinierte Funktionen (UDFs) und mehrere zusammengesetzte Typen in der Datenbank erstellt. In der folgenden Tabelle werden die Schemas beschrieben, die von der Erweiterung hinzugefügt werden:

Schema BESCHREIBUNG
azure_ai Stellt das Prinzipalschema bereit, in dem sich die Konfigurationstabelle und UDFs für die Interaktion mit ihr befinden.
azure_openai Enthält die UDFs, die das Aufrufen eines Azure OpenAI-Endpunkts ermöglichen.
azure_cognitive Stellt UDFs und zusammengesetzte Typen bereit, die sich auf die Integration der Datenbank in Azure Cognitive Services beziehen.

Die Funktionen und Typen sind alle einem der Schema zugeordnet. Verwenden Sie den azure_ai Metabefehl, um die im \df Schema definierten Funktionen zu überprüfen. Geben Sie das Schema an, dessen Funktionen angezeigt werden sollen. Die \x auto Befehle vor dem \df Befehl aktivieren und deaktivieren die erweiterte Anzeige automatisch, um die Ausgabe des Befehls in Azure Cloud Shell einfacher anzuzeigen.

\x auto
\df+ azure_ai.*

Verwenden Sie die azure_ai.set_setting() Funktion, um den Endpunkt und kritische Werte für Azure AI-Dienste festzulegen. Er akzeptiert einen Schlüssel und den Wert, der ihm zugewiesen werden soll. Die azure_ai.get_setting() Funktion bietet eine Möglichkeit zum Abrufen der Werte, die Sie mit der set_setting() Funktion festgelegt haben. Er akzeptiert den Schlüssel der Einstellung, die Sie anzeigen möchten. Für beide Methoden muss der Schlüssel eine der folgenden Sein:

Schlüssel BESCHREIBUNG
azure_openai.endpoint Ein unterstützter Azure OpenAI-Endpunkt (z. B https://example.openai.azure.com. ).
azure_openai.subscription_key Ein Abonnementschlüssel für eine Azure OpenAI-Ressource.
azure_cognitive.endpoint Ein unterstützter Cognitive Services-Endpunkt (z. B https://example.cognitiveservices.azure.com. ).
azure_cognitive.subscription_key Ein Abonnementschlüssel für eine Cognitive Services-Ressource.

Wichtig

Da die Verbindungsinformationen für Azure AI-Dienste, einschließlich API-Schlüssel, in einer Konfigurationstabelle in der Datenbank gespeichert werden, definiert die azure_ai-Erweiterung eine Rolle mit Namen azure_ai_settings_manager, um sicherzustellen, dass diese Informationen geschützt und nur für Benutzer mit dieser Rolle zugänglich sind. Diese Rolle ermöglicht das Lesen und Schreiben von Einstellungen im Zusammenhang mit der Erweiterung.

Nur Superuser und Mitglieder der azure_ai_settings_manager Rolle können die Funktionen azure_ai.get_setting() und azure_ai.set_setting() aufrufen. In Der Azure-Datenbank für PostgreSQL haben alle Administratorbenutzer die azure_ai_settings_manager Rolle.

Generieren von Vektoreinbettungen mit Azure OpenAI

Das azure_ai Schema der Erweiterung azure_openai ermöglicht die Verwendung von Azure OpenAI zum Erstellen von Vektoreinbettungen für Textwerte. Mithilfe dieses Schemas können Sie Einbettungen mit Azure OpenAI direkt aus der Datenbank generieren, um Vektordarstellungen von Eingabetext zu erstellen. Diese Darstellungen können dann in Vektorgleichheitssuchen verwendet und von Machine Learning-Modellen genutzt werden.

Einbettungen sind eine Technik, bei der Machine Learning-Modelle verwendet werden, um zu bewerten, wie eng verwandte Informationen sind. Diese Technik ermöglicht eine effiziente Identifizierung von Beziehungen und Ähnlichkeiten zwischen Daten, sodass Algorithmen Muster identifizieren und genaue Vorhersagen vornehmen können.

Festlegen des Azure OpenAI-Endpunkts und des Schlüssels

Bevor Sie die Funktionen verwenden, konfigurieren Sie die azure_openai Erweiterung mit Ihrem Azure OpenAI-Dienstendpunkt und Schlüssel:

  1. Wechseln Sie im Azure-Portal zu Ihrer Azure OpenAI-Ressource. Wählen Sie im linken Menü unter "Ressourcenverwaltung" die Option "Schlüssel" und "Endpunkt" aus.

  2. Kopieren Sie Ihren Endpunkt und Zugriffsschlüssel. Sie können KEY1 oder KEY2 verwenden. Wenn Sie jederzeit zwei Schlüssel zur Verfügung haben, können Sie die Schlüssel auf sichere Weise rotieren und neu generieren, ohne Dienstunterbrechungen zu verursachen.

  3. Ersetzen Sie im folgenden Befehl die {endpoint} und {api-key} die Token durch Werte, die Sie aus dem Azure-Portal abgerufen haben. Führen Sie dann die Befehle aus der psql Eingabeaufforderung aus, um die Werte zur Konfigurationstabelle hinzuzufügen.

    SELECT azure_ai.set_setting('azure_openai.endpoint','{endpoint}');
SELECT azure_ai.set_setting('azure_openai.subscription_key', '{api-key}');

  4. Überprüfen Sie die in der Konfigurationstabelle enthaltenen Einstellungen:

    SELECT azure_ai.get_setting('azure_openai.endpoint');
SELECT azure_ai.get_setting('azure_openai.subscription_key');

Die azure_ai Erweiterung ist jetzt mit Ihrem Azure OpenAI-Konto verbunden und kann Vektoreinbettungen generieren.

Auffüllen der Datenbank mit Beispieldaten

In diesem Artikel wird eine kleine Teilmenge des BillSum-Datasets verwendet, um Beispieltextdaten zum Generieren von Vektoren bereitzustellen. Dieses Datensatz enthält eine Liste der US-amerikanischen Kongress- und kalifornischen Gesetzesvorlagen. Sie können die bill_sum_data.csv Datei herunterladen, die diese Daten aus dem GitHub-Repository für Azure-Beispiele enthält.

Um die Beispieldaten in der Datenbank zu hosten, erstellen Sie eine Tabelle mit dem Namen bill_summaries:

CREATE TABLE bill_summaries
(
    id bigint PRIMARY KEY,
    bill_id text,
    bill_text text,
    summary text,
    title text,
    text_len bigint,
    sum_len bigint
);

Laden Sie die Beispieldaten aus der CSV-Datei mithilfe des Befehls PostgreSQL COPY aus psql der Eingabeaufforderung in die bill_summaries Tabelle. Geben Sie an, dass die erste Zeile der CSV-Datei eine Kopfzeile ist.

\COPY bill_summaries (id, bill_id, bill_text, summary, title, text_len, sum_len) FROM PROGRAM 'curl "https://raw.githubusercontent.com/Azure-Samples/Azure-OpenAI-Docs-Samples/main/Samples/Tutorials/Embeddings/data/bill_sum_data.csv"' WITH CSV HEADER ENCODING 'UTF8'

Aktivierung des Vektor-Support

Sie können die azure_ai Erweiterung verwenden, um Einbettungen für Eingabetext zu generieren. Damit die generierten Vektoren zusammen mit den restlichen Daten in der Datenbank gespeichert werden können, müssen Sie die pgvector Erweiterung installieren. Befolgen Sie die Anleitungen in der Dokumentation zum Aktivieren der Vektorunterstützung in Ihrer Datenbank.

Wenn Ihrer Datenbank Vektorunterstützung hinzugefügt wird, fügen Sie der bill_summaries Tabelle eine neue Spalte hinzu, indem Sie den vector Datentyp zum Speichern von Einbettungen in der Tabelle verwenden. Das text-embedding-ada-002 Modell erzeugt Vektoren mit 1.536 Dimensionen, sodass Sie als Vektorgröße angeben 1536 müssen.

ALTER TABLE bill_summaries
ADD COLUMN bill_vector vector(1536);

Generieren und Speichern von Vektoren

Die bill_summaries Tabelle kann jetzt Einbettungen speichern. Mithilfe der azure_openai.create_embeddings() Funktion erstellen Sie Vektoren für das bill_text Feld und fügen sie in die neu erstellte bill_vector Spalte in der bill_summaries Tabelle ein.

Bevor Sie die create_embeddings() Funktion verwenden, führen Sie den folgenden Befehl aus, um sie zu prüfen und die erforderlichen Argumente zu überprüfen:

\df+ azure_openai.*

Die Argument data types Eigenschaft in der Ausgabe des \df+ azure_openai.* Befehls zeigt die Liste der Argumente an, die von der Funktion erwartet werden:

Argument type Standard BESCHREIBUNG
deployment_name text Name der Bereitstellung im Azure AI Foundry-Portal, das das text-embeddings-ada-002 Modell enthält.
input text Eingabetext zum Erstellen von Einbettungen.
timeout_ms integer 3600000 Timeout in Millisekunden, nach dem der Vorgang beendet wird.
throw_on_error boolean true Flag, das angibt, ob die Funktion im Fehlerfall eine Ausnahme auslösen soll, die zu einem Rollback der umschließenden Transaktionen führt.

Das erste Argument ist der deployment_name Wert, der zugewiesen wurde, als Ihr Embedding-Modell in Ihrem Azure OpenAI-Konto bereitgestellt wurde. So rufen Sie diesen Wert ab:

  1. Wechseln Sie im Azure-Portal zu Ihrer Azure OpenAI-Ressource.

  2. Wählen Sie im linken Menü unter "Ressourcenverwaltung" die Option "Modellbereitstellungen " aus, um das Azure AI Foundry-Portal zu öffnen.

  3. Wählen Sie im Azure AI Foundry-Portal Die Bereitstellungen aus. Kopieren Sie im Bereich Bereitstellungen den Wert des Bereitstellungsnamens, der der text-embedding-ada-002 Modellbereitstellung zugeordnet ist.

Screenshot der Einbettungsbereitstellungen für die Integration von KI

Führen Sie mithilfe dieser Informationen eine Abfrage aus, um jeden Datensatz in der bill_summaries Tabelle zu aktualisieren. Fügen Sie die generierten Vektoreinbettungen für das bill_text Feld mithilfe der bill_vector Funktion in die azure_openai.create_embeddings() Spalte ein. Ersetzen Sie {your-deployment-name} mit dem Wert des Bereitstellungsnamens, den Sie aus dem Bereich „Bereitstellungen“ im Azure AI Foundry-Portal kopiert haben. Führen Sie dann den folgenden Befehl aus:

UPDATE bill_summaries b
SET bill_vector = azure_openai.create_embeddings('{your-deployment-name}', b.bill_text);

Führen Sie die folgende Abfrage aus, um die Einbettung anzuzeigen, die für den ersten Datensatz in der Tabelle generiert wird. Sie können zuerst \x ausführen, wenn die Ausgabe schwer zu lesen ist.

SELECT bill_vector FROM bill_summaries LIMIT 1;

Jede Einbettung ist ein Vektor von Gleitkommazahlen. Der Abstand zwischen zwei Einbettungen im Vektorraum wird mit der semantischen Ähnlichkeit zwischen zwei Eingaben im ursprünglichen Format korreliert.

Die Vektorähnlichkeit ist eine Methode zum Messen, wie ähnlich zwei Elemente sind, indem sie als Vektoren dargestellt werden. Vektoren sind eine Reihe von Zahlen. Sie werden häufig verwendet, um Suchvorgänge über LLMs durchzuführen.

Die Vektorähnlichkeit wird häufig anhand von Entfernungsmetriken berechnet, z. B.:

  • Euklidischer Abstand: Misst den geraden Abstand zwischen zwei Vektoren im n-dimensionalen Raum.
  • Kosinusähnlichkeit: Misst den Kosinus des Winkels zwischen zwei Vektoren.

Ermöglichen Sie eine effizientere Suche über das vector Feld, indem Sie einen Index auf bill_summaries über Kosinusabstand und Hierarchische Navigierbare Small World (HNSW) erstellen. HNSW ermöglicht pgvector, die neuesten graphbasierten Algorithmen zu verwenden, um Pixelwiederholung-Abfragen anzunähern.

CREATE INDEX ON bill_summaries USING hnsw (bill_vector vector_cosine_ops);

Da jetzt alles vorhanden ist, können Sie eine Cosine-Similaritätssuche in der Datenbank ausführen.

In der folgenden Abfrage werden die Einbettungen für eine Eingabefrage generiert und dann in ein Vektorarray (::vector) umgewandelt. Das Vektorarray ermöglicht es, die Frage mit den in der bill_summaries Tabelle gespeicherten Vektoren zu vergleichen.

SELECT bill_id, title FROM bill_summaries
ORDER BY bill_vector <=> azure_openai.create_embeddings('embeddings', 'Show me bills relating to veterans entrepreneurship.')::vector
LIMIT 3;

Die Abfrage verwendet den <=>Vektoroperator. Dieser Operator stellt den Kosinusabstandsoperator dar, der zum Berechnen des Abstands zwischen zwei Vektoren in einem mehrdimensionalen Raum verwendet wird.

Integration von Azure Cognitive Services

Die im azure_cognitive Schema der azure_ai Erweiterung enthaltenen Azure AI-Dienste bieten eine vielzahl von KI-Sprachfeatures, auf die Sie direkt aus der Datenbank zugreifen können. Zu den Funktionen gehören Stimmungsanalyse, Spracherkennung, Extraktion von Schlüsselwörtern, Erkennung von Entitäten und Textzusammenfassung. Der Zugriff auf diese Funktionen wird über den Azure KI Language Serviceaktiviert.

Informationen zum Überprüfen der vollständigen Azure AI-Funktionen, auf die Sie über die Erweiterung zugreifen können, finden Sie unter Integrieren der Azure-Datenbank für PostgreSQL in Azure Cognitive Services.

Festlegen des Azure KI Language-Dienstendpunkts und des Schlüssels

Wie bei den azure_openai Funktionen müssen Sie den Endpunkt und einen Schlüssel für Ihre Azure AI Language-Dienstressource bereitstellen, um erfolgreich Aufrufe für Azure AI-Dienste mithilfe der azure_ai Erweiterung zu tätigen:

  1. Wechseln Sie im Azure-Portal zu Ihrer Sprachdienstressource.

  2. Wählen Sie im linken Menü unter "Ressourcenverwaltung" die Option "Schlüssel" und "Endpunkt" aus.

  3. Kopieren Sie Ihren Endpunkt und Zugriffsschlüssel. Sie können KEY1 oder KEY2 verwenden.

  4. Führen Sie an der psql Eingabeaufforderung die folgenden Befehle aus, um der Konfigurationstabelle Ihre Werte hinzuzufügen. Ersetzen Sie die {endpoint} Und-Token {api-key} durch die Werte, die Sie aus dem Azure-Portal abgerufen haben.

    SELECT azure_ai.set_setting('azure_cognitive.endpoint','{endpoint}');
SELECT azure_ai.set_setting('azure_cognitive.subscription_key', '{api-key}');

Zusammenfassen von Rechnungen

Um einige der Funktionen azure_cognitiveazure_ai der Erweiterung zu veranschaulichen, können Sie eine Zusammenfassung der einzelnen Rechnungen generieren. Das azure_cognitive Schema bietet zwei Funktionen zum Zusammenfassen von Text:

  • summarize_abstractive: Abstrakte Zusammenfassung erzeugt eine Zusammenfassung, die die Hauptkonzepte von Eingabetext erfasst, aber möglicherweise nicht identische Wörter verwendet.
  • summarize_extractive: Extrahierende Zusammenfassung fasst eine Zusammenfassung zusammen, indem kritische Sätze aus dem Eingabetext extrahiert werden.

Um die Fähigkeit des Azure KI Language Services zum Generieren neuer, ursprünglicher Inhalte zu verwenden, verwenden Sie die summarize_abstractive Funktion, um eine Zusammenfassung der Texteingabe zu erstellen. Verwenden Sie den \df Metabefehl von psql erneut, um sich die azure_cognitive.summarize_abstractive Funktion genauer anzusehen:

\df azure_cognitive.summarize_abstractive

Die Argument data types Eigenschaft in der Ausgabe des \df azure_cognitive.summarize_abstractive Befehls zeigt die Liste der Argumente an, die von der Funktion erwartet werden:

Argument type Standard BESCHREIBUNG
text text Eingabetext, der zusammengefasst werden soll.
language text Zweibuchstabige ISO 639-1 Repräsentation der Sprache, in der der Eingabetext geschrieben wurde. Überprüfen Sie die zulässigen Werte unter Sprachunterstützung für Sprachfeatures.
timeout_ms integer 3600000 Timeout in Millisekunden, nach dem der Vorgang beendet wird.
throw_on_error boolean true Flag, das angibt, ob die Funktion im Fehlerfall eine Ausnahme auslösen soll, die zu einem Rollback der umschließenden Transaktionen führt.
sentence_count integer 3 Maximale Anzahl von Sätzen, die in die generierte Zusammenfassung aufgenommen werden sollen.
disable_service_logs boolean false Einstellung, die Sprachdienstprotokolle deaktiviert. Der Sprachdienst protokolliert Ihren Eingabetext nur für 48 Stunden, um Probleme zu beheben. Wenn Sie diese Eigenschaft auf true festlegen, wird die Protokollierung der Eingaben deaktiviert. Unsere Möglichkeiten, auftretende Probleme zu untersuchen, werden dadurch möglicherweise eingeschränkt. Weitere Informationen finden Sie in den Compliance- und Datenschutzhinweisen zu Cognitive Services und den Microsoft Responsible AI-Prinzipien.

Für die summarize_abstractive Funktion sind die folgenden Argumente erforderlich: azure_cognitive.summarize_abstractive(text TEXT, language TEXT).

Die folgende Abfrage für die bill_summaries Tabelle verwendet die summarize_abstractive Funktion, um eine neue Ein-Satz-Zusammenfassung für den Text eines Gesetzentwurfs zu generieren. Es ermöglicht Ihnen, die Leistungsfähigkeit der generativen KI direkt in Ihre Abfragen zu integrieren.

SELECT
    bill_id,
    azure_cognitive.summarize_abstractive(bill_text, 'en', sentence_count => 1) one_sentence_summary
FROM bill_summaries
WHERE bill_id = '112_hr2873';

Sie können die Funktion auch verwenden, um Daten in Ihre Datenbanktabellen zu schreiben. Ändern Sie die bill_summaries Tabelle, um eine neue Spalte zum Speichern der Ein-Satz-Zusammenfassungen in der Datenbank hinzuzufügen.

ALTER TABLE bill_summaries
ADD COLUMN one_sentence_summary TEXT;

Aktualisieren Sie als Nächstes die Tabelle mit den Zusammenfassungen. Die summarize_abstractive Funktion gibt ein Array von Text (text[]) zurück. Die array_to_string Funktion konvertiert den Rückgabewert in die Zeichenfolgendarstellung. In der folgenden Abfrage wird das throw_on_error-Argument auf false gesetzt. Mit dieser Einstellung kann der Zusammenfassungsprozess fortgesetzt werden, wenn ein Fehler auftritt.

UPDATE bill_summaries b
SET one_sentence_summary = array_to_string(azure_cognitive.summarize_abstractive(b.bill_text, 'en', throw_on_error => false, sentence_count => 1), ' ', '')
where one_sentence_summary is NULL;

In der Ausgabe bemerken Sie möglicherweise eine Warnung zu einem ungültigen Dokument, für das eine entsprechende Zusammenfassung nicht generiert werden konnte. Diese Warnung ergibt sich aus der Einstellung throw_on_errorfalse in der vorherigen Abfrage. Wenn Sie diese Kennzeichnung auf die Standardeinstellung trueverlassen haben, schlägt die Abfrage fehl, und keine Zusammenfassungen werden in die Datenbank geschrieben. Führen Sie den folgenden Befehl aus, um den Datensatz anzuzeigen, der die Warnung ausgegeben hat:

SELECT bill_id, one_sentence_summary FROM bill_summaries WHERE one_sentence_summary is NULL;

Anschließend können Sie die bill_summaries Tabelle abfragen, um die neuen Zusammenfassungen mit einem Satz anzuzeigen, die von der azure_ai Erweiterung für die anderen Datensätze in der Tabelle generiert werden:

SELECT bill_id, one_sentence_summary FROM bill_summaries LIMIT 5;

Zusammenfassung

Glückwunsch! Sie haben gerade gelernt, wie Sie die azure_ai Erweiterung verwenden, um große Sprachmodelle und generative KI-Funktionen in Ihre Datenbank zu integrieren.

Verwandte Inhalte

  • Last updated on