Verwenden Ihrer Bilddaten für Azure OpenAI mit GPT-4 Turbo with Vision (Vorschau) im Azure OpenAI Studio

In diesem Artikel erfahren Sie, wie Sie Ihre eigenen Bilddaten für GPT-4 Turbo with Vision bereitstellen, dem Vision-Modell in Azure OpenAI Service. GPT-4 Turbo with Vision für Ihre Daten ermöglicht es dem Modell, angepasstere und gezieltere Antworten mithilfe von Retrieval Augmented Generation (RAG) basierend auf Ihren eigenen Bildern und Bildmetadaten zu generieren.

Wichtig

Nachdem das GPT4-Turbo with Vision (Vorschau)-Modell veraltet ist, können Sie Azure OpenAI nicht mehr für Ihre Bilddaten verwenden. Informationen zum Implementieren einer RAG-Lösung mit Bilddaten finden Sie im Beispiel auf GitHub.

Voraussetzungen

• Azure-Abonnement – kostenloses Abonnement erstellen.
• Eine Azure OpenAI-Ressource mit bereitgestelltem GPT-4 Turbo mit Vision-Modell. Weitere Informationen zur Modellimplementierung finden Sie im Leitfaden zur Ressourcenbereitstellung.

• Ihnen muss mindestens die Rolle Mitwirkender für Cognitive Services für die Azure OpenAI-Ressource zugewiesen sein.

Hinzufügen Ihrer Datenquelle

Gehen Sie zu Azure OpenAI Studio, und melden Sie sich mit den Anmeldeinformationen an, mit denen Sie Zugriff auf Ihre Azure OpenAI-Ressource haben. Wählen Sie während oder nach dem Anmeldeworkflow das passende Verzeichnis, Azure-Abonnement und die Azure OpenAI-Ressource aus.

Wählen Sie auf der Kachel Assistent einrichten die Option Daten hinzufügen (Vorschau)>+ Datenquelle hinzufügen aus.

Im Bereich, der angezeigt wird, nachdem Sie Datenquelle hinzufügen ausgewählt haben, werden drei Optionen zum Auswählen einer Datenquelle angezeigt:

• Azure KI Cognitive Search
• Azure Blob Storage
• Ihre Bilddateien und Bildmetadaten

Bei allen drei Optionen wird der Index der Azure KI-Suche verwendet, um die Bild-zu-Bild-Suche durchzuführen und die besten Suchergebnisse für Ihr Bild aus dem Eingabeprompt abzurufen. Bei den Optionen mit Azure Blob Storage und dem Hochladen von Dateien generiert Azure OpenAI einen Bildsuchindex für Sie. Für die Azure KI-Suche benötigen Sie einen Bildsuchindex. Die folgenden Abschnitte enthalten Details zum Erstellen des Suchindex.

Aktivieren von CORS

Wenn Sie zum ersten Mal eine Datenquelle hinzufügen, wird möglicherweise ein roter Hinweis angezeigt, in dem Sie aufgefordert werden, die ursprungsübergreifende Ressourcenfreigabe (Cross-Origin Resource Sharing, CORS) zu aktivieren. Um die Warnung zu beenden, wählen Sie CORS aktivieren, damit Azure OpenAI auf die Datenquelle zugreifen kann.

Hinzufügen Ihrer Daten durch Hochladen von Dateien

Sie können Ihre Bilddateien manuell hochladen und Metadaten manuell eingeben, indem Sie Azure OpenAI verwenden. Diese Funktion ist besonders hilfreich, wenn Sie mit einer kleinen Menge von Bildern experimentieren und eine Datenquelle erstellen möchten.

1. Gehen Sie wie vorher beschrieben in Azure OpenAI zur Schaltfläche Datenquelle hinzufügen, und wählen Sie sie aus. Wählen Sie dann Dateien hochladen aus.

2. Wählen Sie Ihr Abonnement aus. Wählen Sie ein Blob Storage-Konto aus, in dem Sie Ihre hochgeladenen Bilddateien speichern möchten. Wählen Sie eine Azure KI-Suche-Ressource aus, die Ihren neu erstellten Bildsuchindex enthält. Geben Sie den gewünschten Namen für den Bildsuchindex ein.

   Nachdem Sie alle Werte ausgefüllt haben, aktivieren Sie die beiden Kontrollkästchen unten, um die angefallene Nutzung zu bestätigen, und wählen Sie dann Weiter aus.

   

   Die folgenden Dateitypen werden für Bilddateien mit einer Größe von bis zu 16 MB unterstützt:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. Wählen Sie Datei suchen aus, um in Ihrem lokalen Verzeichnis Bilddateien auszuwählen, die Sie verwenden möchten.

4. Nachdem Sie Ihre Bilddateien ausgewählt haben, werden sie in der Tabelle angezeigt. Wählen Sie Upload files (Dateien hochladen) aus. Stellen Sie nach dem Hochladen der Dateien sicher, dass der Status für alle Hochgeladen lautet. Wählen Sie Weiteraus.

   

5. Geben Sie für jede Bilddatei die Metadaten in die angegebenen Beschreibungsfelder ein. Wählen Sie Weiteraus.

   

6. Überprüfen Sie alle Informationen, um sicherzustellen, dass alles richtig ist. Wählen Sie dann Speichern und schließen aus.

Hinzufügen Ihrer Daten mithilfe von Azure KI-Suche

Wenn Sie bereits über einen Index für Azure KI-Suche verfügen, können Sie ihn als Datenquelle verwenden. Wenn Sie noch keinen Suchindex für Ihre Bilder erstellt haben, können Sie einen mit dem Repository für die Vektorsuche mit KI-Suche auf GitHub erstellen. Dieses Repository bietet Ihnen Skripts zum Erstellen eines Indexes mit Ihren Bilddateien.

Diese Option ist auch hilfreich, wenn Sie Ihre Datenquelle mit Ihren eigenen Dateien erstellen möchten, wie bei der vorherigen Option, und dann zur Playground-Erfahrung zurückkehren, um die Datenquelle auszuwählen, die Sie erstellt, aber noch nicht hinzugefügt haben.

1. Gehen Sie wie vorher beschrieben in Azure OpenAI zur Schaltfläche Datenquelle hinzufügen, und wählen Sie sie aus. Wählen Sie dann Azure KI-Suche aus.

   Tipp

   Sie können einen Bildsuchindex auswählen, den Sie mit Azure Blob Storage oder durch Hochladen von Dateien erstellt haben.

2. Wählen Sie Ihr Abonnement und den Azure KI-Suche-Dienst aus, den Sie zum Erstellen des Bildsuchindexes verwendet haben.

3. Wählen Sie den Azure KI-Suche-Index aus, den Sie mit Ihren Bildern erstellt haben.

4. Nachdem Sie alle Werte ausgefüllt haben, aktivieren Sie die beiden Kontrollkästchen am unteren Rand, um die Gebühren für die Verwendung von GPT-4 Turbo with Vision-Vektoreinbettungen und Azure KI-Suche zu bestätigen. Wählen Sie Weiteraus.

   

5. Überprüfen Sie die Details, und wählen Sie dann Speichern und schließen aus.

Hinzufügen von Daten mit Azure Blob Storage

Wenn Sie über einen Azure Blob Storage-Container verfügen, können Sie diesen verwenden, um einen Bildsuchindex zu erstellen. Wenn Sie einen neuen Container erstellen möchten, lesen Sie den Schnellstart zu Blob Storage.

Die Option der Verwendung eines Blob Storage-Containers ist besonders nützlich, wenn Sie über besonders viele Bilddateien verfügen und nicht jede manuell hochladen möchten.

Wenn Sie noch keinen Blob Storage-Container mit diesen Dateien aufgefüllt haben und Dateien einzeln hochladen möchten, können Sie die Dateien stattdessen mit Azure OpenAI Studio hochladen.

Bevor Sie mit dem Hinzufügen des Blob Storage-Containers als Datenquelle beginnen, stellen Sie sicher, dass er alle Bilder enthält, die Sie aufnehmen möchten. Stellen Sie außerdem sicher, dass sie eine JSON-Datei enthält, die die Bilddateipfade und Metadaten beinhaltet.

Wichtig

Folgende Voraussetzungen muss Ihre JSON-Metadatendatei erfüllen:

• Sie muss einen Dateinamen aufweisen, der mit dem Wort metadata beginnt (vollständig in Kleinbuchstaben und ohne Leerzeichen).
• Sie darf maximal 10.000 Bilddateien enthalten. Wenn Ihr Container mehr Dateien enthält, können Sie mehrere JSON-Dateien mit jeweils maximal dieser Anzahl verwenden.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Wenn Sie einen Blob Storage-Container haben, der mit Bilddateien und mindestens einer JSON-Metadatendatei aufgefüllt ist, können Sie den Container als Datenquelle hinzufügen.

1. Gehen Sie wie vorher beschrieben in Azure OpenAI zur Schaltfläche Datenquelle hinzufügen, und wählen Sie sie aus. Wählen Sie dann Azure Blob Storage aus.

2. Wählen Sie Ihr Abonnement, die Azure Blob Storage-Instanz und den Speichercontainer aus. Sie müssen auch eine Azure KI-Suche-Ressource auswählen, da in dieser Ressourcengruppe ein neuer Bildsuchindex erstellt wird. Wenn Sie nicht über eine Azure KI-Suche-Ressource verfügen, können Sie mithilfe des Links unter der Dropdownliste eine neue erstellen.

3. Geben Sie im Feld Indexname einen Namen für den Suchindex ein.

   Hinweis

   An den Namen des Index wird das Suffix –v angefügt, das angibt, dass es sich um einen Index mit Bildvektoren handelt, die aus den bereitgestellten Bildern extrahiert wurden. Die in der Datei metadata.json gespeicherte Beschreibung wird als Textmetadaten im Index hinzugefügt.

4. Nachdem Sie alle Werte ausgefüllt haben, aktivieren Sie die beiden Kontrollkästchen am unteren Rand, um die Gebühren für die Verwendung von GPT-4 Turbo with Vision-Vektoreinbettungen und Azure KI-Suche zu bestätigen. Wählen Sie Weiteraus.

   

5. Überprüfen Sie die Details, und wählen Sie dann Speichern und schließen aus.

Verwenden der erfassten Daten mit Ihrem GPT-4 Turbo with Vision-Modell

Nachdem Sie die Datenquelle mit einer der drei aufgeführten Methoden verbunden haben, dauert es einige Zeit, bis der Datenaufnahmevorgang abgeschlossen ist. Während des Vorgangs werden ein Symbol und die Meldung Erfassung wird ausgeführt angezeigt.

Stellen Sie nach Abschluss der Aufnahme sicher, dass eine Datenquelle erstellt wird. Die Details der Datenquelle werden zusammen mit dem Namen des Bildsuchindex angezeigt.

Jetzt können diese aufgenommenen Daten als Erdungsdaten für Ihr bereitgestelltes GPT-4 Turbo mit Vision-Modell verwendet werden. Ihr Modell verwendet die wichtigsten Abrufdaten aus Ihrem Bildsuchindex und generiert eine Antwort, die speziell auf Ihre aufgenommenen Daten angewendet wird.

Zusätzliche Tipps

Hinzufügen und Entfernen von Datenquellen

Azure OpenAI ermöglicht derzeit nur die Verwendung einer Datenquelle je Chatsitzung. Wenn Sie eine neue Datenquelle hinzufügen möchten, müssen Sie zuerst die vorhandene Datenquelle entfernen. Entfernen Sie sie durch Auswahl von Datenquelle entfernen unter den Datenquelleninformationen.

Wenn Sie eine Datenquelle entfernen, wird eine Warnmeldung angezeigt. Durch das Entfernen einer Datenquelle wird die Chatsitzung geleert, und alle Einstellungen für den Playground werden zurückgesetzt.

Wichtig

Wenn Sie zu einer Modellimplementierung wechseln, die nicht das GPT-4 Turbo with Vision-Modell verwendet, wird eine Warnmeldung zum Entfernen einer Datenquelle angezeigt. Durch das Entfernen einer Datenquelle wird die Chatsitzung geleert, und alle Einstellungen für den Playground werden zurückgesetzt.

Zugehöriger Inhalt

• Azure OpenAI für Ihre Daten
• Schnellstart: Verwenden von Bildern in Ihren KI-Chats
• Häufig gestellte Fragen zu GPT-4 Turbo mit Vision
• API-Referenz zu GPT-4 Turbo mit Vision