Azure OpenAI-Unternehmenschat mit Bildern mit GPT-4 Turbo with Vision

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

In diesem Artikel erfahren Sie, wie Sie Ihre eigenen Bilddaten für GPT-4 Turbo with Vision, dem Vision-Modell von Azure OpenAI, bereitstellen. GPT-4 Turbo with Vision-Unternehmenschat ermöglicht es dem Modell, angepasstere und gezieltere Antworten mithilfe von Retrieval Augmented Generation (RAG) basierend auf Ihren eigenen Bildern und Bildmetadaten zu generieren.

Tipp

In diesem Artikel wird die Verwendung Ihrer Bilddaten mit dem GPT-4 Turbo with Vision-Modell beschrieben. Unter Bereitstellen einer Web-App für Unternehmenschat finden Sie ein Tutorial zum Bereitstellen einer Chat-Web-App mit Ihren Textdaten.

Voraussetzungen

• Azure-Abonnement – kostenloses Abonnement erstellen.
• Eine Azure OpenAI-Ressource mit bereitgestelltem GPT-4 Turbo mit Vision-Modell. Weitere Informationen zur Modellimplementierung finden Sie im Leitfaden zur Ressourcenbereitstellung.
• Stellen Sie sicher, dass Ihnen mindestens die Rolle Mitwirkender für Cognitive Services für die Azure OpenAI-Ressource zugewiesen ist.
• Eine Azure KI-Suche-Ressource: Weitere Informationen finden Sie unter Erstellen eines Azure KI-Suche-Diensts im Portal. Wenn Sie keine Ressource für Azure KI-Suche besitzen, werden Sie aufgefordert, eine zu erstellen, wenn Sie Ihre Datenquelle später in dieser Anleitung hinzufügen.
• Ein KI Studio-Hub, für den Ihre Azure OpenAI-Ressource und die Ressource für Azure KI-Suche als Verbindungen hinzugefügt wurden.

Bereitstellen eines GPT-4 Turbo with Vision-Modells

1. Melden Sie sich bei Azure KI Studio an, und wählen Sie den Hub aus, in dem Sie arbeiten möchten.
2. Wählen Sie im linken Navigationsmenü die Option KI-Dienste aus. Wählen Sie den Bereich GPT-4 Turbo ausprobieren aus.
3. Wählen Sie auf der Seite „gpt-4“ die Option Bereitstellen aus. Wählen Sie im daraufhin angezeigten Fenster Ihre Azure OpenAI-Ressource aus. Wählen Sie vision-preview als Modellversion aus.
4. Klicken Sie auf Bereitstellen.
5. Wechseln Sie als Nächstes zur Seite Ihres neuen Modells, und wählen Sie In Playground öffnen aus. Im Chat-Playground sollte die von Ihnen erstellte GPT-4-Bereitstellung in der Dropdownliste Bereitstellung ausgewählt werden.

Auswählen der Bilddatenquelle

1. Wählen Sie im linken Bereich die Registerkarte Daten hinzufügen und dann Datenquelle hinzufügen aus.
2. Wählen Sie im angezeigten Fenster eine Datenquellenoption aus. Jede Option verwendet einen Index für Azure KI-Suche, der mit Ihren Bildern trainiert wird und für Retrieval Augmented Generation im Chat-Playground verwendet werden kann.
   • Azure KI-Suche: Wenn Sie bereits über einen Index für Azure KI-Suche verfügen, können Sie ihn als Datenquelle verwenden.
   • Azure Blob Storage: Die Azure Blob Storage-Option ist besonders nützlich, wenn Sie über besonders viele Bilddateien verfügen und nicht jede manuell hochladen möchten. Azure KI Studio generiert einen Bildsuchindex für Sie.
   • Hochladen von Bilddateien und Metadaten: Sie können Bilddateien und Metadaten mit Playground hochladen. Diese Option ist nützlich, wenn Sie über wenige Bilddateien verfügen. Azure KI Studio generiert einen Bildsuchindex für Sie.

Hinzufügen der Bilddaten

Azure KI Cognitive Search

Wenn Sie bereits über einen Index für Azure KI-Suche verfügen, können Sie ihn als Datenquelle verwenden. Wenn Sie noch keinen Suchindex haben, aber selbst einen erstellen möchten, folgen Sie dem Repository für die Vektorsuche mit KI-Suche auf GitHub, das Skripts zum Erstellen eines Index mit Ihren Bilddateien bereitstellt.

1. Wählen Sie im Fenster Datenquelle auswählen oder hinzufügen des Playground die Option Azure KI-Suche aus, und geben Sie die Details Ihres Index ein. Aktivieren Sie die Kontrollkästchen, um zu bestätigen, dass Bereitstellungen und Verbindungen Verbrauch in Ihrem Konto verursachen.
2. Aktivieren Sie optional die Option Benutzerdefinierte Feldzuordnung verwenden. Auf diese Weise können Sie die Zuordnung zwischen den benutzerdefinierten Feldern in Ihrem Suchindex und den Standardfeldern steuern, die Azure OpenAI-Chatmodelle bei Retrieval Augmented Generation verwenden.
3. Wählen Sie Weiter aus, und überprüfen Sie Ihre Einstellungen auf der nächsten Seite. Wählen Sie dann Speichern und schließen aus.
4. Im Chat-Playground können Sie sehen, dass Ihre Daten hinzugefügt wurden.

Azure Blob Storage

Wenn Sie über einen vorhandenen Azure Blob Storage-Container mit Bildern verfügen, können Sie diesen verwenden, um einen Bildsuchindex zu erstellen. Wenn Sie ein neues Blob Storage-Konto erstellen möchten, lesen Sie den Schnellstart zu Azure Blob Storage.

Ihr Azure Blob Storage-Konto muss Bilddateien und eine JSON-Datei mit den Bilddateipfaden und -metadaten enthalten.

Folgende Voraussetzungen muss Ihre JSON-Metadatendatei erfüllen:

• Sie muss einen Dateinamen aufweisen, der mit dem Wort metadata beginnt (vollständig in Kleinbuchstaben und ohne Leerzeichen).
• Sie darf maximal 10.000 Bilddateien auflisten. Wenn Ihr Container mehr Dateien enthält, können Sie mehrere JSON-Dateien mit jeweils maximal dieser Anzahl verwenden.

Die JSON-Metadatendatei sollte wie folgt formatiert sein:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Nachdem Sie einen Blob Storage-Container mit Bilddateien und mindestens einer JSON-Metadatendatei aufgefüllt haben, können Sie die Blob Storage-Instanz als Datenquelle hinzufügen.

1. Wählen Sie im Fenster Datenquelle auswählen oder hinzufügen des Playground die Option Azure Blob Storage aus, und geben Sie die Details Ihrer Datenquelle ein. Wählen Sie auch einen Namen für den Index für Azure KI-Suche aus, der erstellt wird.

   Hinweis

   Azure OpenAI benötigt sowohl eine Speicherkontoressource als auch eine Suchressource, um auf Ihre Daten zuzugreifen und diese zu indizieren. Ihre Daten werden sicher in Ihrem Azure-Abonnement gespeichert.

   Wenn Sie dem ausgewählten Speicherkonto zum ersten Mal Daten in Azure KI Studio hinzufügen, werden Sie möglicherweise aufgefordert, Cross-Origin Resource Sharing (CORS) zu aktivieren. Azure KI Studio und Azure OpenAI benötigen Zugriff auf Ihr Azure Blob Storage-Konto.

   

2. Aktivieren Sie die Kontrollkästchen, um zu bestätigen, dass Bereitstellungen und Verbindungen Verbrauch in Ihrem Konto verursachen. Wählen Sie Weiteraus.

3. Überprüfen Sie die eingegebenen Details, und wählen Sie Speichern und schließen aus.

   

4. Im Chat-Playground können Sie nun sehen, dass die Erfassung Ihrer Daten ausgeführt wird. Warten Sie, bevor Sie fortfahren, bis die Datenquelle und der Indexname anstelle des Status angezeigt werden.

Hochladen von Bilddateien und Metadaten

1. Wählen Sie auf der Seite Datenquelle auswählen oder hinzufügen die Option Dateien hochladen aus der Dropdownliste Datenquelle aus.

2. Geben Sie Ihre Datenquellendetails ein. Wählen Sie auch einen Namen für den Index für Azure KI-Suche aus, der erstellt wird.

   Hinweis

   Azure OpenAI benötigt sowohl eine Speicherkontoressource als auch eine Suchressource, um auf Ihre Daten zuzugreifen und diese zu indizieren. Ihre Daten werden sicher in Ihrem Azure-Abonnement gespeichert.

   Wenn Sie dem ausgewählten Speicherkonto zum ersten Mal Daten in Azure KI Studio hinzufügen, werden Sie möglicherweise aufgefordert, Cross-Origin Resource Sharing (CORS) zu aktivieren. Azure KI Studio und Azure OpenAI benötigen Zugriff auf Ihr Azure Blob Storage-Konto.

   

3. Aktivieren Sie die Kontrollkästchen, um zu bestätigen, dass Bereitstellungen und Verbindungen Verbrauch in Ihrem Konto verursachen. Wählen Sie Weiteraus.

4. Wählen Sie auf der Seite Dateien hochladen die Option Nach einer Datei suchen und dann die Dateien aus, die Sie hochladen möchten. Wenn Sie mehrere Dateien hochladen möchten, tun Sie dies jetzt. Sie können später in derselben Playground-Sitzung keine weiteren Dateien hinzufügen.

   Die folgenden Dateitypen werden für Bilddateien mit einer Größe von bis zu 16 MB unterstützt:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

5. Wählen Sie Hochladen aus, um die Dateien in Ihr Azure Blob Storage-Konto hochzuladen. Wählen Sie Weiteraus.

   

6. Geben Sie auf der Seite Metadaten hinzufügen eine Textbeschreibung für jedes Bild in die entsprechenden Textfelder ein. Wählen Sie Weiteraus.

   

7. Überprüfen Sie die eingegebenen Details. Sie sehen die Namen des Speichercontainers und des Suchindexes, die für Sie erstellt werden. Wählen Sie Speichern und schließen aus.

   

8. Im Chat-Playground können Sie nun sehen, dass die Erfassung Ihrer Daten ausgeführt wird. Warten Sie, bevor Sie fortfahren, bis die Datenquelle und der Indexname anstelle des Status angezeigt werden.

Verwenden Ihrer Daten mit Ihrem GPT-4 Turbo with Vision-Modell

Nachdem Sie Ihre Bilddaten hinzugefügt haben, können Sie eine Chatunterhaltung ausprobieren, die auf Ihren Bilddaten basiert.

1. Verwenden Sie die Schaltfläche „Anlage“ im Chatfenster, um ein neues Bild hochzuladen. Stellen Sie eine Frage zur Beziehung zu den anderen Bildern in Ihrem Dataset.

2. Das Modell gibt eine Antwort, die auf Ihren Bilddaten basiert.

Hinzufügen und Entfernen von Datenquellen

Azure OpenAI ermöglicht nur die Verwendung einer Datenquelle pro Chatsitzung. Wenn Sie eine neue Datenquelle hinzufügen möchten, müssen Sie zuerst die vorhandene Datenquelle entfernen. Wählen Sie dazu die Option Datenquelle entfernen unter den Datenquelleninformationen aus.

Wenn Sie eine Datenquelle entfernen, wird eine Warnmeldung angezeigt. Durch das Entfernen einer Datenquelle wird die Chatsitzung geleert, und alle Einstellungen für den Playground werden zurückgesetzt.

Nächste Schritte

• Erfahren Sie mehr über das Erstellen eines Projekts in Azure KI Studio.
• Bereitstellen einer Unternehmenschat-Web-App