Azure OpenAI Enterprise-chat met afbeeldingen met GPT-4 Turbo met Vision

Artikel
10/16/2024

Belangrijk

Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

Gebruik dit artikel voor meer informatie over het leveren van uw eigen afbeeldingsgegevens voor GPT-4 Turbo with Vision, het visiemodel van Azure OpenAI. GPT-4 Turbo met Vision Enterprise Chat stelt het model in staat om meer aangepaste en gerichte antwoorden te genereren met behulp van het ophalen van augmented generation op basis van uw eigen afbeeldingen en afbeeldingsmetagegevens.

Tip

Dit artikel is bedoeld voor het gebruik van uw afbeeldingsgegevens op het GPT-4 Turbo with Vision-model. Zie Een zakelijke chat-web-app implementeren voor een zelfstudie over het implementeren van een chatweb-app met behulp van uw tekstgegevens.

Vereisten

Een Azure-abonnement: maak er gratis een.
Een Azure OpenAI-resource met de GPT-4 Turbo met Vision-model geïmplementeerd. Zie de gids implementatiemodellen voor meer informatie over de implementatiemodellen.
Zorg ervoor dat u ten minste de rol Cognitive Services-inzender voor de Azure OpenAI-resource hebt toegewezen.
Een Azure AI Search-resource. Zie Een Azure AI-Search-service maken in de portal. Als u geen Azure AI Search-resource hebt, wordt u gevraagd er een te maken wanneer u de gegevensbron verderop in deze handleiding toevoegt.
Een AI Studio-hub met uw Azure OpenAI-resource en Azure AI Search-resource toegevoegd als verbindingen.

Een GPT-4 Turbo met Vision-model implementeren

Meld u aan bij Azure AI Studio en selecteer de hub waarin u wilt werken.
Selecteer AI Services in het linkernavigatiemenu. Selecteer het gpt-4 turbopaneel uitproberen.
Selecteer Implementeren op de pagina gpt-4. Selecteer uw Azure OpenAI-resource in het venster dat wordt weergegeven. Selecteer vision-preview deze optie als de modelversie.
Selecteer Implementeren.
Ga vervolgens naar de pagina van uw nieuwe model en selecteer Openen in speeltuin. In de chatspeeltuin moet de GPT-4-implementatie die u hebt gemaakt, worden geselecteerd in de vervolgkeuzelijst Implementatie .

Uw afbeeldingsgegevensbron selecteren

Selecteer in het linkerdeelvenster het tabblad Gegevens toevoegen en selecteer Een gegevensbron toevoegen.
Selecteer een gegevensbronoptie in het venster dat wordt weergegeven. Elke optie maakt gebruik van een Azure AI Search-index die is getraind op uw afbeeldingen en kan worden gebruikt voor het ophalen van augmented generation in de chatspeeltuin.
- Azure AI Search: als u een bestaande Azure AI Search-index hebt, kunt u deze als gegevensbron gebruiken.
- Azure Blob Storage: de optie Azure Blob Storage is vooral handig als u een groot aantal afbeeldingsbestanden hebt en u niet elke afbeelding handmatig wilt uploaden. Azure AI Studio genereert een zoekindex voor afbeeldingen voor u.
- Afbeeldingsbestanden en metagegevens uploaden: U kunt afbeeldingsbestanden en metagegevens uploaden met behulp van de speeltuin. Deze optie is handig als u een klein aantal afbeeldingsbestanden hebt. Azure AI Studio genereert een zoekindex voor afbeeldingen voor u.

Uw afbeeldingsgegevens toevoegen

Als u een bestaande Azure AI Search-index hebt, kunt u deze als gegevensbron gebruiken. Als u nog geen zoekindex hebt, maar u er zelf een wilt maken, volgt u de ai Search Vector Search-opslagplaats op GitHub, die scripts biedt voor het maken van een index met uw afbeeldingsbestanden.

Kies Azure AI Search in het venster Selecteren of toevoegen van de speeltuin en voer de details van uw index in. Schakel de selectievakjes in om te bevestigen dat implementaties en verbindingen het gebruik van uw account met zich meebrengt.
Schakel desgewenst de optie Aangepaste veldtoewijzing gebruiken in. Hiermee kunt u de toewijzing beheren tussen de aangepaste velden in uw zoekindex en de standaardvelden die door Azure OpenAI-chatmodellen worden gebruikt tijdens het ophalen van augmented generation.
Selecteer Volgende en controleer uw instellingen op de volgende pagina. Selecteer Vervolgens Opslaan en sluiten.
In de chatspeeltuin ziet u dat uw gegevens zijn toegevoegd.

Als u een bestaande Azure Blob Storage-container met installatiekopieën hebt, kunt u deze gebruiken om een zoekindex voor afbeeldingen te maken. Als u een nieuw Blob Storage-account wilt maken, raadpleegt u de quickstart voor Azure Blob Storage.

Uw Azure Blob Storage-account moet zowel afbeeldingsbestanden als een JSON-bestand bevatten met de paden en metagegevens van het afbeeldingsbestand.

Uw JSON-bestand met metagegevens moet:

Een bestandsnaam hebben die begint met het woord metadata (allemaal in kleine letters zonder spatie).
Vermeld niet meer dan 10.000 afbeeldingsbestanden. Als u meer bestanden in uw container hebt, kunt u meerdere JSON-bestanden met maximaal dit maximum hebben.

Het JSON-metagegevensbestand moet als volgt worden opgemaakt:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Nadat u een blob-opslagcontainer hebt gevuld met afbeeldingsbestanden en ten minste één JSON-bestand met metagegevens, kunt u de blobopslag toevoegen als gegevensbron.

Kies Azure Blob Storage in het venster Selecteren of toevoegen van de speeltuin en voer de gegevensbrongegevens in. Kies ook een naam voor de Azure AI Search-index die wordt gemaakt.

Notitie

Azure OpenAI heeft zowel een opslagaccount resource als een zoekresource nodig om uw gegevens te kunnen openen en indexeren. Uw gegevens worden veilig opgeslagen in uw Azure-abonnement.

Wanneer u gegevens voor het eerst toevoegt aan het geselecteerde opslagaccount in Azure AI Studio, wordt u mogelijk gevraagd om cross-origin brondeling (CORS) in te schakelen. Azure AI Studio en Azure OpenAI hebben toegang nodig tot uw Azure Blob Storage-account.
Schakel de selectievakjes in om te bevestigen dat implementaties en verbindingen het gebruik van uw account met zich meebrengt. Selecteer Volgende.
Controleer de gegevens die u hebt ingevoerd en selecteer Opslaan en sluiten.
Nu in de chatspeeltuin kunt u zien dat uw gegevensopname wordt uitgevoerd. Voordat u doorgaat, wacht u totdat u de naam van de gegevensbron en index ziet in plaats van de status.

Uw gegevens gebruiken met uw GPT-4 Turbo met Vision-model

Nadat u uw afbeeldingsgegevens hebt toegevoegd, kunt u een chatgesprek uitproberen dat is gebaseerd op uw afbeeldingsgegevens.

Gebruik de bijlageknop in het chatvenster om een nieuwe afbeelding te uploaden. Stel een vraag over de relatie met de andere afbeeldingen in uw gegevensset.
Het model reageert met een antwoord dat is gebaseerd op uw afbeeldingsgegevens.

Gegevensbronnen toevoegen en verwijderen

Met Azure OpenAI kan slechts één gegevensbron per chatsessie worden gebruikt. Als u een nieuwe gegevensbron wilt toevoegen, moet u eerst de bestaande gegevensbron verwijderen. Selecteer Hiervoor gegevensbron verwijderen onder de gegevensbrongegevens.

Wanneer u een gegevensbron verwijdert, ziet u een waarschuwingsbericht. Als u een gegevensbron verwijdert, wordt de chatsessie gewist en worden alle instellingen voor de speeltuin opnieuw ingesteld.

Delen via