Azure OpenAI enterprise chat med bilder med GPT-4 Turbo med Vision

Viktigt!

Vissa av de funktioner som beskrivs i den här artikeln kanske bara är tillgängliga i förhandsversionen. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Använd den här artikeln om du vill lära dig hur du tillhandahåller egna bilddata för GPT-4 Turbo med Vision, Azure OpenAI:s visionsmodell. MED GPT-4 Turbo with Vision enterprise chat kan modellen generera mer anpassade och riktade svar med hjälp av hämtningsförhöjd generering baserat på dina egna bilder och bildmetadata.

Dricks

Den här artikeln används för att använda dina bilddata på GPT-4 Turbo with Vision-modellen. Se Distribuera en företagschattwebbapp för en självstudiekurs om hur du distribuerar en chattwebbapp med hjälp av dina textdata.

Förutsättningar

• En Azure-prenumeration – Skapa en kostnadsfritt.
• Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
• En Azure OpenAI-resurs med GPT-4 Turbo med Vision-modellen distribuerad. Mer information om distributionsmodellerna finns i Förstå distributionsmodeller.
• Se till att du har tilldelats rollen Cognitive Services-deltagare för Azure OpenAI-resursen.
• En Azure AI Search-resurs. Se skapa en Azure AI-tjänsten Search i portalen. Om du inte har någon Azure AI Search-resurs uppmanas du att skapa en när du lägger till datakällan senare i den här guiden.
• En AI Studio-hubb med din Azure OpenAI-resurs och Azure AI Search-resurs som lagts till som anslutningar.

Distribuera en GPT-4 Turbo med Vision-modell

1. Logga in på Azure AI Studio och välj den hubb som du vill arbeta i.
2. På den vänstra navigeringsmenyn väljer du AI-tjänster. Välj panelen Prova GPT-4 Turbo.
3. På sidan gpt-4 väljer du Distribuera. I fönstret som visas väljer du din Azure OpenAI-resurs. Välj vision-preview som modellversion.
4. Välj distribuera.
5. Gå sedan till den nya modellens sida och välj Öppna på lekplatsen. I chattlekplatsen bör den GPT-4-distribution som du skapade väljas i listrutan Distribution .

Välj din bilddatakälla

1. I den vänstra rutan väljer du fliken Lägg till data och väljer Lägg till en datakälla.
2. I fönstret som visas väljer du ett alternativ för datakälla. Varje alternativ använder ett Azure AI Search-index som tränas på dina bilder och kan användas för att hämta förhöjd generation i chattlekplatsen.
   • Azure AI Search: Om du har ett befintligt Azure AI Search-index kan du använda det som datakälla.
   • Azure Blob Storage: Alternativet Azure Blob Storage är särskilt användbart om du har ett stort antal bildfiler och inte vill ladda upp var och en manuellt. Azure AI Studio genererar ett bildsökningsindex åt dig.
   • Ladda upp bildfiler och metadata: Du kan ladda upp bildfiler och metadata med hjälp av lekplatsen. Det här alternativet är användbart om du har ett litet antal bildfiler. Azure AI Studio genererar ett bildsökningsindex åt dig.

Lägga till dina bilddata

Azure AI Search

Om du har ett befintligt Azure AI Search-index kan du använda det som datakälla. Om du inte redan har ett sökindex men vill skapa ett på egen hand följer du lagringsplatsen för AI Search-vektorsökning på GitHub, som innehåller skript för att skapa ett index med dina bildfiler.

1. I lekplatsens fönstret Välj eller lägg till datakälla väljer du Azure AI Search och anger ditt indexs information. Markera rutorna för att bekräfta att distributioner och anslutningar medför användning på ditt konto.
2. Du kan också aktivera alternativet Använd anpassad fältmappning . På så sätt kan du styra mappningen mellan de anpassade fälten i ditt sökindex och de standardfält som Azure OpenAI-chattmodeller använder under hämtning av utökad generering.
3. Välj Nästa och granska inställningarna på nästa sida. Välj sedan Spara och stäng.
4. På chattlekplatsen kan du se att dina data har lagts till.

Azure Blob Storage

Om du har en befintlig Azure Blob Storage-container med avbildningar kan du använda den för att skapa ett bildsökningsindex. Om du vill skapa ett nytt bloblagringskonto läser du snabbstartsdokumentationen för Azure Blob Storage.

Ditt Azure Blob Storage-konto måste innehålla både bildfiler och en JSON-fil med sökvägarna och metadata för bildfilen.

Din metadata-JSON-fil måste:

• Ha ett filnamn som börjar med ordet metadata (allt i gemener utan blanksteg).
• Visa högst 10 000 bildfiler. Om du har fler filer i containern kan du ha flera JSON-filer var och en med upp till det här maxvärdet.

JSON-metadatafilen ska formateras så här:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

När du har en bloblagringscontainer ifylld med avbildningsfiler och minst en metadata-JSON-fil är du redo att lägga till bloblagringen som datakälla.

1. I lekplatsens fönstret Välj eller lägg till datakälla väljer du Azure Blob Storage och anger information om datakällan. Välj också ett namn för Azure AI Search-indexet som ska skapas.

   Kommentar

   Azure OpenAI behöver både en lagringskontoresurs och en sökresurs för att komma åt och indexera dina data. Dina data lagras säkert i din Azure-prenumeration.

   När du lägger till data i det valda lagringskontot för första gången i Azure AI Studio kan du uppmanas att aktivera resursdelning mellan ursprung (CORS). Azure AI Studio och Azure OpenAI behöver åtkomst till ditt Azure Blob Storage-konto.

   

2. Markera rutorna för att bekräfta att distributioner och anslutningar medför användning på ditt konto. Välj sedan Nästa.

3. Granska informationen du angav och välj Spara och stäng.

   

4. Nu i chattlekplatsen kan du se att datainmatningen pågår. Vänta tills du ser datakällan och indexnamnet i stället för statusen innan du fortsätter.

Ladda upp bildfiler och metadata

1. På sidan Välj eller lägg till datakälla väljer du Ladda upp filer i listrutan Välj datakälla .

2. Ange information om datakällan. Välj också ett namn för Azure AI Search-indexet som ska skapas.

   Kommentar

   Azure OpenAI behöver både en lagringskontoresurs och en sökresurs för att komma åt och indexera dina data. Dina data lagras säkert i din Azure-prenumeration.

   När du lägger till data i det valda lagringskontot för första gången i Azure AI Studio kan du uppmanas att aktivera resursdelning mellan ursprung (CORS). Azure AI Studio och Azure OpenAI behöver åtkomst till ditt Azure Blob Storage-konto.

   

3. Markera rutorna för att bekräfta att distributioner och anslutningar medför användning på ditt konto. Välj sedan Nästa.

4. På sidan Ladda upp filer väljer du Bläddra efter en fil och väljer de filer som du vill ladda upp. Om du vill ladda upp fler än en fil gör du det nu. Du kommer inte att kunna lägga till fler filer senare i samma lekplatssession.

   Följande filtyper stöds för avbildningsfiler med en storlek på upp till 16 MB:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

5. Välj Ladda upp för att ladda upp filerna till ditt Azure Blob Storage-konto. Välj sedan Nästa.

   

6. På sidan Lägg till metadata anger du en textbeskrivning för varje bild i motsvarande textfält. Välj sedan Nästa.

   

7. Granska den information som du har angett. Du kan se namnen på lagringscontainern och sökindexet som skapas åt dig. Välj Spara och stäng.

   

8. Nu i chattlekplatsen kan du se att datainmatningen pågår. Vänta tills du ser datakällan och indexnamnet i stället för statusen innan du fortsätter.

Använda dina data med din GPT-4 Turbo med Vision-modell

När du har lagt till dina bilddata kan du prova en chattkonversation som baseras på dina bilddata.

1. Använd knappen bifogad fil i chattfönstret för att ladda upp en ny bild. Ställ en fråga om dess relation till de andra bilderna i datauppsättningen.

2. Modellen svarar med ett svar som baseras på dina bilddata.

Lägga till och ta bort datakällor

Azure OpenAI tillåter endast att en datakälla används per chattsession. Om du vill lägga till en ny datakälla måste du först ta bort den befintliga datakällan. Gör detta genom att välja Ta bort datakälla under datakällans information.

När du tar bort en datakälla visas ett varningsmeddelande. Om du tar bort en datakälla rensas chattsessionen och alla lekplatsinställningar återställs.

Nästa steg

• Lär dig hur du skapar ett projekt i Azure AI Studio.
• Distribuera en webbapp för företagschatt