Snabbstart: Använda bilder i dina AI-chattar
Kom igång med GPT-4 Turbo med bilder med Azure OpenAI Service.
GPT-4 Turbo-modelluppgradering
Den senaste GA-versionen av GPT-4 Turbo är:
gpt-4
Version:turbo-2024-04-09
Detta är ersättningen för följande förhandsversionsmodeller:
gpt-4
Version:1106-Preview
gpt-4
Version:0125-Preview
gpt-4
Version:vision-preview
Skillnader mellan OpenAI- och Azure OpenAI GPT-4 Turbo GA-modeller
- OpenAI:s version av den senaste
0409
turbomodellen stöder JSON-läge och funktionsanrop för alla slutsatsdragningsbegäranden. - Azure OpenAI:s version av den senaste
turbo-2024-04-09
stöder för närvarande inte användning av JSON-läge och funktionsanrop när du gör slutsatsdragningsbegäranden med bildindata (vision). Textbaserade indatabegäranden (begäranden utanimage_url
och infogade bilder) stöder JSON-läge och funktionsanrop.
Skillnader från gpt-4 vision-preview
- Integrering av Azure AI-specifika visionsförbättringar med GPT-4 Turbo med Vision stöds inte för
gpt-4
version:turbo-2024-04-09
. Detta inkluderar optisk teckenigenkänning (OCR), objekt grounding, video prompts och förbättrad hantering av dina data med bilder.
GPT-4 Turbo-etablerad hanterad tillgänglighet
gpt-4
Version:turbo-2024-04-09
är tillgängligt för både standarddistributioner och etablerade distributioner. Den etablerade versionen av den här modellen stöder för närvarande inte begäranden om bild-/syninferens. Etablerade distributioner av den här modellen accepterar endast textinmatning. Standardmodelldistributioner accepterar både begäranden om text- och bild-/visionsinferens.
Region tillgänglighet
Information om regional tillgänglighet för modeller finns i modellmatrisen för standarddistributioner och etablerade distributioner.
Distribuera GPT-4 Turbo med Vision GA
Om du vill distribuera GA-modellen från Studio-användargränssnittet väljer du GPT-4
och väljer turbo-2024-04-09
sedan versionen på den nedrullningsbara menyn. Standardkvoten för gpt-4-turbo-2024-04-09
modellen är samma som den aktuella kvoten för GPT-4-Turbo. Se de regionala kvotgränserna.
Börja utforska GPT-4 Turbo med visionsfunktioner med en metod utan kod via Azure OpenAI Studio.
Förutsättningar
- En Azure-prenumeration. Skapa en kostnadsfritt.
- Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
- En Azure OpenAI Service-resurs med en GPT-4 Turbo med Vision-modell distribuerad. Se GPT-4- och GPT-4 Turbo Preview-modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.
- För visionsförbättring (valfritt): En Azure Computer Vision-resurs i samma region som din Azure OpenAI-resurs på den betalda nivån (S1).
Kommentar
Det stöds för närvarande inte att inaktivera innehållsfiltrering för GPT-4 Turbo med Vision-modellen.
Gå till Azure OpenAI Studio
Bläddra till Azure OpenAI Studio och logga in med de autentiseringsuppgifter som är associerade med din Azure OpenAI-resurs. Under eller efter inloggningsarbetsflödet väljer du lämplig katalog, Azure-prenumeration och Azure OpenAI-resurs.
Under Hantering väljer du Distributioner och Skapa en GPT-4 Turbo med Vision-distribution genom att välja modellnamn: "gpt-4" och modellversionen "vision-preview". Mer information om distributionsmodellerna finns i Förstå distributionsmodeller.
Under avsnittet Playground väljer du Chatt.
Lekplats
Från den här sidan kan du snabbt iterera och experimentera med modellens funktioner.
Allmän hjälp med assistentkonfiguration, chattsessioner, inställningar och paneler finns i snabbstarten Chatt.
Starta en chattsession för att analysera bilder eller video
I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå bilder som du matar in.
Börja genom att välja din GPT-4 Turbo med Vision-distribution från listrutan.
I fönstret Assistentkonfiguration anger du ett systemmeddelande som vägleder assistenten. Standardmeddelandet för system är: "Du är en AI-assistent som hjälper människor att hitta information." Du kan anpassa systemmeddelandet till den bild eller det scenario som du laddar upp.
Kommentar
Vi rekommenderar att du uppdaterar systemmeddelandet så att det är specifikt för uppgiften för att undvika ohjälpsamma svar från modellen.
Spara ändringarna och välj Fortsätt när du uppmanas att bekräfta uppdateringen av systemmeddelandet.
I fönstret Chattsession anger du en textprompt som "Beskriv den här bilden" och laddar upp en bild med knappen bifogad fil. Du kan använda en annan textprompt för ditt användningsfall. Välj sedan Skicka.
Observera de angivna utdata. Överväg att ställa uppföljningsfrågor som rör analysen av din bild för att lära dig mer.
Rensa resurser
Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Om du tar bort resursgruppen tas även alla andra resurser som är associerade med den bort.
Använd den här artikeln för att komma igång med Azure OpenAI REST API:er för att distribuera och använda GPT-4 Turbo med Vision-modellen.
Förutsättningar
- En Azure-prenumeration. Skapa en kostnadsfritt.
- Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
- Python 3.8 eller senare version.
- Följande Python-bibliotek:
requests
,json
. - En Azure OpenAI Service-resurs med en GPT-4 Turbo med Vision-modell distribuerad. Se GPT-4- och GPT-4 Turbo Preview-modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.
- För visionsförbättring (valfritt): En Azure Computer Vision-resurs i samma region som din Azure OpenAI-resurs på den betalda nivån (S1).
Kommentar
Det stöds för närvarande inte att inaktivera innehållsfiltrering för GPT-4 Turbo med Vision-modellen.
Hämta nyckel och slutpunkt
Om du vill anropa Azure OpenAI-API:erna behöver du följande information om din Azure OpenAI-resurs:
Olika | Name | Värde |
---|---|---|
Slutpunkt | api_base |
Slutpunktsvärdet finns under Nycklar och slutpunkt för din resurs i Azure-portalen. Du kan också hitta värdet i kodvyn: Azure OpenAI Studio>Playground>Code View. En exempelslutpunkt är: https://docs-test-001.openai.azure.com/ . |
Tangent | api_key |
Nyckelvärdet finns också under Nycklar och slutpunkt för din resurs i Azure-portalen. Azure genererar två nycklar för din resurs. Du kan använda något av värdena. |
Gå till din resurs i Azure-portalen. I navigeringsfönstret väljer du Nycklar och slutpunkt under Resurshantering. Kopiera slutpunktsvärdet och ett åtkomstnyckelvärde. Du kan använda antingen värdet KEY 1 eller KEY 2 . Med två nycklar kan du rotera och återskapa nycklar på ett säkert sätt utan att orsaka avbrott i tjänsten.
Skapa ett nytt Python-program
Skapa en ny Python-fil med namnet quickstart.py. Öppna den nya filen i önskad redigerare eller IDE.
Ersätt innehållet i quickstart.py med följande kod.
# Packages required: import requests import json api_base = '<your_azure_openai_endpoint>' deployment_name = '<your_deployment_name>' API_KEY = '<your_azure_openai_key>' base_url = f"{api_base}openai/deployments/{deployment_name}" headers = { "Content-Type": "application/json", "api-key": API_KEY } # Prepare endpoint, headers, and request body endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" data = { "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], "max_tokens": 2000 } # Make the API call response = requests.post(endpoint, headers=headers, data=json.dumps(data)) print(f"Status Code: {response.status_code}") print(response.text)
Gör följande ändringar:
Ange din slutpunkts-URL och nyckel i lämpliga fält.
Ange ditt GPT-4 Turbo med visionens distributionsnamn i lämpligt fält.
Ändra värdet för fältet
"image"
till URL:en för din bild.Dricks
Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i guiden GPT-4 Turbo med vision.
Kör programmet med
python
kommandot :python quickstart.py
Rensa resurser
Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Om du tar bort resursgruppen tas även alla andra resurser som är associerade med den bort.
Använd den här artikeln för att komma igång med Azure OpenAI Python SDK för att distribuera och använda GPT-4 Turbo med Vision-modellen.
Paket för bibliotekskällkod | (PyPi) |
Förutsättningar
- En Azure-prenumeration. Skapa en kostnadsfritt.
- Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
- Python 3.8 eller senare version.
- Följande Python-bibliotek:
os
- En Azure OpenAI Service-resurs med en GPT-4 Turbo med Vision-modell distribuerad. Se GPT-4- och GPT-4 Turbo Preview-modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.
- För visionsförbättring (valfritt): En Azure Computer Vision-resurs i samma region som din Azure OpenAI-resurs på den betalda nivån (S1).
Konfigurera
Installera OpenAI Python-klientbiblioteket med:
pip install openai
Kommentar
Det här biblioteket underhålls av OpenAI. Se versionshistoriken för att spåra de senaste uppdateringarna i biblioteket.
Hämta nyckel och slutpunkt
Om du vill göra ett anrop mot Azure OpenAI behöver du en slutpunkt och en nyckel.
Variabelnamn | Värde |
---|---|
ENDPOINT |
Det här värdet finns i avsnittet Nycklar och slutpunkt när du undersöker resursen från Azure-portalen. Du kan också hitta värdet i Azure OpenAI Studio>Playground Code>View. En exempelslutpunkt är: https://docs-test-001.openai.azure.com/ . |
API-KEY |
Det här värdet finns i avsnittet Nycklar och slutpunkt när du undersöker resursen från Azure-portalen. Du kan använda antingen KEY1 eller KEY2 . |
Gå till din resurs i Azure-portalen. Avsnittet Nycklar och slutpunkter finns i avsnittet Resurshantering . Kopiera slutpunkten och åtkomstnyckeln eftersom du behöver båda för att autentisera dina API-anrop. Du kan använda antingen KEY1
eller KEY2
. Om du alltid har två nycklar kan du rotera och återskapa nycklar på ett säkert sätt utan att orsaka avbrott i tjänsten.
Miljövariabler
Skapa och tilldela beständiga miljövariabler för din nyckel och slutpunkt.
setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"
Skapa ett nytt Python-program
Skapa en ny Python-fil med namnet quickstart.py. Öppna den nya filen i önskad redigerare eller IDE.
Ersätt innehållet i quickstart.py med följande kod.
from openai import AzureOpenAI api_base = os.getenv("AZURE_OPENAI_ENDPOINT") api_key= os.getenv("AZURE_OPENAI_API_KEY") deployment_name = '<your_deployment_name>' api_version = '2023-12-01-preview' # this might change in the future client = AzureOpenAI( api_key=api_key, api_version=api_version, base_url=f"{api_base}/openai/deployments/{deployment_name}" ) response = client.chat.completions.create( model=deployment_name, messages=[ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], max_tokens=2000 ) print(response)
Gör följande ändringar:
- Ange namnet på din GPT-4 Turbo med Vision-distribution i lämpligt fält.
- Ändra värdet för fältet
"url"
till URL:en för din bild.Dricks
Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i guiden GPT-4 Turbo med vision.
Kör programmet med
python
kommandot :python quickstart.py
Rensa resurser
Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Om du tar bort resursgruppen tas även alla andra resurser som är associerade med den bort.
Nästa steg
Feedback
https://aka.ms/ContentUserFeedback.
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i:Skicka och visa feedback för