Snabbstart: Kom igång med GPT-4 Turbo med Vision på dina bilder och videor i Azure AI Studio

Viktigt!

Vissa av de funktioner som beskrivs i den här artikeln kanske bara är tillgängliga i förhandsversionen. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Använd den här artikeln om du vill komma igång med Azure AI Studio för att distribuera och testa MODELLEN GPT-4 Turbo med Vision.

GPT-4 Turbo med Vision och Azure AI Vision erbjuder avancerade funktioner, inklusive:

• Optisk teckenigenkänning (OCR): Extraherar text från bilder och kombinerar den med användarens uppmaning och bild för att expandera kontexten.
• Objekt grounding: Kompletterar GPT-4 Turbo med Vision text svar med objekt jordning och beskriver framträdande objekt i indatabilderna.
• Videofrågor: GPT-4 Turbo with Vision kan svara på frågor genom att hämta de videorutor som är mest relevanta för användarens uppmaning.

Extra användningsavgifter kan tillkomma när du använder GPT-4 Turbo med visions- och Azure AI Vision-funktioner.

Förutsättningar

• En Azure-prenumeration – Skapa en kostnadsfritt.
• Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
• När du har din Azure-prenumeration skapar du en Azure OpenAI-resurs .
• En AI Studio-hubb med din Azure OpenAI-resurs tillagd som en anslutning.

Förbereda media

Du behöver en avbildning för att slutföra avbildningens snabbstarter. Du kan använda den här exempelbilden eller någon annan bild som du har tillgänglig.

För videomeddelanden behöver du en video som är under tre minuter lång.

Distribuera en GPT-4 Turbo med Vision-modell

1. Logga in på Azure AI Studio och välj den hubb som du vill arbeta i.
2. På den vänstra navigeringsmenyn väljer du AI-tjänster. Välj panelen Prova GPT-4 Turbo.
3. På sidan gpt-4 väljer du Distribuera. I fönstret som visas väljer du din Azure OpenAI-resurs. Välj vision-preview som modellversion.
4. Välj distribuera.
5. Gå sedan till den nya modellens sida och välj Öppna på lekplatsen. I chattlekplatsen bör den GPT-4-distribution som du skapade väljas i listrutan Distribution .

Bildprompter

I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå bilder som du matar in.

1. I textrutan Systemmeddelande på fliken Systemmeddelande anger du den här uppmaningen som vägleder assistenten: "You're an AI assistant that helps people find information." Du kan anpassa uppmaningen till din bild eller ditt scenario.
2. Välj Tillämpa ändringar för att spara ändringarna.
3. I chattsessionsfönstret väljer du knappen bifogad fil och sedan Ladda upp bild. Välj din bild.
4. Lägg till följande fråga i chattfältet: "Describe this image"och välj sedan den högra pilikonen som ska skickas.
5. Högerpilsikonen ersätts med en stoppknapp. Om du väljer det slutar assistenten att bearbeta din begäran. För den här snabbstarten låter du assistenten slutföra svaret.
6. Assistenten svarar med en beskrivning av bilden.
7. Ställ en uppföljningsfråga som rör analysen av din bild. Du kan ange, "What should I highlight about this image to my insurance company?".
8. Du bör få ett relevant svar som liknar det som visas här:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Förbättringar av bildprompt

I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå bilder som du matar in. Prova funktionerna i modellen för förhöjd syn.

1. I fönstret Förbättringar till vänster i chattfönstret aktiverar du alternativet vision. I fönstret som visas väljer du din Azure-Visuellt innehåll resurs.
2. I textrutan Systemmeddelande på fliken Systemmeddelande anger du den här uppmaningen som vägleder assistenten: "You're an AI assistant that helps people find information." Du kan anpassa uppmaningen till din bild eller ditt scenario. Välj Tillämpa ändringar för att spara ändringarna.
3. I chattsessionsfönstret väljer du knappen bifogad fil och sedan Ladda upp bild. Välj din bild.
4. Lägg till följande fråga i chattfältet: "Describe this image"och välj sedan den högra pilikonen som ska skickas.
5. Högerpilsikonen ersätts med en stoppknapp. Om du väljer det slutar assistenten att bearbeta din begäran. För den här snabbstarten låter du assistenten slutföra svaret.
6. Assistenten svarar med en beskrivning av bilden. Tjänsten Azure AI Vision används för att extrahera mer information från den bild som du laddade upp.
7. Ställ en uppföljningsfråga som rör analysen av din bild. "What should I highlight about this image to my insurance company?" Ange och välj sedan den högerpilikon som ska skickas.
8. Du bör få ett relevant svar som liknar det som visas här:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Förbättringar av videoprompt

I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå videor som du matar in. Assistenten extraherar flera bildrutor från videon och använder dem för att besvara dina frågor.

1. I fönstret Förbättringar till vänster i chattfönstret aktiverar du alternativet vision. I fönstret som visas väljer du din Azure-Visuellt innehåll resurs.
2. I textrutan Systemmeddelande på fliken Systemmeddelande anger du den här uppmaningen som vägleder assistenten: "You're an AI assistant that helps people find information." Du kan anpassa uppmaningen till din bild eller ditt scenario.
3. Välj Tillämpa ändringar för att spara ändringarna.
4. I chattsessionsfönstret väljer du knappen bifogad fil och sedan Ladda upp video. Välj videon.
5. Ange en textprompt som , "Provide details about this video"och välj sedan den högra pilikonen som ska skickas.
6. Högerpilsikonen ersätts med en stoppknapp. Om du väljer det slutar assistenten att bearbeta din begäran. För den här snabbstarten låter du assistenten slutföra svaret.
7. Assistenten bör svara med en beskrivning av videon.
8. Ställ gärna eventuella uppföljningsfrågor som rör analysen av videon.

Begränsningar

Nedan visas de kända begränsningarna i förbättringarna av videoprompten.

• Låg upplösning: Ramarna analyseras med GPT-4 Turbo med Visions inställning med "låg upplösning", vilket kan påverka noggrannheten för små objekt och textigenkänning i videon.
• Gränser för videofiler: Både MP4- och MOV-filtyper stöds. I Azure AI Studio Playground måste videor vara mindre än 3 minuter långa. När du använder API:et finns det ingen sådan begränsning.
• Promptgränser: Videoprompter innehåller bara en video och inga bilder. I Playground kan du rensa sessionen för att prova med en annan video eller bilder.
• Begränsad bildruta: För närvarande väljer systemet 20 bildrutor från hela videon, vilket kanske inte fångar upp alla kritiska ögonblick eller information. Bildruteval kan antingen spridas jämnt via videon eller fokuseras av en specifik videohämtningsfråga, beroende på uppmaningen.
• Språkstöd: För närvarande stöder systemet främst engelska för grundning med transkriptioner. Avskrifter ger inte korrekt information om texter från låtar.

Visa och exportera kod

När som helst i chattsessionen kan du aktivera växeln Visa rå JSON överst i chattfönstret för att se konversationen formaterad som JSON. Så här ser det ut i början av snabbstartschattsessionen:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Rensa resurser

För att undvika onödiga Azure-kostnader bör du ta bort de resurser som du skapade i den här snabbstarten om de inte längre behövs. Om du vill hantera resurser kan du använda Azure-portalen.

Nästa steg

• Skapa ett projekt
• Läs mer om Azure AI Vision.
• Läs mer om Azure OpenAI-modeller.