Guida introduttiva: Introduzione all'uso di GPT-4 Turbo con Visione nelle immagini e nei video Studio AI della piattaforma Azure

Importante

Alcune funzionalità descritte in questo articolo potrebbero essere disponibili solo in anteprima. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Usare questo articolo per iniziare a usare Studio AI della piattaforma Azure per distribuire e testare il modello GPT-4 Turbo con Visione.

GPT-4 Turbo con Visione e Visione di Azure AI offrono funzionalità avanzate, tra cui:

• Riconoscimento ottico dei caratteri (OCR): estrae il testo dalle immagini e lo combina con la richiesta e l'immagine dell'utente per espandere il contesto.
• Messa a terra degli oggetti: integra GPT-4 Turbo con la risposta di testo di Servizio cognitivo di Azure per la visione con la messa a terra degli oggetti e delinea gli oggetti salienti nelle immagini di input.
• Richieste video: GPT-4 Turbo con Visione può rispondere alle domande recuperando i fotogrammi video più rilevanti per la richiesta dell'utente.

Quando si usa GPT-4 Turbo con la funzionalità Visione artificiale di Azure e Visione artificiale di Azure, potrebbero essere applicati costi di utilizzo aggiuntivi.

Prerequisiti

• Una sottoscrizione di Azure: crearne una gratuitamente.
• Accesso concesso ad Azure OpenAI nella sottoscrizione di Azure desiderata. Attualmente, l'accesso a questo servizio viene concesso solo dall'applicazione. È possibile richiedere l'accesso a OpenAI di Azure completando il modulo all'indirizzo https://aka.ms/oai/access. Apri un problema in questo repository per contattare Microsoft in caso di problemi.
• Dopo aver creato la sottoscrizione di Azure, creare una risorsa OpenAI di Azure.
• Un hub di AI Studio con la risorsa OpenAI di Azure aggiunta come connessione.

Preparare i supporti

È necessaria un'immagine per completare le guide introduttive all'immagine. È possibile usare questa immagine di esempio o qualsiasi altra immagine disponibile.

Per le richieste video, è necessario un video di durata inferiore a tre minuti.

Distribuire un modello GPT-4 Turbo con Visione

1. Accedere ad Azure AI Studio e selezionare l'hub in cui si vuole lavorare.
2. Nel menu di spostamento a sinistra selezionare Servizi di intelligenza artificiale. Selezionare il pannello Prova GPT-4 Turbo .
3. Nella pagina gpt-4 selezionare Distribuisci. Nella finestra visualizzata selezionare la risorsa OpenAI di Azure. Selezionare vision-preview come versione del modello.
4. Seleziona Distribuisci.
5. Passare quindi alla pagina del nuovo modello e selezionare Apri nel playground. Nel playground della chat, la distribuzione GPT-4 creata deve essere selezionata nell'elenco a discesa Distribuzione .

Richieste di immagini

In questa sessione di chat si indica all'assistente di comprendere le immagini immesse.

1. Nella casella di testo Messaggio di sistema della scheda Messaggio di sistema specificare questa richiesta per guidare l'assistente: "You're an AI assistant that helps people find information." è possibile personalizzare la richiesta per l'immagine o lo scenario.
2. Selezionare Applica modifiche per salvare le modifiche.
3. Nel riquadro sessione di chat selezionare il pulsante allegato e quindi Carica immagine. Scegliere l'immagine.
4. Aggiungere la domanda seguente nel campo della chat: "Describe this image"e quindi selezionare l'icona a forma di freccia destra da inviare.
5. L'icona della freccia destra viene sostituita da un pulsante Arresta. Se la si seleziona, l'assistente interrompe l'elaborazione della richiesta. Per questa guida introduttiva, lasciare che l'assistente finisca la risposta.
6. L'assistente risponde con una descrizione dell'immagine.
7. Porre una domanda di completamento correlata all'analisi dell'immagine. È possibile immettere . "What should I highlight about this image to my insurance company?"
8. Si dovrebbe ricevere una risposta pertinente simile a quanto illustrato di seguito:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Miglioramenti delle richieste di immagini

In questa sessione di chat si indica all'assistente di comprendere le immagini immesse. Provare le funzionalità del modello di visione aumentata.

1. Nel riquadro Miglioramenti a sinistra della finestra della chat attivare l'opzione Visione. Nella finestra visualizzata selezionare la risorsa Visione artificiale di Azure.
2. Nella casella di testo Messaggio di sistema della scheda Messaggio di sistema specificare questa richiesta per guidare l'assistente: "You're an AI assistant that helps people find information." è possibile personalizzare la richiesta per l'immagine o lo scenario. Selezionare Applica modifiche per salvare le modifiche.
3. Nel riquadro sessione di chat selezionare il pulsante allegato e quindi Carica immagine. Scegliere l'immagine.
4. Aggiungere la domanda seguente nel campo della chat: "Describe this image"e quindi selezionare l'icona a forma di freccia destra da inviare.
5. L'icona della freccia destra viene sostituita da un pulsante Arresta. Se la si seleziona, l'assistente interrompe l'elaborazione della richiesta. Per questa guida introduttiva, lasciare che l'assistente finisca la risposta.
6. L'assistente risponde con una descrizione dell'immagine. Usa il servizio Visione artificiale di Azure per estrarre altri dettagli dall'immagine caricata.
7. Porre una domanda di completamento correlata all'analisi dell'immagine. Immettere e "What should I highlight about this image to my insurance company?" quindi selezionare l'icona a forma di freccia destra da inviare.
8. Si dovrebbe ricevere una risposta pertinente simile a quanto illustrato di seguito:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Miglioramenti delle richieste video

In questa sessione di chat si indica all'assistente di comprendere i video immessi. L'assistente estrae diversi fotogrammi dal video e li usa per rispondere alle domande.

1. Nel riquadro Miglioramenti a sinistra della finestra della chat attivare l'opzione Visione. Nella finestra visualizzata selezionare la risorsa Visione artificiale di Azure.
2. Nella casella di testo Messaggio di sistema della scheda Messaggio di sistema specificare questa richiesta per guidare l'assistente: "You're an AI assistant that helps people find information." è possibile personalizzare la richiesta per l'immagine o lo scenario.
3. Selezionare Applica modifiche per salvare le modifiche.
4. Nel riquadro sessione di chat selezionare il pulsante allegato e quindi Carica video. Scegli il tuo video.
5. Immettere un prompt di testo, ad esempio , "Provide details about this video"e quindi selezionare l'icona a forma di freccia destra da inviare.
6. L'icona della freccia destra viene sostituita da un pulsante Arresta. Se la si seleziona, l'assistente interrompe l'elaborazione della richiesta. Per questa guida introduttiva, lasciare che l'assistente finisca la risposta.
7. L'assistente deve rispondere con una descrizione del video.
8. È possibile porre domande di completamento correlate all'analisi del video.

Limiti

Di seguito sono riportate le limitazioni note dei miglioramenti delle richieste video.

• Bassa risoluzione: i fotogrammi vengono analizzati usando l'impostazione GPT-4 Turbo con "bassa risoluzione" di Vision, che può influire sull'accuratezza del riconoscimento di oggetti e testo di piccole dimensioni nel video.
• Limiti dei file video: sono supportati sia i tipi di file MP4 che MOV. In Azure AI Studio Playground i video devono avere una durata inferiore a 3 minuti. Quando si usa l'API non esiste alcuna limitazione di questo tipo.
• Limiti delle richieste: le richieste video contengono solo un video e nessuna immagine. In Playground è possibile cancellare la sessione per provare con un altro video o immagini.
• Selezione limitata dei fotogrammi: attualmente il sistema seleziona 20 fotogrammi dall'intero video, che potrebbe non acquisire tutti i momenti critici o i dettagli. La selezione dei fotogrammi può essere distribuita uniformemente attraverso il video o incentrata da una query di recupero video specifica, a seconda della richiesta.
• Supporto per la lingua: attualmente, il sistema supporta principalmente l'inglese per la messa a terra con trascrizioni. Le trascrizioni non forniscono informazioni accurate sui testi delle canzoni.

Visualizzare ed esportare codice

In qualsiasi momento della sessione di chat, è possibile abilitare l'opzione Mostra JSON non elaborato nella parte superiore della finestra della chat per visualizzare la conversazione formattata come JSON. Ecco come appare all'inizio della sessione di chat di avvio rapido:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Pulire le risorse

Per evitare di incorrere in costi di Azure non necessari, è necessario eliminare le risorse create in questa guida introduttiva, se non sono più necessarie. Per gestire le risorse, è possibile usare il portale di Azure.

Passaggi successivi

• Creare un progetto
• Altre informazioni su Visione artificiale di Azure.
• Altre informazioni sui modelli Azure OpenAI.