Chat aziendale di Azure OpenAI con immagini che usano GPT-4 Turbo con Visione

Importante

Alcune funzionalità descritte in questo articolo potrebbero essere disponibili solo in anteprima. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Usare questo articolo per informazioni su come fornire dati di immagini personalizzati per GPT-4 Turbo con Visione, il modello di visione di OpenAI di Azure. La chat aziendale di GPT-4 Turbo con Visione consente al modello di generare risposte più personalizzate e mirate usando la generazione aumentata di recupero in base alle proprie immagini e ai metadati delle immagini.

Suggerimento

Questo articolo prevede l'uso dei dati delle immagini nel modello GPT-4 Turbo con Visione. Vedere Distribuire un'app Web di chat aziendale per un’esercitazione su come distribuire un'app Web di chat usando i dati di testo.

Prerequisiti

• Una sottoscrizione di Azure: crearne una gratuitamente.
• Accesso concesso ad Azure OpenAI nella sottoscrizione di Azure desiderata. Attualmente, l'accesso a questo servizio viene concesso solo dall'applicazione. È possibile richiedere l'accesso a OpenAI di Azure completando il modulo all'indirizzo https://aka.ms/oai/access. Apri un problema in questo repository per contattare Microsoft in caso di problemi.
• Una risorsa OpenAI di Azure con il modello GPT-4 Turbo con Visione distribuito. Per altre informazioni sulla distribuzione del modello, vedere la guida alla distribuzione delle risorse.
• Assicurarsi di aver assegnato almeno il ruolo Collaboratore Servizi cognitivi per la risorsa OpenAI di Azure.
• Una risorsa di Azure AI Search. Vedere Creare un servizio Azure AI Search nel portale. Se non si ha una risorsa di Ricerca intelligenza artificiale di Azure, viene richiesto di crearne una quando si aggiunge l'origine dati più avanti in questa guida.
• Un hub di AI Studio con la risorsa OpenAI di Azure e la risorsa ricerca di intelligenza artificiale di Azure aggiunte come connessioni.

Distribuire un modello GPT-4 Turbo con Visione

1. Accedere ad Azure AI Studio e selezionare l'hub in cui si vuole lavorare.
2. Nel menu di spostamento a sinistra selezionare Servizi di intelligenza artificiale. Selezionare il pannello Prova GPT-4 Turbo .
3. Nella pagina gpt-4 selezionare Distribuisci. Nella finestra visualizzata selezionare la risorsa OpenAI di Azure. Selezionare vision-preview come versione del modello.
4. Seleziona Distribuisci.
5. Passare quindi alla pagina del nuovo modello e selezionare Apri nel playground. Nel playground della chat, la distribuzione GPT-4 creata deve essere selezionata nell'elenco a discesa Distribuzione .

Selezionare l'origine dati dell'immagine

1. Nel riquadro sinistro selezionare la scheda Aggiungi dati e selezionare Aggiungi un'origine dati.
2. Nella finestra visualizzata selezionare un'opzione origine dati. Ogni opzione usa un indice di Ricerca intelligenza artificiale di Azure sottoposto a training sulle immagini e può essere usato per il recupero della generazione aumentata nel playground della chat.
   • Azure AI Search: se si ha un indice di Azure AI Search esistente, è possibile usarlo come origine dati.
   • Archiviazione BLOB di Azure: l'opzione di archiviazione BLOB di Azure è particolarmente utile se si dispone di un numero elevato di file di immagini e non si vuole caricarle una a una manualmente. Azure AI Studio genererà automaticamente un indice di ricerca immagini.
   • Caricare file di immagine e metadati: è possibile caricare i file di immagine e i metadati usando il playground. Questa opzione è utile se si dispone di un numero ridotto di file di immagini. Azure AI Studio genererà automaticamente un indice di ricerca immagini.

Aggiungere i dati dell'immagine

Azure AI Search

Se si ha un indice di Azure AI Search esistente, è possibile usarlo come origine dati. Se non si ha già un indice di ricerca, ma si vuole crearne uno autonomamente, seguire il repository di ricerca vettoriale di intelligenza artificiale in GitHub, che fornisce script per creare un indice con i file di immagine.

1. Nella finestra Seleziona o aggiungi origine dati del playground scegliere Ricerca di intelligenza artificiale di Azure e immettere i dettagli dell'indice. Selezionare le caselle per confermare che le distribuzioni e le connessioni comportino l'utilizzo dell'account.
2. Facoltativamente, abilitare l'opzione Usa mapping campi personalizzato. In questo modo è possibile controllare il mapping tra i campi personalizzati nell'indice di ricerca e i campi standard usati dai modelli di chat OpenAI di Azure durante la generazione aumentata del recupero.
3. Selezionare Avanti ed esaminare le impostazioni nella pagina successiva. Selezionare quindi Salva e chiudi.
4. Nel playground della chat è possibile vedere che i dati sono stati aggiunti.

Archivio BLOB di Azure

Se si dispone di un contenitore Archiviazione BLOB di Azure esistente con immagini, è possibile usarlo per creare un indice di ricerca immagini. Per creare un nuovo account di Archiviazione BLOB, vedere la documentazione di avvio rapido per Archiviazione BLOB di Azure.

L'account di archiviazione BLOB di Azure deve contenere sia file di immagine che file JSON con i percorsi e i metadati dei file di immagine.

Il file JSON dei metadati deve:

• Avere un nome di file che inizia con la parola metadata (tutto in minuscolo senza uno spazio).
• Elencare non più di 10.000 file di immagine. Se nel contenitore sono presenti più file, è possibile avere più file JSON ognuno con un massimo di questo valore massimo.

Il file di metadati JSON deve essere formattato come segue:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Dopo aver popolato un contenitore di archiviazione BLOB con file di immagine e almeno un file JSON di metadati, è possibile aggiungere l'archiviazione BLOB come origine dati.

1. Nella finestra Seleziona o aggiungi origine dati del playground scegliere Archiviazione BLOB di Azure e immettere i dettagli dell'origine dati. Scegliere anche un nome per l'indice di Ricerca di intelligenza artificiale di Azure che verrà creato.

   Nota

   OpenAI di Azure richiede sia una risorsa dell'account di archiviazione che una risorsa di ricerca per accedere e indicizzare i dati. I dati vengono archiviati in modo sicuro nella sottoscrizione di Azure.

   Quando si aggiungono i dati all'account di archiviazione selezionato per la prima volta in Studio AI della piattaforma Azure, potrebbe essere richiesto di attivare la condivisione di risorse tra le origini (CORS). Studio AI della piattaforma Azure e OpenAI di Azure devono accedere all'account di archiviazione BLOB di Azure.

   

2. Selezionare le caselle per confermare che le distribuzioni e le connessioni comportino l'utilizzo dell'account. Quindi seleziona Avanti.

3. Esaminare i dettagli immessi e selezionare Salva e chiudi.

   

4. Ora nel playground della chat è possibile vedere che l'inserimento dei dati è in corso. Prima di procedere, attendere che vengano visualizzati l'origine dati e il nome dell'indice al posto dello stato.

Caricare i file e i metadati delle immagini

1. Nella pagina Selezionare o aggiungere origine dati, selezionare Carica i file dall'elenco a discesa Selezionare origine dati.

2. Immettere i dettagli dell'origine dati. Scegliere anche un nome per l'indice di Ricerca di intelligenza artificiale di Azure che verrà creato.

   Nota

   OpenAI di Azure richiede sia una risorsa dell'account di archiviazione che una risorsa di ricerca per accedere e indicizzare i dati. I dati vengono archiviati in modo sicuro nella sottoscrizione di Azure.

   Quando si aggiungono i dati all'account di archiviazione selezionato per la prima volta in Studio AI della piattaforma Azure, potrebbe essere richiesto di attivare la condivisione di risorse tra le origini (CORS). Studio AI della piattaforma Azure e OpenAI di Azure devono accedere all'account di archiviazione BLOB di Azure.

   

3. Selezionare le caselle per confermare che le distribuzioni e le connessioni comportino l'utilizzo dell'account. Quindi seleziona Avanti.

4. Nella pagina Carica i file selezionare Cerca un file e selezionare i file da caricare. Se si vogliono caricare più file, eseguire questa operazione subito. Non sarà possibile aggiungere altri file in un secondo momento nella stessa sessione del playground.

   I tipi di file seguenti sono supportati per i file di immagine, con dimensioni fino a 16 MB:

   • JPG
   • .png
   • .gif
   • .bmp
   • TIFF

5. Selezionare Carica per caricare i file nell'account di Archiviazione BLOB di Azure. Quindi seleziona Avanti.

   

6. Nella pagina Aggiungi metadati immettere una descrizione di testo per ogni immagine nei campi di testo corrispondenti. Quindi seleziona Avanti.

   

7. Esaminare i dettagli immessi. È possibile visualizzare i nomi del contenitore di archiviazione e dell'indice di ricerca che verranno creati automaticamente. Seleziona Salva e chiudi.

   

8. Ora nel playground della chat è possibile vedere che l'inserimento dei dati è in corso. Prima di procedere, attendere che vengano visualizzati l'origine dati e il nome dell'indice al posto dello stato.

Usare i dati con il modello GPT-4 Turbo con Visione

Dopo aver aggiunto i dati dell'immagine, è possibile provare una conversazione di chat in base ai dati dell'immagine.

1. Usare il pulsante allegato nella finestra della chat per caricare una nuova immagine. Porre una domanda sulla relazione con le altre immagini nel set di dati.

2. Il modello risponderà con una risposta che si basa sui dati delle immagini.

Aggiungere e rimuovere origini dati

Azure OpenAI consente l'uso di un'unica origine dati per ogni sessione di chat. Se si desidera aggiungere una nuova origine dati, è necessario rimuovere prima l'origine dati esistente. A tale scopo, selezionare Rimuovi origine dati nelle informazioni sull'origine dati.

Quando si rimuove un'origine dati, verrà visualizzato un messaggio di avviso. La rimozione di un'origine dati cancella la sessione di chat e reimposta tutte le impostazioni del playground.

Passaggi successivi

• Informazioni su come creare un progetto in Studio AI della piattaforma Azure.
• Distribuire un'app Web della chat aziendale