Informazioni su come distribuire modelli OpenAI di Azure con Studio AI della piattaforma Azure

  • Articolo

Nota

Studio AI della piattaforma Azure è attualmente disponibile in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Il servizio Azure OpenAI offre un set diversificato di modelli con funzionalità e punti di prezzo diversi. La disponibilità del modello varia in base all'area geografica. È possibile creare distribuzioni di modelli OpenAI di Azure in studio AI della piattaforma Azure e usarle con il flusso di richiesta o con lo strumento preferito. Per altre informazioni sui dettagli di ogni modello, vedere modelli del servizio Azure OpenAI.

Distribuzione di un modello OpenAI di Azure dal catalogo dei modelli

Per modificare e interagire con un modello OpenAI di Azure nel playground dello studio AI della piattaforma Azure, è prima necessario distribuire un modello di Azure OpenAI di base nel progetto. Quando il modello è distribuito e disponibile nel progetto, è possibile usare l'endpoint dell'API REST così com'è o personalizzarlo ulteriormente con i propri dati e altri componenti (incorporamenti, indici e così via).

  1. Scegliere un modello da distribuire dal catalogo modelli di studio AI della piattaforma Azure. In alternativa, è possibile avviare la distribuzione selezionando + Crea da your project>deployments

  2. Selezionare Distribuisci nel progetto nella pagina dei dettagli della scheda modello.

  3. Scegliere il progetto in cui si vuole distribuire il modello. Per i modelli OpenAI di Azure, il filtro sicurezza dei contenuti di Azure AI viene attivato automaticamente.

  4. Seleziona Distribuisci.

  5. La destinazione è il playground. Selezionare Visualizza codice per ottenere esempi di codice che possono essere usati per utilizzare il modello distribuito nell'applicazione.

Limiti di disponibilità e quota a livello di area di un modello

Per i modelli OpenAI di Azure, la quota predefinita per i modelli varia in base al modello e all'area. Alcuni modelli potrebbero essere disponibili solo in alcune aree. Per altre informazioni, vedere Quote e limiti del servizio OpenAI di Azure.

Quota per la distribuzione e l'inferenza di un modello

Per i modelli OpenAI di Azure, la distribuzione e l'inferenza utilizzano la quota assegnata alla sottoscrizione in base all'area, in base al modello in unità di token per minuto (TPM). Quando si effettua l'iscrizione a Studio AI della piattaforma Azure, si riceve la quota predefinita per la maggior parte dei modelli disponibili. Quindi, si assegna TPM a ogni distribuzione durante la creazione e la quota disponibile per tale modello verrà ridotta di tale importo. È possibile continuare a creare distribuzioni e assegnare loro TPM fino a raggiungere il limite di quota.

Quando si raggiunge il limite, è possibile creare solo nuove distribuzioni del modello in base a:

Per altre informazioni sulla quota, vedere quota di Studio AI della piattaforma Azure e Gestire la quota del servizio OpenAI di Azure.

Passaggi successivi