Panoramica: Distribuire modelli di intelligenza artificiale in Azure AI Studio
Il catalogo dei modelli in Azure AI Studio è l'hub per individuare e usare un'ampia gamma di modelli per la creazione di applicazioni di intelligenza artificiale generative. I modelli devono essere distribuiti per renderli disponibili per ricevere richieste di inferenza. Il processo di interazione con un modello distribuito è denominato inferenza. Azure AI Studio offre una suite completa di opzioni di distribuzione per questi modelli a seconda delle esigenze e dei requisiti del modello.
Distribuzione di modelli
Le opzioni di distribuzione variano a seconda del tipo di modello:
- Modelli OpenAI di Azure: i modelli OpenAI più recenti con funzionalità aziendali di Azure.
- Modelli come modello di servizio: questi modelli non richiedono la quota di calcolo dalla sottoscrizione. Questa opzione consente di distribuire il modello come servizio (MaaS). Si usa una distribuzione dell'API serverless che viene addebitata a ogni singolo token secondo la modalità con pagamento in base al consumo.
- Modelli aperti e personalizzati: il catalogo dei modelli offre l'accesso a un'ampia gamma di modelli tra modalità di accesso aperto. È possibile ospitare i modelli aperti nella sottoscrizione con un'infrastruttura gestita, macchine virtuali e il numero di istanze necessarie per la gestione della capacità. È disponibile un'ampia gamma di modelli di Azure OpenAI, Hugging Face e NVIDIA.
Azure AI Studio offre quattro diverse opzioni di distribuzione:
| Nome | Servizio OpenAI di Azure | Servizio di inferenza del modello di intelligenza artificiale di Azure | Serverless API | Calcolo gestito |
|---|---|---|---|---|
| Quali modelli possono essere distribuiti? | Modelli di Azure OpenAI | Modelli e modelli OpenAI di Azure come servizio | Modelli come servizio | Aprire e personalizzare i modelli |
| Risorsa di distribuzione | Servizio OpenAI di Azure | Servizi di Azure AI | Progetto di intelligenza artificiale | Progetto di intelligenza artificiale |
| Più adatto quando | Si prevede di usare solo modelli OpenAI | Si prevede di sfruttare i modelli di punta nel catalogo di Intelligenza artificiale di Azure, tra cui OpenAI. | Si prevede di usare un singolo modello da un provider specifico (escluso OpenAI). | Se si prevede di usare modelli aperti e si dispone di una quota di calcolo sufficiente disponibile nella sottoscrizione. |
| Basi di fatturazione | Utilizzo dei token | Utilizzo dei token | Utilizzo token 1 | Ore coredi calcolo 2 |
| Istruzioni per la distribuzione | Eseguire la distribuzione nel servizio OpenAI di Azure | Inferenza del modello di intelligenza artificiale di Azure | Eseguire la distribuzione nell'API serverless | Eseguire la distribuzione in un ambiente di calcolo gestito |
1 Viene fatturata un'infrastruttura endpoint minima al minuto. Non viene addebitata l'infrastruttura che ospita il modello con pagamento in base al consumo. Dopo aver eliminato l'endpoint, non verranno accumulati ulteriori addebiti.
2 La fatturazione viene eseguita al minuto, in base al livello del prodotto e al numero di istanze usate nella distribuzione dal momento della creazione. Dopo aver eliminato l'endpoint, non verranno accumulati ulteriori addebiti.
Suggerimento
Per altre informazioni su come tenere traccia dei costi, vedere Monitorare i costi per i modelli offerti in Azure Marketplace.
Come è consigliabile considerare le opzioni di distribuzione?
Azure AI Studio incoraggia i clienti a esplorare le opzioni di distribuzione e scegliere quella più adatta alle esigenze aziendali e tecniche. In generale, è possibile usare il processo di pensiero seguente:
Iniziare con le opzioni di distribuzione con ambiti più grandi. In questo modo è possibile scorrere e creare prototipi più velocemente nell'applicazione senza dover ricompilare l'architettura ogni volta che si decide di modificare qualcosa. Il servizio di inferenza del modello di intelligenza artificiale di Azure è una destinazione di distribuzione che supporta tutti i modelli di punta nel catalogo di Intelligenza artificiale di Azure, inclusa l'innovazione più recente di Azure OpenAI.
Quando si vuole usare un modello specifico:
Quando si è interessati ai modelli OpenAI, usare il servizio Azure OpenAI che offre un'ampia gamma di funzionalità per loro ed è progettato per loro.
Quando si è interessati a un particolare modello di Modelli come servizio e non si prevede di usare altri tipi di modello, usare endpoint API serverless. Consentono la distribuzione di un singolo modello in un set univoco di URL e chiavi dell'endpoint.
Quando il modello non è disponibile in Modelli come servizio ed è disponibile una quota di calcolo nella sottoscrizione, usare Managed Compute che supporta la distribuzione di modelli aperti e personalizzati. Consente inoltre un elevato livello di personalizzazione del server di inferenza della distribuzione, dei protocolli e della configurazione dettagliata.
Suggerimento
Ogni opzione di distribuzione può offrire funzionalità diverse in termini di rete, sicurezza e funzionalità aggiuntive, ad esempio la sicurezza dei contenuti. Esaminare la documentazione relativa a ognuna di esse per comprendere le limitazioni.