Condividi tramite

Panoramica: Distribuire modelli di intelligenza artificiale nel portale di Azure AI Foundry

Il catalogo dei modelli nel portale di Azure AI Foundry è l'hub per individuare e usare un'ampia gamma di modelli per la creazione di applicazioni di intelligenza artificiale generative. I modelli devono essere distribuiti per renderli disponibili per ricevere richieste di inferenza. Azure AI Foundry offre una suite completa di opzioni di distribuzione per i modelli, a seconda delle esigenze e dei requisiti del modello.

Distribuzione di modelli

Le opzioni di distribuzione variano a seconda dell'offerta del modello:

  • Azure OpenAI nei modelli di Azure AI Foundry: I modelli OpenAI più recenti con funzionalità aziendali di Azure con opzioni di fatturazione flessibili.
  • Distribuzione standard: Questi modelli non richiedono la quota di calcolo del tuo abbonamento e vengono fatturati per token in un'offerta serverless con pagamento per token.
  • Modelli aperti e personalizzati: Il catalogo dei modelli offre l'accesso a un'ampia gamma di modelli in diverse modalità, inclusi i modelli di accesso aperto. È possibile ospitare i modelli aperti nella sottoscrizione con un'infrastruttura gestita, macchine virtuali e il numero di istanze necessarie per la gestione della capacità.

Azure AI Foundry offre quattro diverse opzioni di distribuzione:

Nome Azure OpenAI Modelli di Azure AI Foundry Distribuzione standard Calcolo gestito
Quali modelli possono essere distribuiti? Modelli di Azure OpenAI Modelli OpenAI di Azure e distribuzione Standard Distribuzione standard Aprire e personalizzare i modelli
Risorsa di distribuzione Risorsa OpenAI di Azure Risorsa dei servizi di intelligenza artificiale di Azure Risorsa del progetto di intelligenza artificiale Risorsa del progetto di intelligenza artificiale
Richiede hub/progetti NO NO Sì Sì
Opzioni di elaborazione dati Regionale
Zona dati
Generale		 Generale Regionale Regionale
Rete privata Sì Sì Sì Sì
Filtri dei contenuti Sì Sì Sì NO
Filtro del contenuto personalizzato Sì Sì NO NO
Autenticazione senza chiave Sì Sì NO NO
Più adatto quando Si prevede di usare solo modelli OpenAI Si prevede di sfruttare i vantaggi dei modelli di punta nel catalogo di Intelligenza artificiale di Azure, tra cui OpenAI. Si prevede di usare un singolo modello da un provider specifico (escluso OpenAI). Se si prevede di usare modelli aperti e si dispone di una quota di calcolo sufficiente disponibile nella sottoscrizione.
Basi di fatturazione Utilizzo dei token e unità di throughput provisionato Utilizzo dei token Utilizzo token 1 Ore coredi calcolo 2
Istruzioni per la distribuzione Distribuire su Azure OpenAI Distribuire nei modelli Foundry Distribuire nella distribuzione Standard Eseguire la distribuzione in un ambiente di calcolo gestito

1 Viene fatturata un'infrastruttura endpoint minima al minuto. Non viene addebitato alcun costo per l'infrastruttura che ospita il modello nella distribuzione standard. Dopo aver eliminato l'endpoint, non verranno accumulati ulteriori addebiti.

2 La fatturazione viene eseguita al minuto, in base al livello del prodotto e al numero di istanze usate nella distribuzione dal momento della creazione. Dopo aver eliminato l'endpoint, non verranno accumulati ulteriori addebiti.

Suggerimento

Per altre informazioni su come tenere traccia dei costi, vedere Monitorare i costi per i modelli offerti in Azure Marketplace.

Come è consigliabile considerare le opzioni di distribuzione?

Azure AI Foundry incoraggia l'utente a esplorare varie opzioni di distribuzione e scegliere quella più adatta alle esigenze aziendali e tecniche. In generale, prendere in considerazione l'uso dell'approccio seguente per selezionare un'opzione di distribuzione:

  • Iniziare con Foundry Models, che è l'opzione con l'ambito più grande. Questa opzione consente di scorrere e creare prototipi più velocemente nell'applicazione senza dover ricompilare l'architettura ogni volta che si decide di modificare qualcosa. Se si utilizzano hub o progetti di Azure AI Foundry, abilitare questa opzione attivando la funzionalità Modelli Foundry.

  • Quando si vuole usare un modello specifico:

    • Se si è interessati ai modelli OpenAI di Azure, usare Azure OpenAI nei modelli foundry. Questa opzione è progettata per i modelli OpenAI di Azure e offre un'ampia gamma di funzionalità.

    • Se sei interessato a un modello specifico dall'offerta serverless a pagamento per token e non prevede di usare altri tipi di modello, usa la distribuzione Standard. Le distribuzioni standard consentono la distribuzione di un singolo modello in un set univoco di URL e chiavi dell'endpoint.

  • Quando il modello non è disponibile nella distribuzione standard e la quota di calcolo è disponibile nella sottoscrizione, usare Managed Compute, che supporta la distribuzione di modelli aperti e personalizzati. Consente anche un livello elevato di personalizzazione del server di inferenza della distribuzione, dei protocolli e della configurazione dettagliata.

Contenuti correlati