Distribuire i modelli di Microsoft Foundry nel portale foundry

Annotazioni

Questo documento fa riferimento al portale di Microsoft Foundry (versione classica).

🔄 Passa alla nuova documentazione di Microsoft Foundry se si usa il nuovo portale.

Questo articolo illustra come usare il portale Foundry per distribuire un modello Foundry in una risorsa Foundry da usare per eseguire attività di inferenza. I modelli foundry includono modelli come i modelli OpenAI di Azure, i modelli Meta Llama e altro ancora. Dopo aver distribuito un modello Foundry, è possibile interagire con esso usando Foundry Playground e inferenza usando il codice.

Questo articolo usa un modello Foundry di partner e community Llama-3.2-90B-Vision-Instruct come esempio. I modelli di partner e community richiedono la sottoscrizione ad Azure Marketplace prima della distribuzione. D'altra parte, i modelli Foundry venduti direttamente da Azure, ad esempio Azure Open AI in Foundry Models, non hanno questo requisito. Per altre informazioni sui modelli Foundry, incluse le aree in cui sono disponibili per la distribuzione, vedere Foundry Models venduto direttamente da Azure e Foundry Models da partner e community.

Prerequisiti

Per completare questo articolo, devi avere quanto segue:

• Una sottoscrizione di Azure con un metodo di pagamento valido. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare. Se si usano i modelli GitHub, è possibile eseguire l'aggiornamento ai modelli Foundry e creare una sottoscrizione di Azure nel processo.

• Accesso a Microsoft Foundry con le autorizzazioni appropriate per creare e gestire le risorse.

• Progetto Microsoft Foundry. Questo tipo di progetto viene gestito sotto una risorsa Foundry.

• I Modelli di Fonderia di partner e community richiedono l'accesso ad Azure Marketplace per la creazione di sottoscrizioni. Assicurarsi di disporre delle autorizzazioni necessarie per iscriversi alle offerte modello. I Modelli Foundry venduti direttamente da Azure non hanno questo requisito.

Distribuire un modello

Distribuire un modello seguendo questa procedura nel portale foundry:

1. Accedere a Microsoft Foundry. Assicurarsi che l'interruttore New Foundry sia disattivato. Questi passaggi fanno riferimento a Foundry (versione classica).

   

2. Passare alla sezione Catalogo Modelli nel portale Foundry.

3. Selezionare un modello ed esaminarne i dettagli nella scheda del modello. Questo articolo usa Llama-3.2-90B-Vision-Instruct per l'illustrazione.

4. Selezionare Usa questo modello.

5. Per i modelli Foundry di partner e community, è necessario sottoscrivere Azure Marketplace. Questo requisito si applica ad esempio a Llama-3.2-90B-Vision-Instruct. Leggere le condizioni per l'utilizzo e selezionare Accetta e continua per accettare le condizioni.

   Annotazioni

   Per i modelli Foundry venduti direttamente da Azure, ad esempio il modello gpt-4o-miniOpenAI di Azure, non si sottoscrive Azure Marketplace.

6. Configurare le impostazioni di distribuzione. Per impostazione predefinita, la distribuzione riceve il nome del modello che si sta distribuendo, ma è possibile modificare il nome in base alle esigenze prima di distribuire il modello. Più avanti durante l'inferenza, il nome dell'implementazione model viene usato nel parametro per instradare le richieste a questa particolare implementazione del modello. Questa convenzione consente di configurare nomi specifici per le distribuzioni di modelli.

   Suggerimento

   Ogni modello supporta diversi tipi di distribuzione, offrendo garanzie di residenza o velocità effettiva dei dati diverse. Per altri dettagli, vedere Tipi di distribuzione. In questo esempio il modello supporta il tipo di distribuzione Global Standard.

7. Il portale foundry seleziona automaticamente la risorsa Foundry associata al progetto come risorsa di intelligenza artificiale connessa. Selezionare Personalizza per modificare la connessione, se necessario. Se si esegue la distribuzione con il tipo di distribuzione API serverless , il progetto e la risorsa devono trovarsi in una delle aree di distribuzione supportate per il modello.

   

8. Seleziona Distribuisci. La pagina dei dettagli della distribuzione del modello viene visualizzata durante la creazione della distribuzione.

9. Al termine della distribuzione, il modello è pronto per l'uso. È anche possibile usare Foundry Playgrounds per testare in modo interattivo il modello.

Gestire i modelli

È possibile gestire le distribuzioni di modelli esistenti nella risorsa usando il portale Foundry.

1. Passare alla sezione Modelli + Endpoint nel portale di Foundry.

2. Il portale raggruppa e visualizza le distribuzioni di modelli per ogni risorsa. Selezionare la distribuzione del modello Llama-3.2-90B-Vision-Instruct dalla sezione relativa alla risorsa Foundry. Questa azione apre la pagina di distribuzione del modello.

   

Testare la distribuzione nel playground

È possibile interagire con il nuovo modello nel portale Foundry usando il playground. Il playground è un'interfaccia basata sul Web che consente di interagire con il modello in tempo reale. Usare il playground per testare il modello con prompt diversi e visualizzare le risposte del modello.

1. Nella pagina di distribuzione del modello, selezionare Apri nel playground. Questa azione apre il playground della chat con il nome della tua distribuzione già selezionato.

   

2. Digita il prompt e visualizza gli output.

3. Usare Visualizza codice per visualizzare i dettagli su come accedere alla distribuzione del modello a livello di codice.

Inferenza del modello con codice

Per eseguire l'inferenza nel modello distribuito con esempi di codice, vedere gli esempi seguenti:

• Per usare l'API Risposte con i modelli Foundry venduti direttamente da Azure, ad esempio i modelli Di Microsoft AI, DeepSeek e Grok, vedere Come generare risposte di testo con i modelli di Microsoft Foundry.

• Per usare l'API Risposte con i modelli OpenAI, vedere Introduzione all'API delle risposte.

• Per usare l'API completamento chat con modelli venduti dai partner, ad esempio il modello Llama distribuito in questo articolo, vedere Supporto del modello per i completamenti della chat.

Limiti di disponibilità e quota a livello di area di un modello

Per i modelli foundry, la quota predefinita varia in base al modello e all'area. Alcuni modelli potrebbero essere disponibili solo in alcune aree. Per ulteriori informazioni sulla disponibilità e sui limiti di quota, vedere Azure OpenAI in Microsoft Foundry Models quote e limiti e Quote e limiti dei modelli di Microsoft Foundry.

Quota per la distribuzione e l'inferenza di un modello

Per Modelli di Fonderia: la distribuzione e l'inferenza usano la quota che Azure assegna alla sottoscrizione a livello di area geografica e per ciascun modello in unità di token al minuto (TPM). Quando si effettua l'iscrizione a Foundry, si riceve la quota predefinita per la maggior parte dei modelli disponibili. Quindi, si assegna TPM a ogni distribuzione durante la creazione, riducendo la quota disponibile per tale modello. È possibile continuare a creare distribuzioni e assegnare loro un TPM fino a raggiungere il limite di quota.

Quando si raggiunge il limite di quota, è possibile creare nuove distribuzioni di tale modello solo se si:

• Richiedere una quota maggiore inviando un modulo di aumento della quota.
• Modificare la quota allocata nelle altre implementazioni di modelli nel portale Foundry per rilasciare i token per le nuove implementazioni.

Per altre informazioni sulla quota, vedere Quote e limiti dei modelli Di Microsoft Foundry eGestire la quota openAI di Azure.

Contenuti correlati

• Come generare risposte di testo con i modelli di Microsoft Foundry
• Linguaggi di programmazione supportati da Azure OpenAI