Gestire e aumentare le quote per le risorse con Studio AI della piattaforma Azure

Articolo
10/04/2024

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

La quota offre la flessibilità necessaria per gestire attivamente l'allocazione dei limiti di frequenza tra le distribuzioni all'interno della propria sottoscrizione. Questo articolo illustra il processo di gestione della quota per le macchine virtuali di Studio AI della piattaforma Azure e i modelli OpenAI di Azure.

Azure usa i limiti e le quote per evitare lo sforamento del budget a causa di illeciti e per rispettare i vincoli di capacità di Azure. È anche un buon modo per controllare i costi per gli amministratori. Considerare questi limiti durante la scalabilità per i carichi di lavoro di produzione.

Questo articolo contiene informazioni relative agli argomenti seguenti:

Limiti predefiniti per le risorse di Azure
Creazione di quote a livello di hub di Studio AI della piattaforma Azure.
Visualizzazione delle quote e dei limiti
Richiesta di aumenti di quote e limiti

Considerazioni speciali

Le quote vengono applicate a ogni sottoscrizione nell'account. Se sono disponibili più sottoscrizioni, è necessario richiedere un aumento della quota per ogni sottoscrizione.

Una quota è un limite di credito per le risorse di Azure, non una garanzia di capacità. Se si hanno esigenze di capacità su larga scala, contattare il supporto tecnico di Azure per aumentare la quota.

Nota

Studio AI della piattaforma Azure ha una quota separata dalla quota di calcolo principale.

I limiti predefiniti variano in base al tipo di categoria dell'offerta, ad esempio Versione di valutazione gratuita o Pagamento in base al consumo, e alle serie delle macchine virtuali, ad esempio Dv2, F e G.

Quota di Studio AI della piattaforma Azure

Le azioni seguenti in Studio AI della piattaforma Azure usano la quota:

Creazione di un'istanza di ambiente di calcolo.
Creazione di un indice vettoriale.
Distribuzione di modelli aperti dal catalogo dei modelli.

Ambiente di calcolo di Studio AI della piattaforma Azure

Per l'ambiente di calcolo di Studio AI della piattaforma Azure è previsto un limite di quota predefinito sia per il numero di core che per il numero di risorse di calcolo univoche consentite per ogni area in una sottoscrizione.

La quota per il numero di core viene suddivisa per ogni famiglia di macchine virtuali e per i core totali cumulativi.
La quota per il numero di risorse di calcolo univoche per area è separata dalla quota di core della macchina virtuale, poiché si applica solo alle risorse di calcolo gestite.

Per aumentare i limiti per l'ambiente di calcolo, è possibile richiedere un aumento della quota in Studio AI della piattaforma Azure.

Le risorse disponibili includono:

I core dedicati per area hanno un limite predefinito di 24-300, a seconda del tipo di offerta di sottoscrizione. È possibile aumentare il numero di core dedicati per sottoscrizione per ogni famiglia di macchine virtuali. Le famiglie di macchine virtuali specializzate come le serie NCv2, NCv3 o ND iniziano con un valore predefinito di zero core. Anche le GPU iniziano con un valore predefinito di zero core.
Il limite di calcolo totale per area prevede un limite predefinito di 500 per area all'interno di una determinata sottoscrizione ed è possibile aumentarlo fino a un valore massimo di 2500 per area. Il limite è condiviso tra istanze di ambiente di calcolo e distribuzioni di endpoint online gestiti. Un'istanza di ambiente di calcolo viene considerata un cluster a nodo singolo ai fini della quota. Per aumentare il limite di calcolo totale, aprire una richiesta di supporto clienti online.

Quando si apre la richiesta di supporto per aumentare il limite di calcolo totale, fornire le informazioni seguenti:

Selezionare Tecnico come tipo di problema.
Selezionare la sottoscrizione per cui si vuole aumentare la quota.
Selezionare Machine Learning come tipo di servizio.
Selezionare la risorsa per cui si vuole aumentare la quota.
Nel campo Riepilogo immettere "Aumentare i limiti di calcolo totali"
Selezionare Istanza di ambiente di calcolo come tipo di problema e Quota come sottotipo di problema.
Selezionare Avanti.
Nella pagina Dettagli aggiuntivi specificare l'ID sottoscrizione, l'area, il nuovo limite (compreso tra 500 e 2500) e la motivazione aziendale della richiesta di aumento dei limiti di calcolo totali per l'area.
Selezionare Crea per inviare il ticket della richiesta di supporto.

Quota condivisa di Studio AI della piattaforma Azure

Studio AI della piattaforma Azure offre un pool di quote condivise disponibili per utenti differenti in varie aree da usare contemporaneamente. A seconda della disponibilità, gli utenti possono accedere temporaneamente alla quota dal pool condiviso e usare la suddetta per eseguire test per un periodo di tempo limitato. La durata specifica dipende dal caso d'uso. Usando temporaneamente la quota tratta dal pool di quote, non è più necessario inviare un ticket di supporto per un aumento della quota a breve termine o attendere l'approvazione della richiesta per la quota prima di poter procedere con il carico di lavoro.

L'uso del pool di quote condivise è disponibile per i test di inferenza per modelli Llama-2, Phi, Nemotron, Mistral, Dolly e Deci-DeciLM dal Catalogo modelli. È consigliabile usare la quota condivisa solo per la creazione di endpoint di test temporanei, non per gli endpoint di produzione. Per gli endpoint presenti nell'ambiente di produzione, è necessario richiedere una quota dedicata. La fatturazione per la quota condivisa si basa sull'utilizzo, proprio come la fatturazione per le famiglie di macchine virtuali dedicate.

Istanze di contenitore

Per altre informazioni, vedere Limiti di Istanze di Container.

Storage

Archiviazione di Azure ha un limite di 250 account di archiviazione per area per sottoscrizione. Il limite include gli account di archiviazione Standard e Premium.

Visualizzare e richiedere quote in Studio AI della piattaforma Azure

Usare le quote per gestire l'allocazione di destinazione delle risorse di calcolo tra più risorse degli hub di Studio AI della piattaforma Azure nella stessa sottoscrizione.

Per impostazione predefinita, tutti gli hub condividono la stessa quota a livello di sottoscrizione per le famiglie di macchine virtuali. Tuttavia, è possibile impostare una quota massima per le singole famiglie di macchine virtuali per un controllo dei costi e una governance più granulari per le risorse degli hub in una sottoscrizione. Le quote per le singole famiglie di macchine virtuali consentono di condividere la capacità ed evitare problemi di contesa delle risorse.

In Studio AI della piattaforma Azure passare alla pagina Home e selezionare Quota del modello o Quota della macchina virtuale nella sezione Gestione.
Quando si seleziona Quota del modello, è possibile visualizzare la quota per i modelli nell'area di Azure selezionata. Per richiedere una quota maggiore, selezionare il modello e quindi selezionare Richiedi quota.
- Utilizzare l’alternanza Mostra tutte le quote per visualizzare tutte le quote o solo quelle attualmente assegnate.
- Usare l'elenco a discesa Raggruppa per per raggruppare l'elenco in base a Tipo quota, area e modello, Tipo quota, Model & Regiono Nessuno. Il raggruppamento Nessuna visualizza un elenco di distribuzioni di modelli.
- Espandere i raggruppamenti per visualizzare informazioni su distribuzioni di modelli specifiche. Durante la visualizzazione di una distribuzione del modello, selezionare l'icona a forma di matita nella colonna di allocazione quota per modificare l'allocazione della quota per la distribuzione del modello.
- Usare i grafici lungo il lato della pagina per visualizzare altri dettagli sull'utilizzo delle quote. I grafici sono interattivi; passando il puntatore del mouse su una sezione del grafico vengono visualizzate altre informazioni e selezionando il grafico viene filtrato l'elenco dei modelli. La selezione della legenda del grafico filtra i dati visualizzati nel grafico.
- Usare il collegamento Provisioning di Azure OpenAI per visualizzare informazioni sui modelli di cui è stato effettuato il provisioning, incluso un calcolatore della capacità.
Quando si seleziona Quota della macchina virtuale, è possibile visualizzare la quota e l'utilizzo per le famiglie di macchine virtuali nell'area di Azure selezionata. Per richiedere una quota maggiore, selezionare la famiglia di macchine virtuali e quindi selezionare Richiedi quota.

Condividi tramite