Pianificare la gestione dei costi per il Servizio OpenAI di Azure

Questo articolo descrive come pianificare e gestire i costi per il servizio OpenAI di Azure. Prima di distribuire il servizio, usare il calcolatore prezzi di Azure per stimare i costi per Azure OpenAI. In seguito, durante la distribuzione delle risorse di Azure, esaminare i costi stimati. Dopo aver iniziato a usare le risorse OpenAI di Azure, usare le funzionalità di Gestione costi per impostare i budget e monitorare i costi.

È anche possibile esaminare i costi previsti e identificare le tendenze di spesa per identificare le aree in cui si potrebbe voler agire. I costi per il servizio Azure OpenAI sono solo una parte dei costi mensili nella fattura di Azure. Anche se questo articolo riguarda la pianificazione e la gestione dei costi per Azure OpenAI, vengono fatturati tutti i servizi e le risorse di Azure usati nella sottoscrizione di Azure, inclusi i servizi di terze parti.

Prerequisiti

L'analisi dei costi in Gestione dei costi supporta la maggior parte dei tipi di account di Azure, ma non tutti. Per visualizzare l'elenco completo dei tipi di account supportati, vedere Informazioni sui dati di Gestione costi. Per visualizzare i dati relativi ai costi, è necessario disporre almeno dell'accesso in lettura per un account Azure. Per informazioni sull'assegnazione dell'accesso ai dati di Gestione costi di Azure, vedere Assegnare l'accesso ai dati.

Stimare i costi prima di usare Azure OpenAI

Usare il calcolatore prezzi di Azure per stimare i costi dell'uso di Azure OpenAI.

Informazioni sul modello di fatturazione completo di Azure OpenAI

Il servizio OpenAI di Azure viene eseguito nell'infrastruttura di Azure che accumula costi quando si distribuiscono nuove risorse. Potrebbero verificarsi altri costi dell'infrastruttura che potrebbero accumularsi. Le sezioni seguenti descrivono come vengono addebitati i costi per il servizio OpenAI di Azure.

Modelli serie base e codex

Per le serie di base di OpenAI di Azure e i modelli di serie Codex, vengono addebitati 1.000 token. I costi variano a seconda della serie di modelli scelti: Ada, Babbage, Curie, Davinci o Code-Cushman.

I modelli OpenAI di Azure comprendono ed elaborano il testo suddividendolo in token. Per riferimento, ogni token consiste approssimativamente in quattro caratteri per il testo tipico in inglese.

I costi dei token si applicano sia all'input che all'output. Si supponga, ad esempio, di avere un esempio di codice JavaScript di 1.000 token che richiede a un modello OpenAI di Azure di eseguire la conversione in Python. Verranno addebitati circa 1.000 token per la richiesta di input iniziale inviata e 1.000 token per l'output ricevuto in risposta per un totale di 2.000 token.

In pratica, per questo tipo di chiamata di completamento, l'input/output del token non sarebbe perfettamente 1:1. Una conversione da un linguaggio di programmazione a un altro potrebbe comportare un output più lungo o più breve a seconda di molti fattori. Un fattore di questo tipo è il valore assegnato al max_tokens parametro .

Serie di base e modelli di serie Codex ottimizzati

I costi dei modelli ottimizzati per OpenAI di Azure vengono addebitati in base a tre fattori:

• Ore di training
• Ore di hosting
• Inferenza per 1.000 token

Il costo delle ore di hosting è importante da tenere presente perché dopo la distribuzione di un modello ottimizzato, continua a sostenere un costo orario indipendentemente dal fatto che si stia usando attivamente. Monitorare attentamente i costi dei modelli ottimizzati.

Importante

Dopo aver distribuito un modello personalizzato, se in qualsiasi momento la distribuzione rimane inattiva per più di quindici (15) giorni, la distribuzione viene eliminata. La distribuzione di un modello personalizzato è inattiva se il modello è stato distribuito più di quindici (15) giorni fa e non sono stati effettuati completamenti o chiamate di completamento della chat durante un periodo di 15 giorni continuo.

L'eliminazione di una distribuzione inattiva non elimina o influisce sul modello personalizzato sottostante e il modello personalizzato può essere ridistribuito in qualsiasi momento.

Ogni modello personalizzato (ottimizzato) distribuito comporta un costo di hosting orario indipendentemente dal fatto che vengano effettuate chiamate di completamento o completamento della chat al modello. .

Altri costi che potrebbero accumulare con il servizio OpenAI di Azure

L'abilitazione di funzionalità come l'invio di dati ai log di Monitoraggio di Azure e l'invio di avvisi comporta costi aggiuntivi per tali servizi. Questi costi sono visibili sotto questi altri servizi e a livello di sottoscrizione, ma non sono visibili quando l'ambito è impostato solo sulla risorsa OpenAI di Azure.

Uso del pagamento anticipato di Azure con il servizio Azure OpenAI

È possibile pagare gli addebiti del servizio Azure OpenAI con il credito di pagamento anticipato di Azure. Tuttavia, non è possibile usare il credito di pagamento anticipato di Azure per pagare gli addebiti per prodotti e servizi di terze parti, inclusi i prodotti e i servizi disponibili in Azure Marketplace.

Codice di risposta errore HTTP e stato di fatturazione nel servizio OpenAI di Azure

Se il servizio esegue l'elaborazione, è possibile che venga addebitato un addebito anche se il codice di stato non riesce (non 200). Ad esempio, un errore 400 a causa di un filtro di contenuto o di un limite di input o di un errore 408 a causa di un timeout.

Se il servizio non esegue l'elaborazione, non verrà addebitato alcun addebito. Ad esempio, un errore 401 a causa dell'autenticazione o di un errore 429 dovuto al superamento del limite di velocità.

Monitorare i costi

Quando si usano le risorse di Azure con OpenAI di Azure, si incorre in costi. I costi delle unità di utilizzo delle risorse di Azure variano in base a intervalli di tempo, ad esempio secondi, minuti, ore e giorni o per utilizzo unità, ad esempio byte e megabyte. Non appena inizia l'uso di Azure OpenAI, i costi possono essere sostenuti ed è possibile visualizzare i costi nell'analisi dei costi.

Quando si usa l'analisi dei costi, i costi di Azure OpenAI vengono visualizzati in grafici e tabelle per intervalli di tempo diversi. Alcuni esempi sono per giorno, mese corrente e precedente e anno. È possibile visualizzare i costi anche in base ai budget e ai costi previsti. Il passaggio a visualizzazioni su tempi più lunghi consente di identificare le tendenze di spesa. È possibile vedere dove si è verificato l'overspending. Se sono stati creati budget, è possibile vedere facilmente anche dove vengono superati.

Per visualizzare i costi di Azure OpenAI nell'analisi dei costi:

1. Accedere al portale di Azure.
2. Selezionare una delle risorse OpenAI di Azure.
3. In Gestione risorse selezionare Analisi dei costi
4. Per impostazione predefinita, l'analisi dei costi ha come ambito la singola risorsa OpenAI di Azure.

Per comprendere la suddivisione di ciò che costituisce tale costo, può essere utile modificare Group by in Meter e impostare il tipo di grafico su Linea. È ora possibile notare che per questa particolare risorsa, l'origine dei costi proviene da tre diverse serie di modelli con token Text-Davinci che rappresentano la maggior parte dei costi.

È importante comprendere l'ambito quando si valutano i costi associati ad Azure OpenAI. Se le risorse fanno parte dello stesso gruppo di risorse, è possibile definire l'ambito analisi dei costi a tale livello per comprendere l'effetto sui costi. Se le risorse vengono distribuite tra più gruppi di risorse, è possibile definire l'ambito a livello di sottoscrizione.

Quando l'ambito è a un livello superiore, spesso è necessario aggiungere altri filtri per concentrarsi sull'utilizzo di Azure OpenAI. Quando l'ambito è a livello di sottoscrizione, vengono visualizzate molte altre risorse che potrebbero non interessare nel contesto della gestione dei costi di Azure OpenAI. Quando si definisce l'ambito a livello di sottoscrizione, è consigliabile passare allo strumento di analisi dei costi completo nel servizio Gestione costi.

Ecco un esempio di come usare lo strumento di analisi dei costi per visualizzare i costi accumulati per una sottoscrizione o un gruppo di risorse:

1. Cercare Gestione costi nella barra di ricerca di Azure superiore per passare all'esperienza di servizio completa, che include altre opzioni, ad esempio la creazione di budget.
2. Se necessario, selezionare Modifica se ambito : non punta al gruppo di risorse o alla sottoscrizione che si vuole analizzare.
3. A sinistra selezionare Report e analisi> dei costi.
4. Nella scheda Tutte le visualizzazioni selezionare Costi accumulati.

Il dashboard di analisi dei costi mostra i costi accumulati analizzati a seconda di ciò che è stato specificato per Ambito.

Se si tenta di aggiungere un filtro in base al servizio, si noterà che Non è possibile trovare Azure OpenAI nell'elenco. Questa situazione si verifica perché Azure OpenAI ha commonality con un subset di servizi di intelligenza artificiale di Azure in cui il filtro a livello di servizio è Servizi cognitivi. Se si vogliono visualizzare tutte le risorse OpenAI di Azure in una sottoscrizione senza altri tipi di risorse dei servizi di intelligenza artificiale di Azure, è invece necessario definire l'ambito del livello di servizio: Azure OpenAI:

Creare i budget

È possibile creare budget per gestire i costi e creare avvisi che informano gli stakeholder delle anomalie di spesa e dei rischi in sospeso. Gli avvisi si basano sul confronto tra la spesa e le soglie definite budget e costi. Si creano budget e avvisi per sottoscrizioni e gruppi di risorse di Azure. Sono utili come parte di una strategia complessiva di monitoraggio dei costi.

È possibile creare budget con filtri per risorse o servizi specifici in Azure se si vuole una maggiore granularità nel monitoraggio. I filtri consentono di non creare accidentalmente nuove risorse che costano più denaro. Per altre informazioni sulle opzioni di filtro disponibili quando si crea un budget, vedere Opzioni di raggruppamento e filtro.

Importante

Anche se OpenAI offre un'opzione per limiti rigidi che impediscono di superare il budget, Azure OpenAI non offre attualmente questa funzionalità. È possibile avviare l'automazione dai gruppi di azioni come parte delle notifiche di budget per eseguire azioni più avanzate, ma ciò richiede un ulteriore sviluppo personalizzato da parte dell'utente.

Esportare i dati relativi ai costi

È anche possibile esportare i dati sui costi in un account di archiviazione, utile quando sono necessari altri utenti per eseguire analisi aggiuntive dei dati per i costi. Ad esempio, un team finanziario può analizzare i dati usando Excel o Power BI. È possibile esportare i costi in base a una pianificazione giornaliera, settimanale o mensile e impostare un intervallo di date personalizzato. È consigliabile esportare i dati sui costi come metodo per recuperare i set di dati dei costi.

Passaggi successivi

• Informazioni su come ottimizzare gli investimenti per il cloud con Gestione costi di Azure.
• Altre informazioni sulla gestione dei costi con l'analisi dei costi.
• Informazioni su come Evitare costi imprevisti.
• Seguire il corso di apprendimento guidato Gestione dei costi.