Monitoraggio del servizio Azure OpenAI
Quando si usano applicazioni e processi aziendali critici basati sulle risorse di Azure, è consigliabile monitorare tali risorse per verificarne disponibilità, prestazioni e funzionamento.
Questo articolo descrive i dati di monitoraggio generati dal servizio Azure OpenAI. Azure OpenAI fa parte dei servizi di intelligenza artificiale di Azure, che usa Monitoraggio di Azure. Se non si ha familiarità con le funzionalità di Monitoraggio di Azure comuni a tutti i servizi di Azure che usano il servizio, vedere Monitoraggio delle risorse di Azure con Monitoraggio di Azure.
Dashboard
Azure OpenAI offre dashboard predefiniti per ognuna delle risorse OpenAI di Azure. Per accedere ai dashboard di monitoraggio a https://portal.azure.com e selezionare il riquadro panoramica per una delle risorse OpenAI di Azure.
I dashboard sono raggruppati in quattro categorie: richieste HTTP, utilizzo basato su token, utilizzo PTU e ottimizzazione
Raccolta e routing dei dati in Monitoraggio di Azure
Azure OpenAI raccoglie gli stessi tipi di dati di monitoraggio delle altre risorse di Azure. È possibile configurare Monitoraggio di Azure per generare dati nei log attività, nei log delle risorse, nei log delle macchine virtuali e nelle metriche della piattaforma. Per altre informazioni, vedere Monitoraggio dei dati dalle risorse di Azure.
Le metriche della piattaforma e il log attività di Monitoraggio di Azure vengono raccolti e archiviati automaticamente. Questi dati possono essere indirizzati ad altre posizioni usando un'impostazione di diagnostica. I log delle risorse di Monitoraggio di Azure non vengono raccolti e archiviati fino a quando non si crea un'impostazione di diagnostica e quindi si instradano i log a una o più posizioni.
Quando si crea un'impostazione di diagnostica, si specificano quali categorie di log raccogliere. Per altre informazioni sulla creazione di un'impostazione di diagnostica usando il portale di Azure, l'interfaccia della riga di comando di Azure o PowerShell, vedere Creare un'impostazione di diagnostica per raccogliere i log e le metriche della piattaforma in Azure.
Tenere presente che l'uso delle impostazioni di diagnostica e l'invio di dati ai log di Monitoraggio di Azure comporta altri costi associati. Per altre informazioni, vedere Calcoli e opzioni dei costi dei log di Monitoraggio di Azure.
Le metriche e i log che è possibile raccogliere sono descritti nelle sezioni seguenti.
Analisi delle metriche
È possibile analizzare le metriche per le risorse del servizio OpenAI di Azure con gli strumenti di Monitoraggio di Azure nella portale di Azure. Nella pagina Panoramica per la risorsa OpenAI di Azure selezionare Metriche in Monitoraggio nel riquadro sinistro. Per altre informazioni, vedere Introduzione a Esplora metriche di Monitoraggio di Azure.
Azure OpenAI ha commonality con un subset di servizi di intelligenza artificiale di Azure. Per un elenco di tutte le metriche della piattaforma raccolte per Azure OpenAI e servizi di intelligenza artificiale di Azure simili da Monitoraggio di Azure, vedere Metriche supportate per Microsoft.CognitiveServices/accounts.
Metriche di Servizi cognitivi
Si tratta di metriche legacy comuni a tutte le risorse di Servizi di intelligenza artificiale di Azure. Non è più consigliabile usare queste metriche con Azure OpenAI.
Metriche openAI di Azure
Nota
La metrica Utilizzo gestito con provisioning è ora deprecata e non è più consigliata. Questa metrica è stata sostituita dalla metrica Utilizzo gestito con provisioning V2 .
La tabella seguente riepiloga il sottoinsieme corrente di metriche disponibili in Azure OpenAI.
| Metric | Categoria | Aggregazione | Descrizione | Dimensioni |
|---|---|---|---|---|
Azure OpenAI Requests |
HTTP | Conteggio | Numero totale di chiamate effettuate all'API OpenAI di Azure in un periodo di tempo. Si applica agli SKU gestiti da PayGo, PTU e PTU. | ApiName, ModelDeploymentName,ModelName,ModelVersion, OperationName, Region, StatusCodeStreamType |
Generated Completion Tokens |
Utilizzo | Sum | Numero di token generati (output) da un modello OpenAI di Azure. Si applica agli SKU con gestione PTU, PayGo, PTU e PTU | ApiName, ModelDeploymentName, ,ModelNameRegion |
Processed FineTuned Training Hours |
Utilizzo | Sum | Numero di ore di training elaborate in un modello ottimizzato di Azure OpenAI. | ApiName, ModelDeploymentName, ,ModelNameRegion |
Processed Inference Tokens |
Utilizzo | Sum | Numero di token di inferenza elaborati da un modello OpenAI di Azure. Calcolato come token di richiesta (input) + token generati. Si applica agli SKU payGo, PTU e PTU manged. | ApiName, ModelDeploymentName, ,ModelNameRegion |
Processed Prompt Tokens |
Utilizzo | Sum | Numero totale di token di richiesta (input) elaborati in un modello OpenAI di Azure. Si applica agli SKU gestiti da PayGo, PTU e PTU. | ApiName, ModelDeploymentName, ,ModelNameRegion |
Provision-managed Utilization V2 |
Utilizzo | Media | L'utilizzo gestito dal provisioning è la percentuale di utilizzo per una distribuzione gestita di cui è stato effettuato il provisioning. Calcolato come (PTU utilizzate/PTU distribuite)*100. Quando l'utilizzo è pari o superiore al 100%, le chiamate vengono limitate e restituiscono un codice di errore 429. | ModelDeploymentName,ModelName,ModelVersion, Region, StreamType |
Configurare le impostazioni di diagnostica
Tutte le metriche sono esportabili con le impostazioni di diagnostica in Monitoraggio di Azure. Per analizzare i log e i dati delle metriche con le query di Log Analytics di Monitoraggio di Azure, è necessario configurare le impostazioni di diagnostica per la risorsa OpenAI di Azure e l'area di lavoro Log Analytics.
Nella pagina della risorsa OpenAI di Azure, in Monitoraggio selezionare Impostazioni di diagnostica nel riquadro sinistro. Nella pagina Impostazioni di diagnostica selezionare Aggiungi impostazione di diagnostica.
Nella pagina Impostazioni di diagnostica configurare i campi seguenti:
- Selezionare Invia all'area di lavoro Log Analytics.
- Scegliere la sottoscrizione dell'account Azure.
- Scegliere l'area di lavoro Log Analytics.
- In Log selezionare allLogs.
- In Metriche selezionare AllMetrics.
Immettere un nome di impostazione di diagnostica per salvare la configurazione.
Seleziona Salva.
Dopo aver configurato le impostazioni di diagnostica, è possibile usare le metriche e i dati di log per la risorsa OpenAI di Azure nell'area di lavoro Log Analytics.
Analizzare i log
I dati nei log di Monitoraggio di Azure vengono archiviati in tabelle, ognuna delle quali ha un proprio set di proprietà univoche.
Tutti i log delle risorse in Monitoraggio di Azure hanno gli stessi campi seguiti da campi specifici del servizio. Per informazioni sullo schema comune, vedere Schemi comuni e specifici del servizio per i log delle risorse di Azure.
Il log attività è un tipo di log della piattaforma in Azure che fornisce informazioni dettagliate sugli eventi a livello di sottoscrizione. È possibile visualizzare questo log in modo indipendente o instradarlo ai log di Monitoraggio di Azure. Nella portale di Azure è possibile usare il log attività nei log di Monitoraggio di Azure per eseguire query complesse con Log Analytics.
Per un elenco dei tipi di log delle risorse disponibili per Azure OpenAI e servizi di intelligenza artificiale di Azure simili, vedere Operazioni del provider di risorse di Azure Microsoft.CognitiveServices .
Usare query Kusto
Dopo aver distribuito un modello OpenAI di Azure, è possibile inviare alcune chiamate di completamento usando l'ambiente playground in Azure AI Studio.
Qualsiasi testo immesso nel playground Completamenti o nel playground dei completamenti della chat genera metriche e dati di log per la risorsa OpenAI di Azure. Nell'area di lavoro Log Analytics per la risorsa è possibile eseguire query sui dati di monitoraggio usando il linguaggio di query Kusto .
Importante
L'opzione Apri query nella pagina delle risorse OpenAI di Azure passa ad Azure Resource Graph, che non è descritta in questo articolo. Le query seguenti usano l'ambiente di query per Log Analytics. Assicurarsi di seguire la procedura descritta in Configurare le impostazioni di diagnostica per preparare l'area di lavoro Log Analytics.
Nella pagina della risorsa OpenAI di Azure, in Monitoraggio nel riquadro sinistro selezionare Log.
Selezionare l'area di lavoro Log Analytics configurata con la diagnostica per la risorsa OpenAI di Azure.
Nella pagina Area di lavoro Log Analytics, in Panoramica nel riquadro sinistro selezionare Log.
Il portale di Azure visualizza una finestra Query con query di esempio e suggerimenti per impostazione predefinita. È possibile chiudere questa finestra.
Per gli esempi seguenti, immettere la query Kusto nell'area di modifica nella parte superiore della finestra Query e quindi selezionare Esegui. I risultati della query vengono visualizzati sotto il testo della query.
La query Kusto seguente è utile per un'analisi iniziale dei dati di Diagnostica di Azure (AzureDiagnostics) sulla risorsa:
AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s
Questa query restituisce un esempio di 100 voci e visualizza un subset delle colonne di dati disponibili nei log. Nei risultati della query è possibile selezionare la freccia accanto al nome della tabella per visualizzare tutte le colonne disponibili e i tipi di dati associati.
Per visualizzare tutte le colonne di dati disponibili, è possibile rimuovere la riga | project ... dei parametri di ambito dalla query:
AzureDiagnostics
| take 100
Per esaminare i dati delle metriche di Azure (AzureMetrics) per la risorsa, eseguire la query seguente:
AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName
La query restituisce un esempio di 100 voci e visualizza un subset delle colonne disponibili dei dati delle metriche di Azure:
Nota
Quando si seleziona Log di monitoraggio>nel menu OpenAI di Azure per la risorsa, Log Analytics si apre con l'ambito della query impostato sulla risorsa corrente. Le query di log visibili includono solo i dati di tale risorsa specifica. Per eseguire una query che include dati di altre risorse o dati di altri servizi di Azure, selezionare Log dal menu Monitoraggio di Azure nel portale di Azure. Per altre informazioni, vedere Ambito di query di log e intervallo di tempo in Log Analytics di Monitoraggio di Azure per informazioni dettagliate.
Impostare gli avvisi
Gli avvisi di Monitoraggio di Azure notificano in modo proattivo quando vengono riscontrate importanti condizioni nei dati di monitoraggio. Consentono di identificare e risolvere i problemi nel sistema prima che gli utenti li notino. È possibile impostare avvisi su metriche, log e log attività. Diversi tipi di avvisi presentano vantaggi e svantaggi diversi.
Le esigenze di avviso di ogni organizzazione variano e possono cambiare nel tempo. In genere, tutti gli avvisi devono essere interattivi e avere una risposta specifica se si verifica l'avviso. Se un avviso non richiede una risposta immediata, la condizione può essere acquisita in un report anziché in un avviso. Alcuni casi d'uso potrebbero richiedere l'invio di avvisi ogni volta che esistono determinate condizioni di errore. In altri casi, potrebbero essere necessari avvisi per gli errori che superano una determinata soglia per un periodo di tempo designato.
Gli errori al di sotto di determinate soglie possono spesso essere valutati tramite l'analisi regolare dei dati nei log di Monitoraggio di Azure. Durante l'analisi dei dati di log nel tempo, si potrebbe scoprire che una determinata condizione non si verifica per un periodo di tempo previsto. È possibile tenere traccia di questa condizione usando gli avvisi. A volte l'assenza di un evento in un log è altrettanto importante come un segnale come un errore.
A seconda del tipo di applicazione che si sta sviluppando con l'uso di Azure OpenAI, Application Insights di Monitoraggio di Azure potrebbe offrire maggiori vantaggi di monitoraggio a livello di applicazione.