Informazioni di riferimento per i dati di monitoraggio di Analisi di flusso di Azure
Questo articolo contiene tutte le informazioni di riferimento sul monitoraggio per questo servizio.
Vedere Monitorare Analisi di flusso di Azure per informazioni dettagliate sui dati che è possibile raccogliere per Analisi di flusso di Azure e su come usarli.
Metrica
Questa sezione elenca tutte le metriche della piattaforma raccolte automaticamente per questo servizio. Queste metriche fanno anche parte dell'elenco globale di tutte le metriche della piattaforma supportate nel Monitoraggio di Azure.
Per informazioni sulla conservazione delle metriche, vedere Informazioni generali sulle metriche del Monitoraggio di Azure.
Analisi di flusso di Azure offre numerose metriche che è possibile usare per monitorare e risolvere i problemi relativi alle prestazioni delle query e dei processi. È possibile visualizzare i dati di queste metriche nella pagina Panoramica della portale di Azure, nella sezione Monitoraggio.
Per controllare una metrica specifica, selezionare Metriche nella sezione Monitoraggio . Nella pagina visualizzata selezionare la metrica.
Metriche supportate per Microsoft.StreamAnalytics/streamingjobs
La tabella seguente elenca le metriche disponibili per il tipo di risorsa Microsoft.StreamAnalytics/streamingjobs.
- Potrebbero non essere presenti tutte le colonne in ogni tabella.
- Alcune colonne potrebbero superare l'area di visualizzazione della pagina. Selezionare Espandi tabella per visualizzare tutte le colonne disponibili.
Intestazioni di tabella
- Categoria: gruppo o classificazione delle metriche.
- Metrica: nome visualizzato della metrica come visualizzato nella portale di Azure.
- Nome nell'API REST: nome della metrica indicato nell'API REST.
- Unità: Unità di misura.
- Aggregazione: tipo di aggregazione predefinito. Valori validi: Medio (Avg), Minimo (Min), Massimo (Max), Totale (Sum), Conteggio.
- Dimensioni - Dimensioni disponibili per la metrica.
- Intervalli di tempo - Intervalli in cui viene campionata la metrica. Ad esempio,
PT1Mindica che la metrica viene campionata ogni minuto,PT30Mogni 30 minuti,PT1Hogni ora e così via. - Esportazione DS: indica se la metrica è esportabile nei log di Monitoraggio di Azure tramite le impostazioni di diagnostica. Per informazioni sull'esportazione delle metriche, vedere Creare impostazioni di diagnostica nel Monitoraggio di Azure.
| Categoria | Metric | Nome nell'API REST | Unità | Aggregazione | Dimensioni | Intervalli di tempo | Esportazione DS |
|---|---|---|---|---|---|---|---|
| Richieste di funzioni non riuscite Richieste di funzioni non riuscite |
AMLCalloutFailedRequests |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Eventi della funzione Eventi di funzioni |
AMLCalloutInputEvents |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Richieste di funzioni Richieste di funzioni |
AMLCalloutRequests |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Errori di conversione dati Errori di conversione dati |
ConversionErrors |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Errori di deserializzazione dell'input Errori di deserializzazione dell'input |
DeserializationError |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Eventi non in ordine Eventi non in ordine |
DroppedOrAdjustedEvents |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Eventi di input anticipati Eventi di input anticipati |
EarlyInputEvents |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Errori di runtime Errori di runtime |
Errors |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Byte evento di input Byte evento di input |
InputEventBytes |
Byte | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Eventi di input Eventi di input |
InputEvents |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Eventi di input con backlog Eventi di input con backlog |
InputEventsSourcesBacklogged |
Conteggio | Media, Massimo, Minimo | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Origini di input ricevute Origini di input ricevute |
InputEventsSourcesPerSecond |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Ultimi eventi di input Ultimi eventi di input |
LateInputEvents |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Eventi di output Eventi di output |
OutputEvents |
Count | Totale (somma) | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| Ritardo limite Ritardo limite |
OutputWatermarkDelaySeconds |
Secondi | Media, Massimo, Minimo | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| % utilizzo CPU % utilizzo CPU |
ProcessCPUUsagePercentage |
Percentuale | Media, Massimo, Minimo | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì | |
| % utilizzo unità di streaming (memoria) % utilizzo unità di streaming (memoria) |
ResourceUtilization |
Percentuale | Media, Massimo, Minimo | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | Sì |
Descrizioni delle metriche
Analisi di flusso di Azure fornisce le metriche seguenti per monitorare l'integrità del processo.
| Metrico | Definizione |
|---|---|
| Eventi di input con backlog | Numero di eventi di input con backlog. Un valore diverso da zero per questa metrica implica che il processo non può tenere il passo con il numero di eventi in ingresso. Se questo valore aumenta lentamente o è costantemente diverso da zero, è consigliabile aumentare il numero di istanze del processo. Per altre informazioni, vedere Comprendere e regolare le unità di streaming. |
| Errori di conversione dati | Numero di eventi di output che non è stato possibile convertire nello schema di output previsto. Per eliminare gli eventi che si verificano in questo scenario, è possibile modificare i criteri di errore in Drop. |
| Utilizzo % CPU (anteprima) | Percentuale di CPU utilizzata dal processo. Anche se questo valore è molto elevato (90% o più), non è consigliabile aumentare il numero di unità di streaming in base a questa metrica da sola. Se il numero di eventi di input registrati di nuovo o ritardi limite aumenta, è possibile usare questa metrica per determinare se la CPU è il collo di bottiglia. Questa metrica potrebbe avere picchi intermittenti. È consigliabile eseguire test di scalabilità per determinare il limite superiore del processo dopo il quale gli input vengono registrati nuovamente o ritardi limite aumentano a causa di un collo di bottiglia della CPU. |
| Eventi di input anticipati | Eventi il cui timestamp dell'applicazione è precedente all'ora di arrivo di più di 5 minuti. |
| Richieste di funzioni non riuscite | Numero di chiamate non riuscite alla funzione di Azure Machine Learning (se presente). |
| Eventi della funzione | Numero di chiamate inviate alla funzione di Azure Machine Learning (se presente). |
| Richieste di funzioni | Numero di chiamate alla funzione di Azure Machine Learning (se presente). |
| Errori di deserializzazione dell'input | Numero di eventi di input che non possono essere deserializzati. |
| Byte evento di input | Quantità di dati ricevuti dal processo di Analisi di flusso, in byte. È possibile usare questa metrica per verificare che gli eventi vengano inviati all'origine di input. |
| Eventi di input | Numero di record deserializzati da eventi di input. Questo conteggio non include gli eventi in ingresso che generano errori di deserializzazione. Analisi di flusso può inserire più volte gli stessi eventi in scenari come ripristini interni e self-join. Non aspettarsi che le metriche degli eventi di input e degli eventi di output corrispondano se il processo ha una query pass-through semplice. |
| Origini di input ricevute | Numero di messaggi ricevuti dal processo. Per Hub eventi di Azure, un messaggio è un singolo EventData elemento. Per Archiviazione BLOB di Azure, un messaggio è un singolo BLOB. Si noti che le origini di input vengono conteggiate prima della deserializzazione. Se si verificano errori di deserializzazione, le origini di input possono essere maggiori degli eventi di input. In caso contrario, le origini di input possono essere minori o uguali agli eventi di input perché ogni messaggio può contenere più eventi. |
| Ultimi eventi di input | Eventi arrivati in un secondo momento rispetto alla finestra di tolleranza configurata per gli arrivi in ritardo. Altre informazioni sulle considerazioni sull'ordine degli eventi di Analisi di flusso di Azure. |
| Eventi non in ordine | Numero di eventi ricevuti in ordine non ordinato che sono stati eliminati o assegnati un timestamp rettificato, in base ai criteri di ordinamento degli eventi. Questa metrica può essere influenzata dalla configurazione dell'impostazione Tolleranza non in ordine. |
| Eventi di output | Quantità di dati inviati dal processo di Analisi di flusso alla destinazione di output, in numero di eventi. |
| Errori di runtime | Numero totale di errori correlati all'elaborazione delle query. Esclude gli errori rilevati durante l'inserimento di eventi o l'output dei risultati. |
| % utilizzo unità di streaming (memoria) | Percentuale di memoria utilizzata dal processo. Se questa metrica è costantemente superiore all'80%, il ritardo limite aumenta e il numero di eventi registrati di nuovo aumenta, prendere in considerazione l'aumento delle unità di streaming .If this metric is constant over 80 percent, the watermark delay is rising, and the number of backlogged events is rising, consider consideri l'aumento delle unità di streaming (SU). L'utilizzo elevato indica che il processo usa quasi le risorse allocate massime. |
| Ritardo limite | Ritardo massimo limite in tutte le partizioni di tutti gli output nel processo. |
Dimensioni delle metriche
Per informazioni sulle dimensioni delle metriche, vedere Metriche multidimensionali.
Questo servizio ha le dimensioni seguenti associate alle relative metriche.
| Dimensione | Definizione |
|---|---|
| Nome logico | Nome di input o output per un processo di Analisi di flusso. |
| ID partizione | ID della partizione di dati di input da un'origine di input. Ad esempio, se l'origine di input è un hub eventi, l'ID partizione è l'ID partizione dell'hub eventi. Per i processi in parallelo imbarazzante, l'ID partizione nell'output è uguale a quello dell'input. |
| Nome nodo | Identificatore di un nodo di streaming di cui viene effettuato il provisioning durante l'esecuzione del processo. Un nodo di streaming rappresenta la quantità di risorse di calcolo e memoria allocate al processo. |
Dimensione Nome logico
Nome logico è il nome di input o output per un processo di Analisi di flusso. Si supponga, ad esempio, che un processo di Analisi di flusso abbia quattro input e cinque output. Verranno visualizzati i quattro singoli input logici e cinque singoli output logici quando si suddivideno le metriche correlate all'input e all'output in base a questa dimensione.
La dimensione Nome logico è disponibile per filtrare e suddividere le metriche seguenti:
- Eventi di input con backlog
- Errori di conversione dati
- Eventi di input anticipati
- Errori di deserializzazione dell'input
- Byte evento di input
- Eventi di input
- Origine di input ricevuta
- Ultimi eventi di input
- Eventi non in ordine
- Eventi di output
- Ritardo limite
Dimensione Node Name
Un nodo di streaming rappresenta un set di risorse di calcolo usate per elaborare i dati di input. Ogni sei unità di streaming (UNITÀ di streaming) si traducono in un nodo, che il servizio gestisce automaticamente per conto dell'utente. Per altre informazioni sulla relazione tra unità di streaming e nodi di streaming, vedere Informazioni e regolazione delle unità di streaming.
Node Name è una dimensione a livello di nodo di streaming. Può essere utile per eseguire il drill-down di determinate metriche al livello di nodo di streaming specifico. Ad esempio, è possibile suddividere la metrica Utilizzo % CPU in base al livello del nodo di streaming per controllare l'utilizzo della CPU di un singolo nodo di streaming.
La dimensione Node Name è disponibile per filtrare e suddividere le metriche seguenti:
- Eventi di input con backlog
- Utilizzo % CPU (anteprima)
- Eventi di input
- Eventi di output
- % utilizzo unità di streaming (memoria)
- Ritardo limite
Dimensione ID partizione
Quando i dati di streaming vengono inseriti nel servizio Analisi di flusso di Azure per l'elaborazione, i dati di input vengono distribuiti ai nodi di streaming in base alle partizioni nell'origine di input. La dimensione Partition ID è l'ID della partizione di dati di input dall'origine di input.
Ad esempio, se l'origine di input è un hub eventi, l'ID partizione è l'ID partizione dell'hub eventi. L'ID partizione nell'input è uguale a quello dell'output.
La dimensione PARTITION ID è disponibile per filtrare e suddividere le metriche seguenti:
- Eventi di input con backlog
- Errori di conversione dati
- Eventi di input anticipati
- Errori di deserializzazione dell'input
- Byte evento di input
- Eventi di input
- Origine di input ricevuta
- Ultimi eventi di input
- Eventi di output
- Ritardo limite
Log risorse
Questa sezione elenca i tipi di log delle risorse che si possono raccogliere per questo servizio. La sezione esegue il pull dall'elenco di tutti i tipi di categoria dei log delle risorse supportati nel Monitoraggio di Azure.
Log delle risorse supportati per Microsoft.StreamAnalytics/streamingjobs
| Categoria | Nome visualizzato della categoria | Tabella di log | Supporta il piano di log di base | Supporta la trasformazione in fase di inserimento | Query di esempio | Costi da esportare |
|---|---|---|---|---|---|---|
Authoring |
Creazione | AzureDiagnostics Log da più risorse di Azure. |
No | No | Query | No |
Execution |
Esecuzione | AzureDiagnostics Log da più risorse di Azure. |
No | No | Query | No |
Schema dei log risorse
Tutti i log vengono archiviati in formato JSON. Ogni voce include i campi stringa comuni seguenti:
| Nome | Descrizione |
|---|---|
| Ora | Timestamp del log (in UTC). |
| resourceId | ID della risorsa interessata dall'operazione, in lettere maiuscole. Include l'ID sottoscrizione, il gruppo di risorse e il nome del processo. Ad esempio, /SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT. STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| category | Categoria del log, ovvero Execution o Authoring. |
| operationName | Il nome dell'operazione registrata. Ad esempio Send Events: SQL Output write failure to mysqloutput. |
| stato | Stato dell'operazione. Ad esempio Failed o Succeeded. |
| level | Il livello del log. Ad esempio Error, Warning o Informational. |
| proprietà | Dettagli specifici delle voci di log; serializzazione come stringa JSON. Per altre informazioni, vedere le sezioni seguenti in questo articolo. |
Schema delle proprietà dei log di esecuzione
I log di esecuzione hanno informazioni sugli eventi che si sono verificati durante l'esecuzione del processo di analisi di flusso. Lo schema delle proprietà varia a seconda che l'evento sia un errore di dati o un evento generico.
Errori nei dati
Qualsiasi errore che si verifica durante il processo di elaborazione dei dati è in questa categoria di log. Questi log vengono creati più spesso durante le operazioni di lettura dei dati, serializzazione e scrittura. Questi log non includono errori di connettività. Gli errori di connettività vengono trattati come eventi generici. Altre informazioni sulla causa di diversi errori di dati di input e output.
| Nome | Descrizione |
|---|---|
| Origine | Nome dell'input o dell'output del processo in cui si è verificato l'errore. |
| Message | Messaggio associato all'errore. |
| Type | Tipo di errore. Ad esempio DataConversionError, CsvParserError o ServiceBusPropertyColumnMissingError. |
| Dati | Dati utili per individuare con precisione l'origine dell'errore. Sono soggetti a troncamento in base alle dimensioni. |
In base al valore operationName, lo schema degli errori nei dati è il seguente:
Gli eventi di serializzazione si verificano durante le operazioni di lettura degli eventi . Si verificano quando i dati all'input non soddisfano lo schema di query per uno dei motivi seguenti:
Mancata corrispondenza del tipo durante la serializzazione/deserializzazione degli eventi: identifica il campo che causa l'errore.
Impossibile leggere un evento, serializzazione non valida: elenca le informazioni sulla posizione nei dati di input in cui si è verificato l'errore. Include il nome del BLOB per l'input del BLOB, l'offset e un campione dei dati.
Gli eventi di invio si verificano durante le operazioni di scrittura. Identificano l'evento di streaming che ha causato l'errore.
Eventi generici
Gli eventi generici sono tutti gli altri.
| Nome | Descrizione |
|---|---|
| Error | (facoltativo) Informazioni sugli errori. In genere, si tratta delle informazioni sull'eccezione, se disponibili. |
| Message | Messaggio del log. |
| Type | Tipo di messaggio. Esegue il mapping alla categorizzazione interna degli errori. Ad esempio JobValidationError o BlobOutputAdapterInitializationFailure. |
| ID correlazione | GUID che identifica in modo univoco l'esecuzione del processo. Tutte le voci del log di esecuzione dal momento dell'avvio del processo fino a quando il processo viene interrotto hanno lo stesso valore ID correlazione. |
Per riferimento, vedere un elenco di tutti i tipi di categoria dei log delle risorse supportati in Monitoraggio di Azure o tutti i tipi di categoria di log delle risorse raccolti per Analisi di flusso di Azure.
Tabelle di log di Monitoraggio di Azure
Questa sezione elenca tutte le tabelle dei log del Monitoraggio di Azure pertinenti a questo servizio che sono disponibili per la query da parte di Log Analytics mediante le query di Kusto. Le tabelle contengono i dati dei log delle risorse ed eventualmente altro, a seconda di ciò che viene raccolto e indirizzato verso di esse.
Processi di analisi di flusso
| Categoria | Nome visualizzato della categoria | Tabella di log | Supporta il piano di log di base | Supporta la trasformazione in fase di inserimento | Query di esempio | Costi da esportare |
|---|---|---|---|---|---|---|
Authoring |
Creazione | AzureDiagnostics Log da più risorse di Azure. |
No | No | Query | No |
Execution |
Esecuzione | AzureDiagnostics Log da più risorse di Azure. |
No | No | Query | No |
Log attività
Nella tabella collegata sono elencate le operazioni che possono essere registrate nel log attività per questo servizio. Queste operazioni sono un sottoinsieme di tutte le possibili operazioni del provider di risorse nel log attività.
Per altre informazioni sullo schema delle voci del log attività, vedere Schema del log attività.