Referência de dados de monitoramento do Azure Stream Analytics

Este artigo contém todas as informações de referência de monitoramento para este serviço.

Consulte Monitorar o Azure Stream Analytics para obter detalhes sobre os dados que você pode coletar para o Azure Stream Analytics e como usá-los.

Métricas

Esta seção lista todas as métricas de plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas de plataforma com suporte no Azure Monitor.

Para obter informações sobre retenção de métricas, consulte Visão geral do Azure Monitor Metrics.

O Azure Stream Analytics fornece muitas métricas que você pode usar para monitorar e solucionar problemas de desempenho de consultas e trabalhos. Você pode exibir dados dessas métricas na página Visão geral do portal do Azure, na seção Monitoramento .

Se quiser verificar uma métrica específica, selecione Métricas na seção Monitoramento. Na página exibida, selecione a métrica.

Métricas suportadas para Microsoft.StreamAnalytics/streamingjobs

A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.StreamAnalytics/streamingjobs.

• Nem todas as colunas podem estar presentes em todas as tabelas.
• Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para visualizar todas as colunas disponíveis.

Cabeçalhos de tabela

• Categoria - O grupo ou classificação de métricas.
• Métrica - O nome para exibição da métrica conforme aparece no portal do Azure.
• Nome na API REST - O nome da métrica conforme referido na API REST.
• Unidade - Unidade de medida.
• Agregação - O tipo de agregação padrão. Valores válidos: Média (Média), Mínima (Mín), Máxima (Máx), Total (Soma), Contagem.
• Dimensões - Dimensões disponíveis para a métrica.
• Intervalos de grãos de - tempo em que a métrica é amostrada. Por exemplo, PT1M indica que a métrica é amostrada a cada minuto, PT30M a cada 30 minutos, PT1H a cada hora e assim por diante.
• DS Export- Se a métrica é exportável para os Logs do Azure Monitor por meio de configurações de diagnóstico. Para obter informações sobre como exportar métricas, consulte Criar configurações de diagnóstico no Azure Monitor.

Categoria	Metric	Nome na API REST	Unit	Agregação	Dimensões	Grãos de tempo	DS Exportação
Solicitações de função com falha Falha no Pedido de Funções	AMLCalloutFailedRequests	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos de função Eventos de Função	AMLCalloutInputEvents	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Solicitações de função Pedidos de Função	AMLCalloutRequests	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Erros de conversão de dados Erros de Conversão de Dados	ConversionErrors	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Erros de desserialização de entrada Erros de Desserialização de Entrada	DeserializationError	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos fora de ordem Eventos fora de ordem	DroppedOrAdjustedEvents	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos de entrada antecipada Eventos de Entrada Antigos	EarlyInputEvents	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Erros de tempo de execução Erros de tempo de execução	Errors	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Bytes de evento de entrada Bytes de Evento de Entrada	InputEventBytes	Bytes	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos de entrada Eventos de Entrada	InputEvents	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos de entrada em atraso Eventos de Entrada Pendentes	InputEventsSourcesBacklogged	Count	Média, Máximo, Mínimo	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Fontes de entrada recebidas Fontes de entrada recebidas	InputEventsSourcesPerSecond	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos de entrada tardia Eventos de Entrada atrasados	LateInputEvents	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Eventos de saída Eventos de saída	OutputEvents	Count	Total	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
Atraso da marca d'água Atraso da marca d'água	OutputWatermarkDelaySeconds	Segundos	Média, Máximo, Mínimo	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
% de utilização da CPU % de utilização da CPU	ProcessCPUUsagePercentage	Percentagem	Média, Máximo, Mínimo	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim
SU (memória) % de utilização SU (memória) % de utilização	ResourceUtilization	Percentagem	Média, Máximo, Mínimo	LogicalName, PartitionId, ProcessorInstance, NodeName	PT1M	Sim

Descrições de métricas

O Azure Stream Analytics fornece as seguintes métricas para você monitorar a integridade do seu trabalho.

Métrico	Definição
Eventos de entrada em atraso	Número de eventos de entrada que estão em atraso. Um valor diferente de zero para essa métrica implica que seu trabalho não pode acompanhar o número de eventos recebidos. Se esse valor estiver aumentando lentamente ou for consistentemente diferente de zero, você deverá expandir seu trabalho. Para saber mais, consulte Compreender e ajustar unidades de streaming.
Erros de conversão de dados	Número de eventos de saída que não puderam ser convertidos para o esquema de saída esperado. Para descartar eventos que encontram esse cenário, você pode alterar a política de erro para Drop.
% de utilização da CPU (visualização)	Porcentagem de CPU que seu trabalho utiliza. Mesmo que esse valor seja muito alto (90% ou mais), você não deve aumentar o número de SUs apenas com base nessa métrica. Se o número de eventos de entrada em backlog ou atrasos de marca d'água aumentar, você poderá usar essa métrica para determinar se a CPU é o gargalo. Essa métrica pode ter picos intermitentes. Recomendamos que você faça testes de escala para determinar o limite superior do seu trabalho após o qual as entradas são acumuladas ou os atrasos da marca d'água aumentam devido a um afunilamento da CPU.
Eventos de entrada antecipada	Eventos cujo carimbo de hora de aplicação é anterior à sua hora de chegada em mais de 5 minutos.
Solicitações de função com falha	Número de chamadas de função do Azure Machine Learning com falha (se houver).
Eventos de função	Número de eventos enviados para a função Azure Machine Learning (se houver).
Solicitações de função	Número de chamadas para a função Azure Machine Learning (se presente).
Erros de desserialização de entrada	Número de eventos de entrada que não puderam ser desserializados.
Bytes de evento de entrada	Quantidade de dados que o trabalho do Stream Analytics recebe, em bytes. Você pode usar essa métrica para validar que os eventos estão sendo enviados para a fonte de entrada.
Eventos de entrada	Número de registros desserializados dos eventos de entrada. Essa contagem não inclui eventos de entrada que resultam em erros de desserialização. O Stream Analytics pode ingerir os mesmos eventos várias vezes em cenários como recuperações internas e auto-junções. Não espere que as métricas de Eventos de Entrada e Eventos de Saída correspondam se o seu trabalho tiver uma consulta de passagem simples.
Fontes de entrada recebidas	Número de mensagens que o trabalho recebe. Para Hubs de Eventos do Azure, uma mensagem é um único EventData item. Para o Armazenamento de Blobs do Azure, uma mensagem é um único blob. Observe que as fontes de entrada são contadas antes da desserialização. Se houver erros de desserialização, as fontes de entrada podem ser maiores do que os eventos de entrada. Caso contrário, as fontes de entrada podem ser menores ou iguais aos eventos de entrada, pois cada mensagem pode conter vários eventos.
Eventos de entrada tardia	Eventos que chegaram depois da janela de tolerância configurada para chegadas tardias. Saiba mais sobre as considerações sobre a ordem de eventos do Azure Stream Analytics.
Eventos fora de ordem	Número de eventos recebidos fora de ordem que foram descartados ou receberam um carimbo de data/hora ajustado, com base na política de pedidos de eventos. Essa métrica pode ser afetada pela configuração da configuração da Janela de tolerância fora de ordem.
Eventos de saída	Quantidade de dados que o trabalho do Stream Analytics envia para o destino de saída, em número de eventos.
Erros de tempo de execução	Número total de erros relacionados ao processamento de consultas. Exclui erros encontrados durante a ingestão de eventos ou resultados de saída.
SU (memória) % de utilização	Percentagem de memória que o seu trabalho utiliza. Se essa métrica estiver consistentemente acima de 80%, o atraso da marca d'água estiver aumentando e o número de eventos em atraso estiver aumentando, considere aumentar as unidades de streaming (SUs). Alta utilização indica que o trabalho está usando perto do máximo de recursos alocados.
Atraso da marca d'água	Atraso máximo de marca d'água em todas as partições de todas as saídas no trabalho.

Dimensões métricas

Para obter informações sobre o que são dimensões métricas, consulte Métricas multidimensionais.

Este serviço tem as seguintes dimensões associadas às suas métricas.

Dimensão	Definição
Nome lógico	O nome de entrada ou saída para um trabalho do Stream Analytics.
ID da partição	A ID da partição de dados de entrada de uma fonte de entrada. Por exemplo, se a fonte de entrada for um hub de eventos, o ID da partição será o ID da partição do hub de eventos. Para trabalhos embaraçosamente paralelos, o ID da partição na saída é o mesmo que na entrada.
Nome do nó	O identificador de um nó de streaming que é provisionado quando seu trabalho é executado. Um nó de streaming representa a quantidade de recursos de computação e memória alocados para o seu trabalho.

Dimensão Nome lógico

Nome lógico é o nome de entrada ou saída de um trabalho do Stream Analytics. Por exemplo, suponha que um trabalho do Stream Analytics tenha quatro entradas e cinco saídas. Você verá as quatro entradas lógicas individuais e as cinco saídas lógicas individuais quando dividir as métricas relacionadas à entrada e à saída por essa dimensão.

A dimensão Nome lógico está disponível para filtrar e dividir as seguintes métricas:

• Eventos de entrada em atraso
• Erros de conversão de dados
• Eventos de entrada antecipada
• Erros de desserialização de entrada
• Bytes de evento de entrada
• Eventos de entrada
• Fonte de entrada recebida
• Eventos de entrada tardia
• Eventos fora de ordem
• Eventos de saída
• Atraso da marca d'água

Dimensão Nome do nó

Um nó de streaming representa um conjunto de recursos de computação que é usado para processar seus dados de entrada. Cada seis unidades de streaming (SUs) se traduzem em um nó, que o serviço gerencia automaticamente em seu nome. Para obter mais informações sobre a relação entre unidades de streaming e nós de streaming, consulte Compreender e ajustar unidades de streaming.

Nome do nó é uma dimensão no nível do nó de streaming. Ele pode ajudá-lo a detalhar certas métricas para o nível específico do nó de streaming. Por exemplo, você pode dividir a métrica % Utilização da CPU pelo nível do nó de streaming para verificar a utilização da CPU de um nó de streaming individual.

A dimensão Nome do Nó está disponível para filtrar e dividir as seguintes métricas:

• Eventos de entrada em atraso
• % de utilização da CPU (visualização)
• Eventos de entrada
• Eventos de saída
• SU (memória) % de utilização
• Atraso da marca d'água

Dimensão de ID de partição

Quando os dados de streaming são ingeridos no serviço Azure Stream Analytics para processamento, os dados de entrada são distribuídos para nós de streaming de acordo com as partições na fonte de entrada. A dimensão ID da partição é a ID da partição de dados de entrada da fonte de entrada.

Por exemplo, se a fonte de entrada for um hub de eventos, o ID da partição será o ID da partição do hub de eventos. O ID da partição na entrada é o mesmo que na saída.

A dimensão ID da partição está disponível para filtrar e dividir as seguintes métricas:

• Eventos de entrada em atraso
• Erros de conversão de dados
• Eventos de entrada antecipada
• Erros de desserialização de entrada
• Bytes de evento de entrada
• Eventos de entrada
• Fonte de entrada recebida
• Eventos de entrada tardia
• Eventos de saída
• Atraso da marca d'água

Registos do recurso

Esta seção lista os tipos de logs de recursos que você pode coletar para este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.

Logs de recursos suportados para Microsoft.StreamAnalytics/streamingjobs

Categoria	Nome de exibição da categoria	Tabela de registo	Suporta plano de log básico	Suporta a transformação do tempo de ingestão	Consultas de exemplo	Custos de exportação
Authoring	Criação	AzureDiagnostics Logs de vários recursos do Azure.	No	Não	Consultas	Não
Execution	Execução	AzureDiagnostics Logs de vários recursos do Azure.	No	Não	Consultas	Não

Esquema de logs de recursos

Todos os logs são armazenados no formato JSON. Cada entrada tem os seguintes campos de cadeia de caracteres comuns:

Nome	Descrição
hora	Carimbo de data/hora (em UTC) do log.
resourceId	ID do recurso em que a operação ocorreu, em maiúsculas. Inclui o ID da subscrição, o grupo de recursos e o nome da tarefa. Por exemplo, /SUBSCRIPTIONS/6503D296-DAC1-4449-9B03-609A1F4A1C87/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT. STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB.
category	Categoria de log, Execução ou Criação.
operationName	Nome da operação que é registrada. Por exemplo, Send Events: SQL Output write failure to mysqloutput.
status	Estado da operação. Por exemplo, Falhou ou Teve êxito.
nível	Nível de log. Por exemplo, Erro, Aviso ou Informativo.
propriedades	Detalhe específico da entrada de log, serializado como uma cadeia de caracteres JSON. Para obter mais informações, consulte as seções a seguir neste artigo.

Esquema de propriedades do log de execução

Os logs de execução têm informações sobre eventos que aconteceram durante a execução do trabalho do Stream Analytics. O esquema de propriedades varia dependendo se o evento é um erro de dados ou um evento genérico.

Erros de dados

Qualquer erro que ocorra enquanto o trabalho está processando dados está nessa categoria de logs. Na maioria das vezes, esses logs são criados durante operações de leitura, serialização e gravação de dados. Esses logs não incluem erros de conectividade. Os erros de conectividade são tratados como eventos genéricos. Você pode aprender mais sobre a causa de vários erros de dados de entrada e saída diferentes.

Nome	Descrição
Origem	Nome da entrada ou saída do trabalho onde o erro ocorreu.
Mensagem	Mensagem associada ao erro.
Type	Tipo de erro. Por exemplo, DataConversionError, CsvParserError ou ServiceBusPropertyColumnMissingError.
Dados	Contém dados que são úteis para localizar com precisão a origem do erro. Sujeito a truncamento, dependendo do tamanho.

Dependendo do valor operationName, os erros de dados têm o seguinte esquema:

• Os eventos de serialização ocorrem durante operações de leitura de eventos. Eles ocorrem quando os dados na entrada não satisfazem o esquema de consulta por um destes motivos:

  • Incompatibilidade de tipo durante a serialização/desserialização de eventos: identifica o campo que está causando o erro.

  • Não é possível ler um evento, serialização inválida: lista informações sobre o local nos dados de entrada onde o erro ocorreu. Inclui nome de blob para entrada de blob, deslocamento e uma amostra dos dados.

• Os eventos de envio ocorrem durante as operações de gravação. Eles identificam o evento de streaming que causou o erro.

Eventos genéricos

Os eventos genéricos abrangem tudo o resto.

Nome	Descrição
Erro	(facultativo) Informações de erro. Normalmente, é a informação de exceção, se estiver disponível.
Mensagem	Mensagem de registo.
Type	Tipo de mensagem. Mapeia para categorização interna de erros. Por exemplo, JobValidationError ou BlobOutputAdapterInitializationFailure.
ID de Correlação	GUID que identifica exclusivamente a execução do trabalho. Todas as entradas do log de execução desde o momento em que o trabalho é iniciado até o trabalho parar têm o mesmo valor de ID de correlação.

Para referência, consulte uma lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor ou todos os tipos de categoria de log de recursos coletados para o Azure Stream Analytics.

Tabelas de Logs do Azure Monitor

Esta seção lista as tabelas de Logs do Azure Monitor relevantes para este serviço, que estão disponíveis para consulta pelo Log Analytics usando consultas Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para elas.

Tarefas do Stream Analytics

Categoria	Nome de exibição da categoria	Tabela de registo	Suporta plano de log básico	Suporta a transformação do tempo de ingestão	Consultas de exemplo	Custos de exportação
Authoring	Criação	AzureDiagnostics Logs de vários recursos do Azure.	No	Não	Consultas	Não
Execution	Execução	AzureDiagnostics Logs de vários recursos do Azure.	No	Não	Consultas	Não

Registo de atividades

A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações possíveis do provedor de recursos no log de atividades.

Para obter mais informações sobre o esquema de entradas do log de atividades, consulte Esquema do log de atividades.

• Operações do provedor de recursos Microsoft.StreamAnalytics

Conteúdos relacionados

• Monitorar recursos do Azure com o Azure Monitor
• Monitorar o Azure Stream Analytics
• Dimensões para métricas do Azure Stream Analytics
• Compreender e ajustar as unidades de streaming