Tutorial: Ingerir e consultar dados de monitoramento no Azure Data Explorer

Este tutorial mostra-lhe como ingerir dados dos registos de diagnóstico e de atividade para um cluster Azure Data Explorer sem escrever código. Ao usar este método simples de ingestão, pode começar rapidamente a consultar o Azure Data Explorer para análise de dados.

Neste tutorial, aprenderás como:

• Crie tabelas e mapeamento de ingestão em um banco de dados do Azure Data Explorer.
• Formate os dados ingeridos usando uma política de atualização.
• Crie um hub de eventos e conecte-o ao Azure Data Explorer.
• Transmita dados para um hub de eventos a partir de métricas e logs de diagnóstico e logs de atividade do Azure Monitor.
• Consulte os dados ingeridos usando o Azure Data Explorer.

Observação

Crie todos os recursos no mesmo local ou região do Azure.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados. Neste tutorial, o nome do banco de dados é TestDatabase.

Fornecedor de dados do Azure Monitor: métricas e logs de diagnóstico e logs de atividades

Veja e compreenda os dados fornecidos pelas métricas de diagnóstico, registos e registos de atividade do Azure Monitor nas secções seguintes. Cria-se um pipeline de ingestão baseado nestes esquemas de dados. Cada evento num registo tem um conjunto de registos. Vais dividir este conjunto de registos mais tarde no tutorial.

Exemplos de métricas de diagnóstico, logs e logs de atividades

Um serviço do Azure emite registos de diagnóstico e métricas do Azure e registos de atividade. Estes registos fornecem dados sobre o funcionamento desse serviço.

Métricas de diagnóstico

Exemplo de métricas de diagnóstico

As métricas de diagnóstico agregam dados com uma granularidade de tempo de um minuto. O exemplo seguinte mostra um esquema de evento métrico do Azure Data Explorer na duração da consulta:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Registos de diagnóstico

Exemplo de logs de diagnóstico

O exemplo seguinte mostra um registo de diagnóstico de ingestão do Azure Data Explorer:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "aaaa0000-bb11-2222-33cc-444444dddddd",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "aaaa0000-bb11-2222-33cc-444444dddddd",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Registos de atividades

Exemplo de logs de atividades

Os logs de atividade do Azure são logs no nível de assinatura que fornecem informações sobre as operações executadas em recursos em sua assinatura. O exemplo seguinte mostra um evento de registo de atividade para verificar acesso:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Configurar um pipeline de ingestão no Azure Data Explorer

A configuração de um pipeline do Azure Data Explorer envolve várias etapas, como a criação de tabelas e a ingestão de dados. Você também pode manipular, mapear e atualizar os dados.

Conectar-se à interface do usuário da Web do Azure Data Explorer

No banco de dados TestDatabase do Azure Data Explorer, selecione Consulta para abrir a interface do usuário da Web do Azure Data Explorer.

Criar as tabelas de destino

A estrutura dos logs do Azure Monitor não é tabular. Precisa de manipular os dados e expandir cada evento para um ou mais registos. Ingerir os dados brutos numa tabela intermédia chamada ActivityLogsRawRecords para registos de atividade e DiagnosticRawRecords para métricas e registos de diagnóstico. Nesse momento, você manipula e expande os dados. Ao utilizar uma política de atualização, ingere os dados expandidos na tabela ActivityLogs para registos de atividade, DiagnosticMetrics para métricas de diagnóstico e DiagnósticoLogs para registos de diagnóstico. Este processo significa que precisa de criar duas tabelas separadas para ingerir registos de atividade e três tabelas separadas para ingerir métricas e registos de diagnóstico.

Use a interface do usuário da Web do Azure Data Explorer para criar as tabelas de destino no banco de dados do Azure Data Explorer.

Métricas de diagnóstico

Criar tabelas para as métricas de diagnóstico

1. No banco de dados TestDatabase , crie uma tabela chamada DiagnosticMetrics para armazenar os registros de métricas de diagnóstico. Use o seguinte .create table comando de gerenciamento:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Selecione Executar para criar a tabela.

   

3. Crie a tabela de dados intermédia chamada DiagnosticRawRecords na base de dados TestDatabase para manipulação de dados utilizando a seguinte consulta. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Definir a política de retenção zero para a tabela intermediária:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Registos de diagnóstico

Criar tabelas para os logs de diagnóstico

1. No banco de dados TestDatabase , crie uma tabela chamada DiagnosticLogs para armazenar os registros de log de diagnóstico. Use o seguinte .create table comando de gerenciamento:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Selecione Executar para criar a tabela.

3. Crie a tabela de dados intermédia chamada DiagnosticRawRecords na base de dados TestDatabase para manipulação de dados utilizando a seguinte consulta. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Definir a política de retenção zero para a tabela intermediária:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Registos de atividades

Criar tabelas para os logs de atividades

1. Para receber registos do registo de atividade, crie uma tabela chamada ActivityLogs na base de dados TestDatabase . Para criar a tabela, execute a seguinte consulta do Azure Data Explorer:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Crie a tabela de dados intermediária chamada ActivityLogsRawRecords no banco de dados TestDatabase para manipulação de dados:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Definir a política de retenção zero para a tabela intermediária:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Criar mapeamentos de tabela

Como o formato de dados é json, precisa de criar um mapeamento de dados. O json mapeamento liga cada caminho JSON ao nome de uma coluna de tabela. Se um caminho JSON tiver caracteres especiais, escape deles como ['Nome da Propriedade']. Para obter mais informações, consulte Sintaxe JSONPath.

Métricas de diagnóstico / Logs de diagnóstico

Associa métricas de diagnóstico e logs à tabela

Use a seguinte consulta para mapear a métrica de diagnóstico e os dados de registo para a tabela:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Registos de atividades

Associar logs de atividades à tabela

Use a seguinte consulta para mapear os dados do registo de atividade para a tabela:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Criar a política de atualização para dados de métricas e logs

Métricas de diagnóstico

Criar política de atualização de dados para métricas de diagnóstico

1. Crie uma função que expanda a coleção de registos de métricas diagnósticas para que cada valor na coleção tenha uma linha separada. Use o mv-expand operador:

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política executa automaticamente a consulta em quaisquer dados recém-ingeridos na tabela intermédia DiagnosticRawRecords e ingere os seus resultados na tabela DiagnosticMetrics :

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Registos de diagnóstico

Criar política de atualização de dados para logs de diagnóstico

1. Crie uma função que expanda a coleção de registos de logs de diagnóstico para que cada valor na coleção receba uma linha separada. Ativas os registos de ingestão num cluster do Azure Data Explorer e usas o esquema dos registos de ingestão. Cria-se uma tabela para ingestão bem-sucedida e para ingestão falhada, enquanto alguns campos ficam vazios para ingestão bem-sucedida (ErrorCode, por exemplo). Use o mv-expand operador:

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política executa automaticamente a consulta sobre quaisquer dados recém-ingeridos na tabela intermédia DiagnosticRawRecords e integra os seus resultados na tabela DiagnosticLogs :

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Registos de atividades

Criar política de atualização de dados para logs de atividades

1. Crie uma função que expanda a coleção de registos do registo de atividade para que cada valor na coleção receba uma linha separada. Use o mv-expand operador:

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política executa automaticamente a consulta em quaisquer dados recém-ingeridos na tabela intermédia ActivityLogsRawRecords e integra os seus resultados na tabela ActivityLogs :

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar um namespace de Hubs de Eventos do Azure

As configurações de diagnóstico do Azure permitem exportar métricas e logs para uma conta de armazenamento ou para um hub de eventos. Neste tutorial, encaminha as métricas e registos através de um hub de eventos. Cria-se um espaço de nomes de hub de eventos e um hub de eventos para as métricas de diagnóstico e registos nos passos seguintes. O Azure Monitor cria o hub de eventos insights-operational-logs para os registos de atividades.

1. Crie um hub de eventos usando um modelo do Azure Resource Manager no portal do Azure. Para seguir o restante das etapas neste artigo, clique com o botão direito do mouse no botão Implantar no Azure e selecione Abrir em nova janela. O botão Implantar no Azure leva você ao portal do Azure.

   

2. Crie um namespace de Event Hubs e um hub de eventos para os registos de diagnóstico. Aprenda a criar um namespace de Event Hubs.

3. Preencha o formulário com as seguintes informações. Para quaisquer configurações não listadas na tabela a seguir, use os valores padrão.

   Setting	Valor sugerido	Descrição
   Subscription	A sua subscrição	Selecione a assinatura do Azure que você deseja usar para seu hub de eventos.
   Grupo de recursos	test-resource-group	Criar um novo grupo de recursos.
   Localização	Selecione a região que melhor atende às suas necessidades.	Crie o namespace do hub de eventos no mesmo local que outros recursos.
   Nome do namespace	AzureMonitoringData	Escolha um nome exclusivo que identifique o seu espaço de nomes.
   Nome do hub de eventos	Dados de diagnóstico	O hub de eventos fica sob o namespace, que fornece um contêiner de escopo exclusivo.
   Nome do grupo de consumidores	AdxPipeline	Crie um nome de grupo de consumidores. Os grupos de consumidores permitem que múltiplas aplicações consumidoras tenham cada uma uma vista separada do fluxo de eventos.

Conectar métricas e logs do Azure Monitor ao seu hub de eventos

Agora você precisa conectar suas métricas e logs de diagnóstico e seus logs de atividade ao hub de eventos.

Métricas de diagnóstico / Logs de diagnóstico

Conecte métricas e logs de diagnóstico ao seu hub de eventos

Selecione um recurso do qual exportar métricas. Vários tipos de recursos dão suporte à exportação de dados de diagnóstico, incluindo namespace de hubs de eventos, Azure Key Vault, Hub IoT do Azure e clusters do Azure Data Explorer. Neste tutorial, use um cluster de Azure Data Explorer como recurso. Pode analisar as métricas de desempenho das consultas e os registos dos resultados de ingestão.

1. Selecione seu cluster Kusto no portal do Azure.

2. Selecione Configurações de diagnóstico e, em seguida, selecione o link Ativar diagnóstico .

   

3. O painel Configurações de diagnóstico é aberto. Siga os seguintes passos:

   1. Dê aos seus dados de log de diagnóstico o nome ADXExportedData.

   2. Em LOG, selecione as caixas de seleção SucceededIngestion e FailedIngestion.

   3. Em METRIC, selecione a caixa de seleção Desempenho da consulta.

   4. Marque a caixa de seleção Transmitir para um hub de eventos .

   5. Selecione Configurar.

      

4. No painel Selecionar hub de eventos , configure como exportar dados de logs de diagnóstico para o hub de eventos criado:

   1. Na lista Selecionar namespace do hub de eventos , selecione AzureMonitoringData.
   2. Na lista Selecionar nome do hub de eventos , selecione DiagnosticData.
   3. Na lista Selecionar nome da política do hub de eventos , selecione RootManagerSharedAccessKey.
   4. Selecione OK.

5. Selecione Guardar.

Registos de atividades

Conecte os registros de atividades ao seu hub de eventos

1. No menu esquerdo do portal do Azure, selecione Log de atividades.

2. A janela Registro de atividades é aberta. Selecione Configurações de diagnóstico.

   

3. A janela Configurações de diagnóstico é aberta. Selecione + Adicionar configuração de diagnóstico.

   

4. Uma nova janela de configuração de diagnóstico é aberta.

   

   Conclua as seguintes etapas:

   1. Insira um nome no campo Nome da configuração de diagnóstico .
   2. No lado esquerdo das caixas de seleção, selecione os registos de plataforma que pretende recolher a partir de uma subscrição.
   3. Marque a caixa de seleção Transmitir para um hub de eventos .
   4. Selecione a sua subscrição.
   5. Na lista Namespace do hub de eventos , selecione AzureMonitoringData.
   6. Opcionalmente, selecione o nome do hub de eventos.
   7. Na lista Nome da política do hub de eventos , selecione o nome da política do hub de eventos padrão.
   8. No canto superior esquerdo da janela, selecione Guardar. Um hub de eventos com o nome insights-operational-logs é criado, a menos que selecione um nome de hub de eventos.

Veja os dados fluindo para seus hubs de eventos

1. Espere alguns minutos até que a ligação esteja definida e a exportação do registo de atividades para o hub de eventos termine. Vá para o namespace dos hubs de eventos para ver os hubs de eventos que você criou.

   

2. Veja os dados que fluem para o seu hub de eventos:

   

Conectar um hub de eventos ao Azure Data Explorer

Agora, precisa criar as conexões de dados para as suas métricas de diagnóstico, logs e logs de atividade.

Criar a conexão de dados para métricas de diagnóstico, logs e logs de atividades

1. No cluster do Azure Data Explorer chamado kustodocs, selecione Bancos de Dados no menu à esquerda.

2. Na janela Bancos de dados , selecione seu banco de dados TestDatabase .

3. No menu à esquerda, selecione Ingestão de dados.

4. Na janela Ingestão de dados , selecione + Adicionar conexão de dados.

5. Na janela Conexão de dados , insira as seguintes informações:

   

Métricas de diagnóstico / Logs de diagnóstico

1. Use as seguintes configurações na janela Conexão de dados :

   Fonte de dados:

   Setting	Valor sugerido	Descrição do campo
   Nome da conexão de dados	DiagnosticsLogsConnection	O nome da ligação que quer criar no Azure Data Explorer.
   Namespace do hub de eventos	AzureMonitoringData	O nome que escolheu anteriormente para identificar o seu espaço de nomes.
   Hub de eventos	Dados de diagnóstico	O hub de eventos que criou.
   Grupo de consumidores	AdxPipeline	O grupo de consumidores definido no hub de eventos que criou.

   Tabela de destino

   Existem duas opções de roteamento: estático e dinâmico. Para este tutorial, usa o roteamento estático (o padrão), onde especifica o nome da tabela, o formato dos dados e o mapeamento. Deixe Meus dados incluem informações de encaminhamento desmarcado.

   Setting	Valor sugerido	Descrição do campo
   Tabela	DiagnosticRawRecords	A tabela que você criou no banco de dados TestDatabase .
   Formato dos dados	JSON	O formato usado na tabela.
   Mapeamento de colunas	DiagnosticRawRecordsMapping	O mapeamento que criou na base de dados TestDatabase, que associa os dados JSON recebidos aos nomes de coluna e tipos de dados da tabela DiagnosticRawRecords.

2. Selecione Criar.

Registos de atividades

1. Use as seguintes configurações na janela Conexão de dados :

   Fonte de dados:

   Setting	Valor sugerido	Descrição do campo
   Nome da conexão de dados	ActivityLogsConnection	O nome da ligação que quer criar no Azure Data Explorer.
   Namespace do hub de eventos	AzureMonitoringData	O nome que escolheu anteriormente para identificar o seu espaço de nomes.
   Hub de eventos	insights-operacionais-logs	O hub de eventos que criou.
   Grupo de consumidores	$Default	O grupo de consumidores padrão. Se necessário, você pode criar um grupo de consumidores diferente.

   Tabela de destino

   Existem duas opções de roteamento: estático e dinâmico. Para este tutorial, usas o roteamento estático (o padrão), onde especificas o nome da tabela, o formato dos dados e o mapeamento. Deixe Meus dados incluem informações de encaminhamento desmarcado.

   Setting	Valor sugerido	Descrição do campo
   Tabela	ActivityLogsRawRecords	A tabela que você criou no banco de dados TestDatabase .
   Formato dos dados	JSON	O formato usado na tabela.
   Mapeamento de colunas	MapeamentoDeRegistosBrutosDeLogsDeAtividade	O mapeamento que criou na base de dados TestDatabase, que associa os dados JSON recebidos aos nomes de coluna e tipos de dados da tabela ActivityLogsRawRecords.

2. Selecione Criar.

Consultar as novas tabelas

Agora você tem um pipeline com fluxo de dados. A ingestão através do cluster demora cinco minutos por padrão, por isso aguarda alguns minutos antes de começares a fazer consultas.

Métricas de diagnóstico

Consultar a tabela de métricas de diagnóstico

A consulta a seguir analisa os dados de duração da consulta de registros de métricas de diagnóstico no Azure Data Explorer:

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Resultados da consulta:

avg_Average
00:06.156

Registos de diagnóstico

Consultar a tabela de registos de diagnóstico

Este pipeline produz ingestos através de um hub de eventos. Pode analisar os resultados destas ingestões. A seguinte consulta analisa quantas ingestões ocorreram num minuto, incluindo uma amostra de Database, Table, e IngestionSourcePath para cada intervalo.

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Resultados da consulta:

contagem_	qualquer_BaseDeDados	qualquer_Tabela	any_IngestionSourcePath
00:06.156	TestDatabase	DiagnosticRawRecords	https://rtmkstrldkereneus00.blob.core.windows.net/20190827-readyforaggregation/1133_TestDatabase_DiagnosticRawRecords_6cf02098c0c74410bd8017c2d458b45d.json.zip

Registos de atividades

Consultar a tabela de registos de atividade

A consulta a seguir analisa dados de registros de log de atividades no Azure Data Explorer:

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Resultados da consulta:

média(DuraçãoMs)
768.333

Conteúdo relacionado

• Escreva consultas para o Azure Data Explorer.
• Monitorize as operações de ingestão do Azure Data Explorer usando logs de diagnóstico.
• Use métricas para monitorizar a saúde dos clusters.