Tutorial: Ingerir eventos dos Hubs de Eventos do Azure nos Logs do Azure Monitor (Visualização Pública)

  • Artigo

Os Hubs de Eventos do Azure são uma plataforma de streaming de big data que coleta eventos de várias fontes para serem ingeridos pelo Azure e por serviços externos. Este artigo explica como ingerir dados diretamente de um hub de eventos em um espaço de trabalho do Log Analytics.

Neste tutorial, irá aprender a:

  • Criar uma tabela de destino para dados do hub de eventos no espaço de trabalho do Log Analytics
  • Criar um ponto de extremidade de coleta de dados
  • Criar uma regra de coleta de dados
  • Conceder permissões à regra de coleta de dados para o hub de eventos
  • Associar a regra de coleta de dados ao hub de eventos

Pré-requisitos

Para enviar eventos dos Hubs de Eventos do Azure para os Logs do Azure Monitor, você precisa destes recursos, todos na mesma região:

Regiões suportadas

Atualmente, o Azure Monitor dá suporte à ingestão de Hubs de Eventos nestas regiões:

Américas Europa Médio Oriente África Ásia-Pacífico
Sul do Brasil França Central Norte dos E.A.U. Norte da África do Sul Austrália Central
Brasil Sudeste Europa do Norte Leste da Austrália
Canadá Central Leste da Noruega Austrália Sudeste
Leste do Canadá Norte da Suíça Índia Central
E.U.A. Leste Oeste da Suíça Ásia Leste
E.U.A. Leste 2 Sul do Reino Unido Leste do Japão
E.U.A. Centro-Sul Oeste do Reino Unido Jio, Oeste da Índia
E.U.A. Oeste Europa Ocidental Coreia do Sul Central
EUA Oeste 3 Sudeste Asiático

Recolher as informações necessárias

Você precisa de sua ID de assinatura, nome do grupo de recursos, nome do espaço de trabalho, ID do recurso do espaço de trabalho e ID do recurso da instância do hub de eventos nas etapas subsequentes:

  1. Navegue até o espaço de trabalho no menu Espaços de trabalho do Log Analytics e selecione Propriedades e copie sua ID de assinatura, grupo de recursos e nome do espaço de trabalho. Você precisará desses detalhes para criar recursos neste tutorial.

    Screenshot showing Log Analytics workspace overview screen with subscription ID, resource group name, and workspace name highlighted.

  2. Selecione JSON para abrir a tela JSON de recurso e copiar a ID do recurso do espaço de trabalho. Você precisará da ID do recurso do espaço de trabalho para criar uma regra de coleta de dados.

    Screenshot showing the Resource JSON screen with the workspace resource ID highlighted.

  3. Navegue até a instância do hub de eventos, selecione JSON para abrir a tela JSON de recursos e copie a ID de recurso da instância do hub de eventos. Você precisará do ID de recurso da instância do hub de eventos para associar a regra de coleta de dados ao hub de eventos.

    Screenshot showing the Resource JSON screen with the event hub resource ID highlighted.

Criar uma tabela de destino no espaço de trabalho do Log Analytics

Antes de poder ingerir dados, você precisa configurar uma tabela de destino. Você pode ingerir dados em tabelas personalizadas e tabelas do Azure com suporte.

Para criar uma tabela personalizada na qual ingerir eventos, no portal do Azure:

  1. Selecione o botão Cloud Shell e verifique se o ambiente está definido como PowerShell.

    Screenshot showing how to open Cloud Shell.

  2. Execute este comando do PowerShell para criar a tabela, fornecendo o nome da tabela () no JSON (<table_name>que também com sufixo _CL no caso de tabela personalizada) e definindo os <subscription_id>valores Invoke-AzRestMethod -Path , <resource_group_name>, <workspace_name>e <table_name> no comando:

    $tableParams = @'
{
    "properties": {
        "schema": {
            "name": "<table_name>",
            "columns": [
                {
                    "name": "TimeGenerated",
                    "type": "datetime",
                    "description": "The time at which the data was ingested."
                },
                {
                    "name": "RawData",
                    "type": "string",
                    "description": "Body of the event."
                },
                {
                    "name": "Properties",
                    "type": "dynamic",
                    "description": "Additional message properties."
                }
            ]
        }
    }
}
'@

Invoke-AzRestMethod -Path "/subscriptions/<subscription_id>/resourcegroups/<resource_group_name>/providers/microsoft.operationalinsights/workspaces/<workspace_name>/tables/<table_name>?api-version=2021-12-01-preview" -Method PUT -payload $tableParams

Importante

  • Os nomes das colunas devem começar com uma letra e podem consistir em até 45 caracteres alfanuméricos e sublinhados (_).
  • _ResourceId, , , , , , id_ResourceId, TypeUniqueId_SubscriptionIdTenantIde Title são nomes de colunas reservados.
  • Os nomes das colunas diferenciam maiúsculas de minúsculas. Certifique-se de usar o caso correto em sua regra de coleta de dados.

Criar um ponto de extremidade de coleta de dados

Para coletar dados com uma regra de coleta de dados, você precisa de um ponto de extremidade de coleta de dados:

  1. Crie um ponto de extremidade de coleta de dados.

    Importante

    Crie o ponto de extremidade de coleta de dados na mesma região do espaço de trabalho do Log Analytics.

  2. Na tela Visão geral do ponto de extremidade de coleta de dados, selecione Exibição JSON.

    Screenshot that shows the data collection endpoint Overview screen.

  3. Copie a ID do recurso para a regra de coleta de dados. Você usará essas informações na próxima etapa.

    Screenshot that shows the data collection endpoint JSON view.

Criar uma regra de coleta de dados

O Azure Monitor usa regras de coleta de dados para definir quais dados coletar, como transformar esses dados e para onde enviá-los.

Para criar uma regra de coleta de dados no portal do Azure:

  1. Na caixa de pesquisa do portal, digite modelo e selecione Implantar um modelo personalizado.

    Screenshot to deploy custom template.

  2. Selecione Crie o seu próprio modelo no editor.

    Screenshot to build template in the editor.

  3. Cole o modelo do Gerenciador de Recursos abaixo no editor e selecione Salvar.

    Screenshot to edit Resource Manager template.

    Observe os seguintes detalhes na regra de coleta de dados abaixo:

    • identity- Define qual tipo de identidade gerenciada usar. Em nosso exemplo, usamos a identidade atribuída ao sistema. Você também pode configurar a identidade gerenciada atribuída pelo usuário.

    • dataCollectionEndpointId - ID do recurso do ponto final de coleta de dados.

    • streamDeclarations - Define quais dados ingerir do hub de eventos (dados recebidos). A declaração de fluxo não pode ser modificada.

      • TimeGenerated - A hora em que os dados foram ingeridos do hub de eventos para os Logs do Azure Monitor.
      • RawData - Corpo do evento. Para obter mais informações, consulte Ler eventos.
      • Properties - Propriedades do usuário do evento. Para obter mais informações, consulte Ler eventos.

    • datasources- Especifica o grupo de consumidores do hub de eventos e o fluxo para o qual você ingere os dados.

    • destinations - Especifica todos os destinos para onde os dados serão enviados. Você pode ingerir dados em um ou mais espaços de trabalho do Log Analytics.

    • dataFlows - Faz a correspondência entre o fluxo e o espaço de trabalho de destino e especifica a consulta de transformação e a tabela de destino. Em nosso exemplo, ingerimos dados para a tabela personalizada que criamos anteriormente. Você também pode ingerir em uma tabela do Azure com suporte.

    • transformKql - Especifica uma transformação a ser aplicada aos dados de entrada (declaração de fluxo) antes de serem enviados para o espaço de trabalho. Em nosso exemplo, definimos transformKql como source, que não modifica os dados da fonte de forma alguma, porque estamos mapeando dados de entrada para uma tabela personalizada que criamos especificamente com o esquema correspondente. Se você estiver ingerindo dados em uma tabela com um esquema diferente ou para filtrar dados antes da ingestão, defina uma transformação de coleta de dados.

    {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
                "description": "Specifies the name of the data collection Rule to create."
            }
        },
        "workspaceResourceId": {
            "type": "string",
            "metadata": {
                "description": "Specifies the Azure resource ID of the Log Analytics workspace to use."
            }
        },
        "endpointResourceId": {
            "type": "string",
            "metadata": {
                "description": "Specifies the Azure resource ID of the data collection endpoint to use."
            }
        },
        "tableName": {
            "type": "string",
            "metadata": {
                "description": "Specifies the name of the table in the workspace."
            }
        },
        "consumerGroup": {
            "type": "string",
            "metadata": {
                "description": "Specifies the consumer group of event hub."
            },
            "defaultValue": "$Default"
        }
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[resourceGroup().location]", 
            "apiVersion": "2022-06-01",
            "identity": {
                             "type": "systemAssigned"
              },
            "properties": {
                "dataCollectionEndpointId": "[parameters('endpointResourceId')]",
                "streamDeclarations": {
                    "Custom-MyEventHubStream": {
                        "columns": [
                {
                    "name": "TimeGenerated",
                    "type": "datetime"
                },
                {
                    "name": "RawData",
                    "type": "string"
                },
                {
                    "name": "Properties",
                    "type": "dynamic"
                }
            ]
                    }
                },
                "dataSources": {
                    "dataImports": {
                         "eventHub": {
                                    "consumerGroup": "[parameters('consumerGroup')]",
                                    "stream": "Custom-MyEventHubStream",
                                    "name": "myEventHubDataSource1"
                                                          }
                                           }
               },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "[parameters('workspaceResourceId')]",
                            "name": "MyDestination"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-MyEventHubStream"
                        ],
                        "destinations": [
                            "MyDestination"
                        ],
                        "transformKql": "source",
                        "outputStream": "[concat('Custom-', parameters('tableName'))]"
                    }
                ]
            }
        }
    ]
}

  4. Na tela Implantação personalizada, especifique um grupo Assinatura e Recursos para armazenar a regra de coleta de dados e forneça valores para os parâmetros definidos no modelo, incluindo:

    • Região - Região para a regra de recolha de dados. Preenchido automaticamente com base no grupo de recursos selecionado.
    • Nome da Regra de Recolha de Dados - Dê um nome à regra.
    • ID do recurso do espaço de trabalho - Consulte Coletar informações necessárias.
    • ID do recurso do ponto de extremidade - Gerado quando você cria o ponto de extremidade de coleta de dados.
    • Nome da tabela - O nome da tabela de destino. Em nosso exemplo, e sempre que você usar uma tabela personalizada, o nome da tabela deve terminar com o sufixo _CL. Se você estiver ingerindo dados em uma tabela do Azure, insira o nome da tabela - por exemplo, Syslog - sem o sufixo.
    • Grupo de consumidores - Por padrão, o grupo de consumidores está definido como $Default. Se necessário, altere o valor para um grupo de consumidores de hub de eventos diferente.

    Screenshot showing the Custom Template Deployment screen with the deployment values for the data collection rule set up in this tutorial.

  5. Selecione Rever + criar e, em seguida, Criar quando rever os detalhes.

  6. Quando a implantação estiver concluída, expanda a caixa Detalhes da implantação e selecione sua regra de coleta de dados para exibir seus detalhes. Selecione Visualização JSON.

    Screenshot that shows the Data Collection Rule Overview screen.

  7. Copie a ID do recurso para a regra de coleta de dados. Você usará essas informações na próxima etapa.

    Screenshot that shows the data collection rule JSON view.

Configurar identidade gerenciada atribuída pelo usuário (opcional)

Para configurar sua regra de coleta de dados para dar suporte à identidade atribuída pelo usuário, no exemplo acima, substitua:

    "identity": {
                        "type": "systemAssigned"
        },

Por:

    "identity": {
            "type": "userAssigned",
            "userAssignedIdentities": {
                "<identity_resource_Id>": {
                }
            }
        },

Para localizar o valor, navegue até o <identity_resource_Id> recurso de identidade gerenciada atribuído pelo usuário no portal do Azure, selecione JSON para abrir a tela JSON de recurso e copie a ID de recurso da identidade gerenciada.

Screenshot showing Resource JSON screen with the managed identity resource ID highlighted.

Ingerir dados de log em uma tabela do Azure (opcional)

Para ingerir dados em uma tabela do Azure com suporte:

  1. Na regra de recolha de dados, altere outputStream:

    De: "outputStream": "[concat('Custom-', parameters('tableName'))]"

    Para: "outputStream": "outputStream": "[concat(Microsoft-', parameters('tableName'))]"

  2. No transformKql, defina uma transformação que envie os dados ingeridos para as colunas de destino na tabela do Azure de destino.

Conceder permissão ao hub de eventos para a regra de coleta de dados

Com a identidade gerenciada, você pode conceder a qualquer hub de eventos, ou namespace de Hubs de Eventos, permissão para enviar eventos para a regra de coleta de dados e o ponto de extremidade de coleta de dados que você criou. Quando você concede as permissões para o namespace Hubs de Eventos, todos os hubs de eventos dentro do namespace herdam as permissões.

  1. No hub de eventos ou namespace de Hubs de Eventos no portal do Azure, selecione Controle de Acesso (IAM)>Adicionar atribuição de função.

    Screenshot that shows the Access control screen for the data collection rule.

  2. Selecione Recetor de Dados dos Hubs de Eventos do Azure e selecione Avançar.

    Screenshot that shows the Add Role Assignment screen for the event hub with the Azure Event Hubs Data Receiver role highlighted.

  3. Selecione Identidade gerenciada para Atribuir acesso a e clique em Selecionar membros. Selecione Regra de coleta de dados, pesquise sua regra de coleta de dados por nome e clique em Selecionar.

    Screenshot that shows how to assign access to managed identity.

  4. Selecione Rever + atribuir e verifique os detalhes antes de guardar a sua atribuição de função.

    Screenshot that shows the Review and Assign tab of the Add Role Assignment screen.

Associar a regra de coleta de dados ao hub de eventos

A etapa final é associar a regra de coleta de dados ao hub de eventos do qual você deseja coletar eventos.

Você pode associar uma única regra de coleta de dados a vários hubs de eventos que compartilham o mesmo grupo de consumidores e ingerem dados para o mesmo fluxo. Como alternativa, você pode associar uma regra de coleta de dados exclusiva a cada hub de eventos.

Importante

Você deve associar pelo menos uma regra de coleta de dados ao hub de eventos para ingerir dados de um hub de eventos. Ao excluir todas as associações de regras de coleta de dados relacionadas ao hub de eventos, você interromperá a ingestão de dados do hub de eventos.

Para criar uma associação de regra de coleta de dados no portal do Azure:

  1. Na caixa de pesquisa do portal do Azure, digite modelo e selecione Implantar um modelo personalizado.

  2. Selecione Crie o seu próprio modelo no editor.

  3. Cole o modelo do Gerenciador de Recursos abaixo no editor e selecione Salvar.

    {
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "eventHubResourceID": {
      "type": "string",
      "metadata": {
        "description": "Specifies the Azure resource ID of the event hub to use."
      }
    },
    "associationName": {
      "type": "string",
      "metadata": {
        "description": "The name of the association."
      }
    },
    "dataCollectionRuleID": {
      "type": "string",
      "metadata": {
        "description": "The resource ID of the data collection rule."
      }
    }
  },
  "resources": [
    {
      "type": "Microsoft.Insights/dataCollectionRuleAssociations",
      "apiVersion": "2021-09-01-preview",
      "scope": "[parameters('eventHubResourceId')]",
      "name": "[parameters('associationName')]",
      "properties": {
        "description": "Association of data collection rule. Deleting this association will break the data collection for this event hub.",
        "dataCollectionRuleId": "[parameters('dataCollectionRuleId')]"
      }
    }
  ]
}

  4. Na tela Implantação personalizada, especifique um grupo Assinatura e Recursos para armazenar a associação da regra de coleta de dados e, em seguida, forneça valores para os parâmetros definidos no modelo, incluindo:

    • Região - Preenchida automaticamente com base no grupo de recursos selecionado.
    • ID do recurso da instância do Hub de Eventos - Consulte Coletar informações necessárias.
    • Nome da associação - Dê um nome à associação.
    • ID da Regra de Coleta de Dados - Gerada quando você cria a regra de coleta de dados.

    Screenshot showing the Custom Template Deployment screen with the deployment values for the data collection rule association set up in this tutorial.

  5. Selecione Rever + criar e, em seguida, Criar quando rever os detalhes.

Verifique a sua tabela de destino para eventos ingeridos

Agora que você associou a regra de coleta de dados ao seu hub de eventos, os Logs do Azure Monitor ingerirão todos os eventos existentes cujo período de retenção não expirou e todos os novos eventos.

Para verificar a tabela de destino para eventos ingeridos:

  1. Navegue até o espaço de trabalho e selecione Logs.

  2. Escreva uma consulta simples no editor de consultas e selecione Executar:

    <table_name>

    Você deve ver os eventos do seu hub de eventos.

Screenshot showing the results of a simple query on a custom table. The results consist of events ingested from an event hub.

Clean up resources (Limpar recursos)

Neste tutorial, você criou os seguintes recursos:

  • Tabela personalizada
  • Ponto final de recolha de dados
  • Regra de recolha de dados
  • Associação de regras de coleta de dados

Avalie se você ainda precisa desses recursos. Exclua os recursos de que não precisa individualmente ou exclua todos esses recursos de uma só vez excluindo o grupo de recursos. Os recursos que você deixa funcionando podem custar dinheiro.

Para parar de ingerir dados do hub de eventos, exclua todas as associações de regras de coleta de dados relacionadas ao hub de eventos ou exclua as próprias regras de coleta de dados. Essas ações também redefinem o ponto de verificação do hub de eventos.

Problemas e limitações conhecidos

Próximos passos

Saiba mais sobre: