evento
17/03, 23 - 21/03, 23
Junte-se à série meetup para criar soluções de IA escaláveis com base em casos de uso do mundo real com outros desenvolvedores e especialistas.
Registe-se agoraEste browser já não é suportado.
Atualize para o Microsoft Edge para tirar partido das mais recentes funcionalidades, atualizações de segurança e de suporte técnico.
Os Hubs de Eventos do Azure são uma plataforma de streaming de big data que coleta eventos de várias fontes para serem ingeridos pelo Azure e por serviços externos. Este artigo explica como ingerir dados diretamente de um hub de eventos em um espaço de trabalho do Log Analytics.
Neste tutorial, irá aprender a:
Para enviar eventos dos Hubs de Eventos do Azure para os Logs do Azure Monitor, você precisa destes recursos:
Espaço de trabalho do Log Analytics onde você tem pelo menos direitos de colaborador.
Seu espaço de trabalho do Log Analytics precisa estar vinculado a um cluster dedicado ou ter uma camada de compromisso.
Namespace de Hubs de Eventos que permite acesso à rede pública. Se o acesso à rede pública estiver desativado, verifique se "Permitir que serviços confiáveis da Microsoft ignorem este firewall" esteja definido como "Sim".
Hub de eventos com eventos. Você pode enviar eventos para seu hub de eventos seguindo as etapas em Enviar e receber eventos nos tutoriais dos Hubs de Eventos do Azure ou definindo as configurações de diagnóstico dos recursos do Azure.
Atualmente, o Azure Monitor dá suporte à ingestão de Hubs de Eventos nestas regiões:
Américas | Europa | Médio Oriente | África | Ásia-Pacífico |
---|---|---|---|---|
Sul do Brasil | França Central | Norte dos E.A.U. | Norte da África do Sul | Austrália Central |
Brasil Sudeste | Europa do Norte | Leste da Austrália | ||
Canadá Central | Leste da Noruega | Austrália Sudeste | ||
Leste do Canadá | Norte da Suíça | Índia Central | ||
E.U.A. Leste | Oeste da Suíça | Ásia Leste | ||
E.U.A. Leste 2 | Sul do Reino Unido | Leste do Japão | ||
E.U.A. Centro-Sul | Oeste do Reino Unido | Jio, Oeste da Índia | ||
E.U.A. Oeste | Europa Ocidental | Coreia do Sul Central | ||
EUA Oeste 3 | Sudeste Asiático |
Você precisa criar sua Associação de Regra de Coleta de Dados (DCRA) na mesma região que o Hub de Eventos. O espaço de trabalho do Log Analytics pode estar em qualquer região, mas a Regra de Coleta de Dados (DCR) e o Ponto de Extremidade de Coleta de Dados (DCE) devem estar na mesma região que o espaço de trabalho do Log Analytics.
Para latência mínima, recomendamos colocar todos os recursos na mesma região.
Você precisa de sua ID de assinatura, nome do grupo de recursos, nome do espaço de trabalho, ID do recurso do espaço de trabalho e ID do recurso da instância do hub de eventos nas etapas subsequentes:
Navegue até o espaço de trabalho no menu Espaços de trabalho do Log Analytics e selecione Propriedades e copie sua ID de assinatura, grupo de recursos e nome do espaço de trabalho. Você precisará desses detalhes para criar recursos neste tutorial.
Selecione JSON para abrir a tela JSON de recurso e copiar a ID do recurso do espaço de trabalho. Você precisará da ID do recurso do espaço de trabalho para criar uma regra de coleta de dados.
Navegue até a instância do hub de eventos, selecione JSON para abrir a tela JSON de recursos e copie a ID de recurso da instância do hub de eventos. Você precisará do ID de recurso da instância do hub de eventos para associar a regra de coleta de dados ao hub de eventos.
Antes de poder ingerir dados, você precisa configurar uma tabela de destino. Você pode ingerir dados em tabelas personalizadas e tabelas do Azure com suporte.
Para criar uma tabela personalizada na qual ingerir eventos, no portal do Azure:
Selecione o botão Cloud Shell e verifique se o ambiente está definido como PowerShell.
Execute este comando do PowerShell para criar a tabela, fornecendo o nome da tabela (<table_name>
) no JSON (que também com sufixo _CL no caso de tabela personalizada) e definindo os <subscription_id>
valores Invoke-AzRestMethod -Path
, <resource_group_name>
, <workspace_name>
e <table_name>
no comando:
$tableParams = @'
{
"properties": {
"schema": {
"name": "<table_name>",
"columns": [
{
"name": "TimeGenerated",
"type": "datetime",
"description": "The time at which the data was ingested."
},
{
"name": "RawData",
"type": "string",
"description": "Body of the event."
},
{
"name": "Properties",
"type": "dynamic",
"description": "Additional message properties."
}
]
}
}
}
'@
Invoke-AzRestMethod -Path "/subscriptions/<subscription_id>/resourcegroups/<resource_group_name>/providers/microsoft.operationalinsights/workspaces/<workspace_name>/tables/<table_name>?api-version=2021-12-01-preview" -Method PUT -payload $tableParams
Importante
_
)._ResourceId
, id
, , _ResourceId
, _SubscriptionId
, Type
TenantId
, , UniqueId
e Title
são nomes de colunas reservados.Para coletar dados com uma regra de coleta de dados, você precisa de um ponto de extremidade de coleta de dados:
Crie um ponto de extremidade de coleta de dados.
Importante
Crie o ponto de extremidade de coleta de dados na mesma região do espaço de trabalho do Log Analytics.
Na tela Visão geral do ponto de extremidade de coleta de dados, selecione Exibição JSON.
Copie a ID do recurso para a regra de coleta de dados. Você usará essas informações na próxima etapa.
O Azure Monitor usa regras de coleta de dados para definir quais dados coletar, como transformar esses dados e para onde enviá-los.
Para criar uma regra de coleta de dados no portal do Azure:
Na caixa de pesquisa do portal, digite modelo e selecione Implantar um modelo personalizado.
Selecione Crie o seu próprio modelo no editor.
Cole o modelo do Gerenciador de Recursos abaixo no editor e selecione Salvar.
Observe os seguintes detalhes na regra de coleta de dados abaixo:
identity
- Define qual tipo de identidade gerenciada usar. Em nosso exemplo, usamos a identidade atribuída ao sistema. Você também pode configurar a identidade gerenciada atribuída pelo usuário.
dataCollectionEndpointId
- ID do recurso do ponto final de coleta de dados.
streamDeclarations
- Define quais dados ingerir do hub de eventos (dados recebidos). A declaração de fluxo não pode ser modificada.
TimeGenerated
- A hora em que os dados foram ingeridos do hub de eventos para os Logs do Azure Monitor.RawData
- Corpo do evento. Para obter mais informações, consulte Ler eventos.Properties
- Propriedades do usuário do evento. Para obter mais informações, consulte Ler eventos.datasources
- Especifica o grupo de consumidores do hub de eventos e o fluxo para o qual você ingere os dados.
destinations
- Especifica todos os destinos para onde os dados serão enviados. Você pode ingerir dados em um ou mais espaços de trabalho do Log Analytics.
dataFlows
- Faz a correspondência entre o fluxo e o espaço de trabalho de destino e especifica a consulta de transformação e a tabela de destino. Em nosso exemplo, ingerimos dados para a tabela personalizada que criamos anteriormente. Você também pode ingerir em uma tabela do Azure com suporte.
transformKql
- Especifica uma transformação a ser aplicada aos dados de entrada (declaração de fluxo) antes de serem enviados para o espaço de trabalho. Em nosso exemplo, definimos transformKql
como source
, que não modifica os dados da fonte de forma alguma, porque estamos mapeando dados de entrada para uma tabela personalizada que criamos especificamente com o esquema correspondente. Se você estiver ingerindo dados em uma tabela com um esquema diferente ou para filtrar dados antes da ingestão, defina uma transformação de coleta de dados.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"dataCollectionRuleName": {
"type": "string",
"metadata": {
"description": "Specifies the name of the data collection Rule to create."
}
},
"workspaceResourceId": {
"type": "string",
"metadata": {
"description": "Specifies the Azure resource ID of the Log Analytics workspace to use."
}
},
"endpointResourceId": {
"type": "string",
"metadata": {
"description": "Specifies the Azure resource ID of the data collection endpoint to use."
}
},
"tableName": {
"type": "string",
"metadata": {
"description": "Specifies the name of the table in the workspace."
}
},
"consumerGroup": {
"type": "string",
"metadata": {
"description": "Specifies the consumer group of event hub."
},
"defaultValue": "$Default"
}
},
"resources": [
{
"type": "Microsoft.Insights/dataCollectionRules",
"name": "[parameters('dataCollectionRuleName')]",
"location": "[resourceGroup().location]",
"apiVersion": "2022-06-01",
"identity": {
"type": "systemAssigned"
},
"properties": {
"dataCollectionEndpointId": "[parameters('endpointResourceId')]",
"streamDeclarations": {
"Custom-MyEventHubStream": {
"columns": [
{
"name": "TimeGenerated",
"type": "datetime"
},
{
"name": "RawData",
"type": "string"
},
{
"name": "Properties",
"type": "dynamic"
}
]
}
},
"dataSources": {
"dataImports": {
"eventHub": {
"consumerGroup": "[parameters('consumerGroup')]",
"stream": "Custom-MyEventHubStream",
"name": "myEventHubDataSource1"
}
}
},
"destinations": {
"logAnalytics": [
{
"workspaceResourceId": "[parameters('workspaceResourceId')]",
"name": "MyDestination"
}
]
},
"dataFlows": [
{
"streams": [
"Custom-MyEventHubStream"
],
"destinations": [
"MyDestination"
],
"transformKql": "source",
"outputStream": "[concat('Custom-', parameters('tableName'))]"
}
]
}
}
]
}
Na tela Implantação personalizada, especifique um grupo Assinatura e Recursos para armazenar a regra de coleta de dados e forneça valores para os parâmetros definidos no modelo, incluindo:
Syslog
- sem o sufixo.$Default
. Se necessário, altere o valor para um grupo de consumidores de hub de eventos diferente.Selecione Rever + criar e, em seguida, Criar quando rever os detalhes.
Quando a implantação estiver concluída, expanda a caixa Detalhes da implantação e selecione sua regra de coleta de dados para exibir seus detalhes. Selecione Visualização JSON.
Copie a ID do recurso para a regra de coleta de dados. Você usará essas informações na próxima etapa.
Para configurar sua regra de coleta de dados para dar suporte à identidade atribuída pelo usuário, no exemplo acima, substitua:
"identity": {
"type": "systemAssigned"
},
Por:
"identity": {
"type": "userAssigned",
"userAssignedIdentities": {
"<identity_resource_Id>": {
}
}
},
Para localizar o <identity_resource_Id>
valor, navegue até o recurso de identidade gerenciada atribuído pelo usuário no portal do Azure, selecione JSON para abrir a tela JSON de recurso e copie a ID de recurso da identidade gerenciada.
Para ingerir dados em uma tabela do Azure com suporte:
Na regra de recolha de dados, altere outputStream
:
De: "outputStream": "[concat('Custom-', parameters('tableName'))]"
Para: "outputStream": "outputStream": "[concat(Microsoft-', parameters('tableName'))]"
No transformKql
, defina uma transformação que envie os dados ingeridos para as colunas de destino na tabela do Azure de destino.
Com a identidade gerenciada, você pode conceder a qualquer hub de eventos, ou namespace de Hubs de Eventos, permissão para enviar eventos para a regra de coleta de dados e o ponto de extremidade de coleta de dados que você criou. Quando você concede as permissões para o namespace Hubs de Eventos, todos os hubs de eventos dentro do namespace herdam as permissões.
No hub de eventos ou namespace de Hubs de Eventos no portal do Azure, selecione Controle de Acesso (IAM)>Adicionar atribuição de função.
Selecione Recetor de Dados dos Hubs de Eventos do Azure e selecione Avançar.
Selecione Identidade gerenciada para Atribuir acesso a e clique em Selecionar membros. Selecione Regra de coleta de dados, pesquise sua regra de coleta de dados por nome e clique em Selecionar.
Selecione Rever + atribuir e verifique os detalhes antes de guardar a sua atribuição de função.
A etapa final é associar a regra de coleta de dados ao hub de eventos do qual você deseja coletar eventos.
Você pode associar uma única regra de coleta de dados a vários hubs de eventos que compartilham o mesmo grupo de consumidores e ingerem dados para o mesmo fluxo. Como alternativa, você pode associar uma regra de coleta de dados exclusiva a cada hub de eventos.
Importante
Você deve associar pelo menos uma regra de coleta de dados ao hub de eventos para ingerir dados de um hub de eventos. Ao excluir todas as associações de regras de coleta de dados relacionadas ao hub de eventos, você interromperá a ingestão de dados do hub de eventos.
Para criar uma associação de regra de coleta de dados no portal do Azure:
Na caixa de pesquisa do portal do Azure, digite modelo e selecione Implantar um modelo personalizado.
Selecione Crie o seu próprio modelo no editor.
Cole o modelo do Gerenciador de Recursos abaixo no editor e selecione Salvar.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"eventHubResourceID": {
"type": "string",
"metadata": {
"description": "Specifies the Azure resource ID of the event hub to use."
}
},
"associationName": {
"type": "string",
"metadata": {
"description": "The name of the association."
}
},
"dataCollectionRuleID": {
"type": "string",
"metadata": {
"description": "The resource ID of the data collection rule."
}
}
},
"resources": [
{
"type": "Microsoft.Insights/dataCollectionRuleAssociations",
"apiVersion": "2021-09-01-preview",
"scope": "[parameters('eventHubResourceId')]",
"name": "[parameters('associationName')]",
"properties": {
"description": "Association of data collection rule. Deleting this association will break the data collection for this event hub.",
"dataCollectionRuleId": "[parameters('dataCollectionRuleId')]"
}
}
]
}
Na tela Implantação personalizada, especifique um grupo Assinatura e Recursos para armazenar a associação da regra de coleta de dados e, em seguida, forneça valores para os parâmetros definidos no modelo, incluindo:
Selecione Rever + criar e, em seguida, Criar quando rever os detalhes.
Os Logs do Monitor do Azure ingerem todos os eventos existentes no Hub de Eventos no momento da criação do DCRA, desde que seu período de retenção não tenha expirado, e todos os novos eventos.
Para verificar a tabela de destino para eventos ingeridos:
Navegue até o espaço de trabalho e selecione Logs.
Escreva uma consulta simples no editor de consultas e selecione Executar:
<table_name>
Você deve ver os eventos do seu hub de eventos.
Neste tutorial, você criou os seguintes recursos:
Avalie se você ainda precisa desses recursos. Exclua os recursos de que não precisa individualmente ou exclua todos esses recursos de uma só vez excluindo o grupo de recursos. Os recursos que você deixa funcionando podem custar dinheiro.
Para parar de ingerir dados do hub de eventos, exclua todas as associações de regras de coleta de dados relacionadas ao hub de eventos ou exclua as próprias regras de coleta de dados. Essas ações também redefinem o ponto de verificação do hub de eventos.
Saiba mais sobre:
evento
17/03, 23 - 21/03, 23
Junte-se à série meetup para criar soluções de IA escaláveis com base em casos de uso do mundo real com outros desenvolvedores e especialistas.
Registe-se agoraFormação
Módulo
Ativar as mensagens fiáveis para aplicações de Macrodados com os Hubs de Eventos do Azure - Training
Aprenda a utilizar os Hubs de Eventos do Azure para processar de forma fiável os fluxos de dados de alto volume, permitindo-lhe programar aplicações para enviar e receber mensagens através do hub.
Certificação
Microsoft Certified: Azure Data Engineer Associate - Certifications
Demonstre a compreensão das tarefas comuns de engenharia de dados para implementar e gerenciar cargas de trabalho de engenharia de dados no Microsoft Azure, usando vários serviços do Azure.