Ingerir dados do Azure Stream Analytics para o Azure Data Explorer

Importante

Este conector pode ser utilizado na Análise em Tempo Real no Microsoft Fabric. Utilize as instruções neste artigo com as seguintes exceções:

• Se necessário, crie bases de dados com as instruções em Criar uma base de dados KQL.
• Se necessário, crie tabelas com as instruções em Criar uma tabela vazia.
• Obtenha URIs de consulta ou ingestão com as instruções em Copiar URI.
• Execute consultas num conjunto de consultas KQL.

O Azure Data Explorer suporta a ingestão de dados do Azure Stream Analytics. O Azure Stream Analytics é uma análise em tempo real e um motor complexo de processamento de eventos que foi concebido para processar volumes elevados de dados de transmissão em fluxo rápida de várias origens em simultâneo.

Uma tarefa do Azure Stream Analytics consiste numa origem de entrada, numa consulta de transformação e numa ligação de saída. Pode criar, editar e testar tarefas do Stream Analytics com o portal do Azure, modelos do Azure Resource Manager (ARM), Azure PowerShell, API .NET, API REST, Visual Studio e editor de código do Stream Analytics.

Neste artigo, irá aprender a utilizar uma tarefa do Stream Analytics para recolher dados de um hub de eventos e enviá-lo para o cluster do Azure Data Explorer com o portal do Azure ou um modelo do ARM.

Pré-requisitos

• Crie um cluster, uma base de dados e uma tabela.

• Crie um hub de eventos com as secções seguintes do tutorial do Azure Stream Analytics:

  • Criar um hub de eventos
  • Conceder acesso ao hub de eventos e obter uma cadeia de ligação

  Dica

  Para testes, recomendamos que transfira a aplicação geradora de eventos de chamada telefónica a partir do Centro de Transferências da Microsoft ou obtenha o código fonte a partir do GitHub. Ao configurar a tarefa do Azure Stream Analytics, irá configurá-la para extrair dados do hub de eventos e passá-la para o conector de saída do Azure Data Explorer.

Criar uma ligação de saída do Azure Data Explorer

Utilize os seguintes passos para criar uma saída do Azure Data Explorer para uma tarefa do Stream Analytics com o portal do Azure ou com um modelo do ARM. A ligação é utilizada pela tarefa do Stream Analytics para enviar dados para uma tabela de Data Explorer do Azure especificada. Depois de criada e a tarefa estar em execução, os dados que fluem para a tarefa são ingeridos na tabela de destino especificada.

Importante

• O conector de saída do Azure Data Explorer só suporta a autenticação de Identidade Gerida. Como parte da criação do conector, as permissões do monitor de base de dados e do ingestor de bases de dados são concedidas à identidade gerida da tarefa do Azure Stream Analytics.
• Ao configurar o conector de saída Data Explorer do Azure, especifique o cluster de destino, a base de dados e o nome da tabela. Para que a ingestão seja bem-sucedida, todas as colunas definidas na consulta do Azure Stream Analytics têm de corresponder aos nomes e tipos de coluna na tabela Data Explorer do Azure. Os nomes das colunas são sensíveis às maiúsculas e minúsculas e podem estar em qualquer ordem. Se existirem colunas na consulta do Azure Stream Analytics que não mapeiam colunas na tabela Data Explorer do Azure, é gerado um erro.

Nota

• Todas as entradas do Azure Stream Analytics são suportadas. O conector transforma as entradas no formato CSV e, em seguida, importa os dados para a tabela de Data Explorer do Azure especificada.
• O Azure Data Explorer tem uma política de agregação (batching) para ingestão de dados, concebida para otimizar o processo de ingestão. Por predefinição, a política está configurada para 5 minutos, 1000 itens ou 1 GB de dados por predefinição, pelo que poderá ter uma latência. Para obter informações sobre como configurar as opções de agregação, veja Política de criação de lotes.

Portal do Azure

Antes de começar, certifique-se de que tem uma tarefa existente do Stream Analytics ou crie uma nova e, em seguida, utilize os seguintes passos para criar a ligação Data Explorer do Azure.

1. Inicie sessão no portal do Azure.

2. No portal do Azure, abra Todos os recursos e selecione a tarefa do Stream Analytics.

3. Em Topologia da tarefa, selecione as Saídas.

4. Selecione Adicionar>Data Explorer do Azure.

   

5. Preencha o formulário de saída com as seguintes informações e, em seguida, selecione Guardar.

   Nota

   Pode utilizar as seguintes opções para especificar o cluster e a base de dados:

   • Subscrição: selecione Selecionar Data Explorer do Azure nas suas subscrições, selecione a sua subscrição e, em seguida, selecione o cluster e a base de dados.
   • Manualmente: selecione Fornecer definições de Data Explorer do Azure manualmente, especifique o URI e a base de dados do cluster.

   Nome da propriedade	Description
   Alias de saída	Um nome amigável utilizado nas consultas para direcionar a saída da consulta para esta base de dados.
   Subscrição	Selecione a subscrição do Azure onde reside o cluster.
   Cluster	O nome exclusivo que identifica o cluster. O nome de domínio [região].kusto.windows.net é anexado ao nome de cluster que indicar. O nome pode conter apenas letras minúsculas e números. Tem de conter entre 4 e 22 carateres.
   Cluster URI	O URI de ingestão de dados do cluster. Pode especificar o URI para o Data Explorer do Azure ou Azure Synapse Data Explorer pontos finais de ingestão de dados.
   Base de Dados	O nome da base de dados para onde está a enviar a sua saída. O nome da base de dados tem de ser exclusivo dentro do cluster.
   Autenticação	Uma identidade gerida Microsoft Entra que permite ao cluster aceder facilmente a outros recursos protegidos Microsoft Entra. A identidade é gerida pela plataforma do Azure e não precisa que o utilizador aprovisione ou rode nenhuns segredos. A configuração de identidade gerida permite-lhe utilizar chaves geridas pelo cliente para o cluster.
   Tabela	O nome da tabela para onde está a enviar a sua saída. Os nomes das colunas e os tipos de dados na saída do Azure Stream Analytics têm de corresponder ao esquema da tabela Data Explorer do Azure.

   

Modelo Azure Resource Manager

O exemplo seguinte mostra um modelo de Resource Manager do Azure para adicionar um conector de saída do Azure Data Explorer. Pode editar e implementar o modelo no portal do Azure para criar o conector.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Nota

Ao criar uma ligação de saída do Azure Data Explorer com um modelo arm, as permissões de identidade gerida da tarefa do Streaming Analytics para a base de dados do Azure Data Explorer têm de ser concedidas manualmente.

Conteúdo relacionado

• Consultar dados no Azure Data Explorer
• Executar Funções do Azure a partir de tarefas do Azure Stream Analytics