Gegevens van Azure Stream Analytics opnemen in Azure Data Explorer

Belangrijk

Deze connector kan worden gebruikt in realtime analyses in Microsoft Fabric. Gebruik de instructies in dit artikel met de volgende uitzonderingen:

• Maak indien nodig databases aan de hand van de instructies in Een KQL-database maken.
• Maak indien nodig tabellen aan de hand van de instructies in Een lege tabel maken.
• Haal query- of opname-URI's op met behulp van de instructies in URI kopiëren.
• Query's uitvoeren in een KQL-queryset.

Azure Data Explorer biedt ondersteuning voor gegevensopname vanuit Azure Stream Analytics. Azure Stream Analytics is een engine voor realtime analyse en complexe gebeurtenisverwerking die is ontworpen om grote hoeveelheden snelle streaminggegevens uit meerdere bronnen tegelijk te verwerken.

Een Azure Stream Analytics-taak bestaat uit een invoerbron, een transformatiequery en een uitvoerverbinding. U kunt Stream Analytics-taken maken, bewerken en testen met behulp van de Azure Portal, Arm-sjablonen (Azure Resource Manager), Azure PowerShell, .NET API, REST API, Visual Studio en de Stream Analytics-editor zonder code.

In dit artikel leert u hoe u een Stream Analytics-taak gebruikt om gegevens van een Event Hub te verzamelen en deze naar uw Azure Data Explorer-cluster te verzenden met behulp van de Azure Portal of een ARM-sjabloon.

Vereisten

• Maak een cluster en database en een tabel.

• Maak een Event Hub met behulp van de volgende secties van de azure Stream Analytics-zelfstudie:

  • Een Event Hub maken
  • Toegang verlenen tot de event hub en een verbindingsreeks ophalen

  Tip

  Voor het testen raden we u aan de app voor het genereren van telefoongesprekken te downloaden van het Microsoft Downloadcentrum of de broncode op te halen uit GitHub. Wanneer u de Azure Stream Analytics-taak instelt, configureert u deze om gegevens op te halen uit de Event Hub en door te geven aan de Azure Data Explorer-uitvoerconnector.

Een Azure Data Explorer-uitvoerverbinding maken

Gebruik de volgende stappen om een Azure Data Explorer-uitvoer te maken voor een Stream Analytics-taak met behulp van de Azure Portal of met behulp van een ARM-sjabloon. De verbinding wordt door de Stream Analytics-taak gebruikt om gegevens te verzenden naar een opgegeven Azure Data Explorer-tabel. Zodra de taak is gemaakt en wordt uitgevoerd, worden de gegevens die in de taak worden doorgestroomd, opgenomen in de opgegeven doeltabel.

Belangrijk

• De Azure Data Explorer-uitvoerconnector biedt alleen ondersteuning voor verificatie van beheerde identiteiten. Als onderdeel van het maken van de connector worden machtigingen voor databasebewaking en database-ingestor verleend aan de door de Azure Stream Analytics-taak beheerde identiteit.
• Wanneer u de Azure Data Explorer-uitvoerconnector instelt, geeft u de naam van het doelcluster, de database en de tabel op. Voor een geslaagde opname moeten alle kolommen die zijn gedefinieerd in de Azure Stream Analytics-query overeenkomen met de kolomnamen en typen in de Tabel Azure Data Explorer. Kolomnamen zijn hoofdlettergevoelig en kunnen in elke volgorde staan. Als er kolommen in de Azure Stream Analytics-query zijn die niet zijn toegewezen aan kolommen in de Azure Data Explorer-tabel, treedt er een fout op.

Notitie

• Alle Azure Stream Analytics-invoer wordt ondersteund. De connector transformeert de invoer in CSV-indeling en importeert de gegevens vervolgens in de opgegeven Azure Data Explorer-tabel.
• Azure Data Explorer heeft een aggregatiebeleid (batchverwerking) voor gegevensopname, dat is ontworpen om de gegevensopname te optimaliseren. Het beleid is standaard geconfigureerd op 5 minuten, 1000 items of 1 GB aan gegevens, zodat u mogelijk een latentie ondervindt. Zie Batchbeleid voor meer informatie over het configureren van de aggregatieopties.

Azure-portal

Voordat u begint, controleert u of u een bestaande Stream Analytics-taak hebt of maakt u een nieuwe en gebruikt u de volgende stappen om uw Azure Data Explorer-verbinding te maken.

1. Meld u aan bij de Azure-portal.

2. Open in de Azure Portal Alle resources en selecteer uw Stream Analytics-taak.

3. Selecteer onder Taaktopologie de optie Uitvoer.

4. SelecteerAzure Data Explorertoevoegen>.

   

5. Vul het uitvoerformulier in met behulp van de volgende gegevens en selecteer opslaan.

   Notitie

   U kunt de volgende opties gebruiken om uw cluster en database op te geven:

   • Abonnement: selecteer Azure-Data Explorer selecteren in uw abonnementen, selecteer uw abonnement en kies vervolgens uw cluster en database.
   • Handmatig: selecteer Azure Data Explorer-instellingen handmatig opgeven en geef de cluster-URI en database op.

   Naam van eigenschap	Description
   Uitvoeralias	Een beschrijvende naam die in query's wordt gebruikt om de query-uitvoer naar deze database te leiden.
   Abonnement	Selecteer het Azure-abonnement waarin uw cluster zich bevindt.
   Cluster	De unieke naam die uw cluster identificeert. De domeinnaam [regio].kusto.windows.net wordt toegevoegd aan de clusternaam die u opgeeft. De naam mag alleen kleine letters en cijfers bevatten. Het moet 4 tot 22 tekens bevatten.
   Cluster-URI	De gegevensopname-URI van uw cluster. U kunt de URI opgeven voor de Azure Data Explorer of Azure Synapse Data Explorer eindpunten voor gegevensopname.
   Database	De naam van de database waarnaar u de uitvoer verzendt. De databasenaam moet uniek zijn binnen het cluster.
   Verificatie	Een Microsoft Entra beheerde identiteit waarmee uw cluster eenvoudig toegang heeft tot andere Microsoft Entra beveiligde resources. De identiteit wordt beheerd door het Azure-platform en u hoeft geen geheimen in te richten of te laten rouleren. Met de configuratie van beheerde identiteiten kunt u door de klant beheerde sleutels voor uw cluster gebruiken.
   Tabel	De naam van de tabel waarin u de uitvoer verzendt. De kolomnamen en gegevenstypen in de Azure Stream Analytics-uitvoer moeten overeenkomen met het schema van de Azure Data Explorer-tabel.

   

Azure Resource Manager-sjabloon

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een Azure Data Explorer-uitvoerconnector. U kunt de sjabloon bewerken en implementeren in de Azure Portal om de connector te maken.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Notitie

Wanneer u een Azure Data Explorer-uitvoerverbinding maakt met behulp van een ARM-sjabloon, moeten de machtigingen voor beheerde identiteiten van de Streaming Analytics-taak voor de Azure Data Explorer-database handmatig worden verleend.

Gerelateerde inhoud

• Query's uitvoeren op gegevens in Azure Data Explorer
• Azure Functions uitvoeren vanuit Azure Stream Analytics-taken