Een Event Hubs-gegevensverbinding maken voor Azure Data Explorer

Azure Data Explorer biedt opname vanuit Event Hubs, een platform voor het streamen van big data en een service voor gebeurtenisopname. Event Hubs kan miljoenen gebeurtenissen per seconde in bijna realtime verwerken.

In dit artikel maakt u verbinding met een Event Hub en neemt u gegevens op in Azure Data Explorer. Zie Azure Event Hubs gegevensverbinding voor een overzicht van opname vanuit Event Hubs.

Zie Een Event Hubs-gegevensverbinding maken met SDK's voor meer informatie over het maken van de verbinding met behulp van de Kusto-SDK's.

Zie het gearchiveerde artikel voor codevoorbeelden op basis van eerdere SDK-versies.

Een Event Hub-gegevensverbinding maken

In deze sectie brengt u een verbinding tot stand tussen de Event Hub en uw Azure Data Explorer-tabel. Zolang deze verbinding aanwezig is, worden gegevens vanuit de Event Hub verzonden naar de doeltabel. Als de Event Hub wordt verplaatst naar een andere resource of een ander abonnement, moet u de verbinding bijwerken of opnieuw maken.

Gegevens ophalen

Vereisten

• Een Microsoft-account of een Microsoft Entra gebruikersidentiteit. Er is geen Azure-abonnement vereist.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
• Streamingopname moet worden geconfigureerd in uw Azure Data Explorer-cluster.

Gegevens ophalen

1. Selecteer Query in het linkermenu.

2. Klik met de rechtermuisknop op de database waarin u de gegevens wilt opnemen. Selecteer Gegevens ophalen.

   

Bron

In het venster Gegevens ophalen is het tabblad Bron geselecteerd.

Selecteer de gegevensbron in de lijst met beschikbare gegevens. In dit voorbeeld neemt u gegevens op uit Event Hubs.

Configureren

1. Selecteer een doeldatabase en -tabel. Als u gegevens wilt opnemen in een nieuwe tabel, selecteert u + Nieuwe tabel en voert u een tabelnaam in.

   Notitie

   Tabelnamen kunnen maximaal 1024 tekens bevatten, inclusief spaties, alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens. Speciale tekens worden niet ondersteund.

   

2. Vul de volgende velden in:

   Instelling	Beschrijving van veld
   Abonnement	De abonnements-id waar de Event Hub-resource zich bevindt.
   Event hub-naamruimte	De naam die uw naamruimte identificeert.
   Event Hub	De Event Hub die u wilt gebruiken
   Consumentengroep	De consumentengroep die is gedefinieerd in uw gebeurtenis
   Naam van gegevensverbinding	De naam die uw gegevensverbinding identificeert.
   Geavanceerde filters
   Compressie	Het compressietype van de nettolading van event hub-berichten.
   Eigenschappen van gebeurtenissysteem	De systeemeigenschappen van de Event Hub. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste. Wanneer u systeemeigenschappen toevoegt, maakt of werkt u het tabelschema en de toewijzing bij om de geselecteerde eigenschappen op te nemen.
   Begindatum van het ophalen van gebeurtenissen	De gegevensverbinding haalt bestaande Event Hubs-gebeurtenissen op die zijn gemaakt na de begindatum van het ophalen van de gebeurtenis. Alleen gebeurtenissen die worden bewaard door de retentieperiode van Event Hubs kunnen worden opgehaald. Als de begindatum voor het ophalen van gebeurtenissen niet is opgegeven, is de standaardtijd het tijdstip waarop de gegevensverbinding wordt gemaakt.

3. Selecteer Volgende

Inspecteren

Het tabblad Inspecteren wordt geopend met een voorbeeld van de gegevens.

Selecteer Voltooien om het opnameproces te voltooien.

Optioneel:

• Als de gegevens die u in het voorbeeldvenster ziet, niet volledig zijn, hebt u mogelijk meer gegevens nodig om een tabel met alle benodigde gegevensvelden te maken. Gebruik de volgende opdrachten om nieuwe gegevens op te halen uit uw Event Hub:

  • Nieuwe gegevens verwijderen en ophalen: hiermee verwijdert u de gepresenteerde gegevens en zoekt u naar nieuwe gebeurtenissen.

  • Meer gegevens ophalen: zoekt naar meer gebeurtenissen naast de gebeurtenissen die al zijn gevonden.

    Notitie

    Als u een voorbeeld van uw gegevens wilt zien, moet uw Event Hub gebeurtenissen verzenden.

• Selecteer Opdrachtviewer om de automatische opdrachten weer te geven en te kopiëren die zijn gegenereerd op basis van uw invoer.

• Gebruik de vervolgkeuzelijst Schemadefinitiebestand om het bestand te wijzigen waaruit het schema wordt afgeleid.

• Wijzig de automatisch afgeleide gegevensindeling door de gewenste indeling te selecteren in de vervolgkeuzelijst. Zie Gegevensindelingen die worden ondersteund door Azure Data Explorer voor opname.

• Kolommen bewerken.

• Geavanceerde opties verkennen op basis van gegevenstype.

Kolommen bewerken

Notitie

• Voor tabellaire indelingen (CSV, TSV, PSV) kunt u een kolom niet tweemaal toewijzen. Als u wilt toewijzen aan een bestaande kolom, verwijdert u eerst de nieuwe kolom.
• U kunt een bestaand kolomtype niet wijzigen. Als u probeert toe te wijzen aan een kolom met een andere indeling, kunt u lege kolommen krijgen.

De wijzigingen die u in een tabel kunt aanbrengen, zijn afhankelijk van de volgende parameters:

• Tabeltype is nieuw of bestaand
• Toewijzingstype is nieuw of bestaand

Tabletype	Toewijzingstype	Beschikbare aanpassingen
Nieuwe tabel	Nieuwe toewijzing	Kolomnaam wijzigen, gegevenstype wijzigen, gegevensbron wijzigen, toewijzingstransformatie, kolom toevoegen, kolom verwijderen
Bestaande tabel	Nieuwe toewijzing	Kolom toevoegen (waarop u vervolgens het gegevenstype kunt wijzigen, de naam kunt wijzigen en bijwerken)
Bestaande tabel	Bestaande toewijzing	geen

Toewijzingstransformaties

Sommige toewijzingen van gegevensindelingen (Parquet, JSON en Avro) ondersteunen eenvoudige opnametijdtransformaties. Als u toewijzingstransformaties wilt toepassen, maakt of werkt u een kolom bij in het venster Kolommen bewerken .

Toewijzingstransformaties kunnen worden uitgevoerd op een kolom van het type tekenreeks of datum/tijd, waarbij de bron het gegevenstype int of long heeft. Ondersteunde toewijzingstransformaties zijn:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Geavanceerde opties op basis van gegevenstype

Tabellair (CSV, TSV, PSV):

• Als u tabelindelingen in een bestaande tabel opneemt, kunt u Geavanceerd>Huidig tabelschema behouden selecteren. Tabellaire gegevens bevatten niet noodzakelijkerwijs de kolomnamen die worden gebruikt om brongegevens toe te wijzen aan de bestaande kolommen. Wanneer deze optie is ingeschakeld, wordt de toewijzing op volgorde uitgevoerd en blijft het tabelschema hetzelfde. Als deze optie is uitgeschakeld, worden nieuwe kolommen gemaakt voor binnenkomende gegevens, ongeacht de gegevensstructuur.

• Als u de eerste rij als kolomnamen wilt gebruiken, selecteert u Geavanceerd>Eerste rij is kolomkop.

  

JSON:

• Als u de kolomverdeling van JSON-gegevens wilt bepalen, selecteert u Geavanceerde>geneste niveaus, tussen 1 en 100.

• Als u Geavanceerd>Fouten in gegevensindeling negeren selecteert, worden de gegevens opgenomen in JSON-indeling. Als u dit selectievakje uitgeschakeld laat, worden de gegevens opgenomen in multijson-indeling.

  

Samenvatting

In het venster Gegevensvoorbereiding worden alle drie de stappen gemarkeerd met groene vinkjes wanneer de gegevensopname is voltooid. U kunt de opdrachten bekijken die voor elke stap zijn gebruikt of een kaart selecteren om de opgenomen gegevens op te vragen, te visualiseren of te verwijderen.

Portal - Azure Data Explorer-pagina

Vereisten

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
• Een doeltabel. Maak een tabel of gebruik een bestaande tabel.
• Een opnametoewijzing voor de tabel.
• Een Event Hub met gegevens voor opname.

Gegevens ophalen

1. Ga in de Azure Portal naar uw cluster en selecteer Databases. Selecteer vervolgens de database die uw doeltabel bevat.

   

2. Selecteer Gegevensopname in het linkermenu. Selecteer vervolgens gegevensverbinding toevoegen in de bovenste balk.

3. Vul het formulier in met de volgende gegevens en selecteer vervolgens Maken.

   Instelling	Voorgestelde waarde	Beschrijving van veld
   Naam van gegevensverbinding	test-hub-connection	De naam van de verbinding die u wilt maken in Azure Data Explorer.
   Abonnement		De abonnements-id waar de Event Hub-resource zich bevindt.
   Event hub-naamruimte	Een unieke naam voor de naamruimte	De naam die u eerder hebt gekozen om de naamruimte te identificeren.
   Event Hub	test-hub	De Event Hub die u hebt gemaakt.
   Consumentengroep	test-group	De consumentengroep die u hebt gedefinieerd in de gemaakte Event Hub.
   Eigenschappen van gebeurtenissysteem	Relevante eigenschappen selecteren	De systeemeigenschappen van de Event Hub. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste record. Wanneer u systeemeigenschappen toevoegt, maakt of werkt u het tabelschema en de toewijzing bij om de geselecteerde eigenschappen op te nemen.
   Compressie	Geen	Het compressietype van de nettolading van event hub-berichten. Ondersteunde compressietypen: Geen, Gzip.
   Beheerde identiteit (aanbevolen)	Door het systeem toegewezen	De beheerde identiteit die door het Data Explorer-cluster wordt gebruikt voor toegang om te lezen vanuit de Event Hub. U wordt aangeraden beheerde identiteiten te gebruiken om de toegang tot uw Event Hub te beheren. Opmerking: Wanneer de gegevensverbinding wordt gemaakt: * Door het systeem toegewezen identiteiten worden automatisch gemaakt als ze niet bestaan * Aan de beheerde identiteit wordt automatisch de rol Azure Event Hubs Gegevensontvanger toegewezen en toegevoegd aan uw Data Explorer cluster. U wordt aangeraden te controleren of de rol is toegewezen en of de identiteit is toegevoegd aan het cluster.

   Notitie

   Als u een bestaande gegevensverbinding hebt die geen beheerde identiteiten gebruikt, raden we u aan deze bij te werken voor het gebruik van beheerde identiteiten.

Portal - Azure Event Hubs pagina

Vereisten

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
• Een doeltabel. Maak een tabel of gebruik een bestaande tabel.
• Een opnametoewijzing voor de tabel.
• Een Event Hub met gegevens voor opname.

Gegevens ophalen

1. Blader in de Azure Portal naar uw Event Hubs-exemplaar.

2. Selecteer in het menu Functies de optie Gegevens analyseren met Kusto.

3. Selecteer Start om de wizard voor opname te openen naar Azure Data Explorer.

   

   Notitie

   • U moet ten minste machtigingen voor databasegebruiker hebben.
   • Zie Een beheerd privé-eindpunt maken als u toegang wilt inschakelen tussen een cluster en een opslagaccount zonder openbare toegang.
   • Het cluster en de Event Hub moeten zijn gekoppeld aan dezelfde tenants. Zo niet, dan gebruikt u een van de SDK-opties, zoals C# of Python.

4. Het deelvenster Gegevens opnemen wordt geopend met het tabblad Doel geselecteerd. Selecteer de velden Cluster en Database in de vervolgkeuzelijsten. Zorg ervoor dat u een cluster selecteert dat wordt uitgevoerd. Anders kunt u Database niet selecteren en doorgaan met het opnameproces.

5. Selecteer onder Tabelde optie Nieuwe tabel en voer een naam in voor de nieuwe tabel. U kunt ook een bestaande tabel gebruiken.

6. Selecteer Volgende: Bron.

7. Onder Brontype worden het Event Hub-type en de details automatisch ingevuld op basis van het Event Hubs-exemplaar waarmee u bent begonnen.

8. Vul onder Gegevensverbinding de volgende velden in en selecteer Volgende: Schema.

   Instelling	Voorgestelde waarde	Beschrijving van veld
   Abonnement		De abonnements-id waar de Event Hub-resource zich bevindt.
   Event hub-naamruimte		De naam die uw naamruimte identificeert.
   Event Hub		De Event Hub die u wilt gebruiken.
   Naam van gegevensverbinding	TestDataConnection	De naam die uw gegevensverbinding identificeert.
   Consumentengroep		De consumentengroep die is gedefinieerd in uw Event Hub.
   Compressie		Het compressietype van de nettolading van event hub-berichten.
   Eigenschappen van gebeurtenissysteem	Relevante eigenschappen selecteren	De systeemeigenschappen van de Event Hub. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste. Wanneer u systeemeigenschappen toevoegt, maakt of werkt u het tabelschema en de toewijzing bij om de geselecteerde eigenschappen op te nemen.
   Begindatum van het ophalen van gebeurtenissen	Coordinated Universal Time (UTC)	De gegevensverbinding haalt bestaande Event Hubs-gebeurtenissen op die zijn gemaakt na de begindatum van het ophalen van de gebeurtenis. Alleen gebeurtenissen die worden bewaard door de retentieperiode van Event Hubs kunnen worden opgehaald. Als de begindatum voor het ophalen van gebeurtenissen niet is opgegeven, is de standaardtijd het tijdstip waarop de gegevensverbinding wordt gemaakt.

9. Als streaming is ingeschakeld voor het cluster, kunt u Streamingopname selecteren. Als streaming niet is ingeschakeld voor het cluster, stelt u de latentie gegevensbatch in. Voor Event Hubs is de aanbevolen batchtijd 30 seconden.

   

10. Selecteer de gegevensindeling. Voor gegevens in CSV-indeling negeert u de eerste record om de koprij van het bestand te negeren. Voor gegevens in JSON-indeling selecteert u Gegevensindelingsfouten negeren om de gegevens op te nemen in JSON-indeling of laat u de optie uitgeschakeld om de gegevens op te nemen in multijson-indeling. Selecteer de geneste niveaus om de gegevensdeling van de tabelkolom te bepalen.

11. Als de gegevens die u in het voorbeeldvenster ziet, niet volledig zijn, hebt u mogelijk meer gegevens nodig om een tabel met alle benodigde gegevensvelden te maken. Gebruik de volgende opdrachten om nieuwe gegevens op te halen uit uw Event Hub:

    • Nieuwe gegevens verwijderen en ophalen: verwijdert de gepresenteerde gegevens en zoekt naar nieuwe gebeurtenissen.
    • Meer gegevens ophalen: zoekt naar meer gebeurtenissen naast de gebeurtenissen die al zijn gevonden.

    Notitie

    Als u een voorbeeld van uw gegevens wilt zien, moet uw Event Hub gebeurtenissen verzenden.

12. Selecteer Volgende: Samenvatting.

13. In het tot stand gebrachte venster Continue opname van Event Hub worden alle stappen gemarkeerd met groene vinkjes wanneer de instelling is voltooid.

ARM-sjabloon

Vereisten

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
• Een doeltabel. Maak een tabel of gebruik een bestaande tabel.
• Een opnametoewijzing voor de tabel.
• Een Event Hub met gegevens voor opname.

ARM-sjabloon

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een Event Hubs-gegevensverbinding. U kunt de sjabloon bewerken en implementeren in de Azure Portal met behulp van het formulier.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Een Event Hub-gegevensverbinding verwijderen

Gegevens ophalen

Verwijder de gegevensverbinding via de Azure Portal zoals uitgelegd op het tabblad Portal.

Portal

Ga als volgt te werk om de Event Hub-verbinding uit de Azure Portal te verwijderen:

1. Ga naar uw cluster. Selecteer Databases in het linkermenu. Selecteer vervolgens de database die de doeltabel bevat.
2. Selecteer Gegevensverbindingen in het linkermenu. Schakel vervolgens het selectievakje naast de relevante event hub-gegevensverbinding in.
3. Selecteer Verwijderen in de bovenste menubalk.

Gerelateerde inhoud

• Controleer de verbinding met de Voorbeeldberichten-app van Event Hub
• Query's uitvoeren op gegevens in de webgebruikersinterface