Mata in data från Azure Stream Analytics till Azure Data Explorer

Viktigt

Den här anslutningsappen kan användas i realtidsanalys i Microsoft Fabric. Följ anvisningarna i den här artikeln med följande undantag:

• Om det behövs skapar du databaser med hjälp av anvisningarna i Skapa en KQL-databas.
• Om det behövs skapar du tabeller med hjälp av anvisningarna i Skapa en tom tabell.
• Hämta URI:er för frågor eller inmatning med hjälp av anvisningarna i Kopiera URI.
• Köra frågor i en KQL-frågeuppsättning.

Azure Data Explorer stöder datainmatning från Azure Stream Analytics. Azure Stream Analytics är en analysmotor i realtid och en komplex motor för händelsebearbetning som är utformad för att bearbeta stora volymer snabbt strömmande data från flera källor samtidigt.

Ett Azure Stream Analytics-jobb består av en indatakälla, en transformeringsfråga och en utdataanslutning. Du kan skapa, redigera och testa Stream Analytics-jobb med hjälp av mallarna Azure Portal, Azure Resource Manager (ARM), Azure PowerShell, .NET API, REST API, Visual Studio och Stream Analytics utan kodredigerare.

I den här artikeln får du lära dig hur du använder ett Stream Analytics-jobb för att samla in data från en händelsehubb och skicka dem till ditt Azure Data Explorer-kluster med hjälp av Azure Portal eller en ARM-mall.

Förutsättningar

• Skapa ett kluster och en databas och en tabell.

• Skapa en händelsehubb med hjälp av följande avsnitt i självstudien om Azure Stream Analytics:

  • Skapa en händelsehubb
  • Bevilja åtkomst till händelsehubben och få en anslutningssträng

  Tips

  För testning rekommenderar vi att du laddar ned händelsegeneratorappen för telefonsamtal från Microsoft Download Center eller hämtar källkoden från GitHub. När du konfigurerar Azure Stream Analytics-jobbet konfigurerar du det så att det hämtar data från händelsehubben och skickar dem till Azure Data Explorer-utdataanslutningsappen.

Skapa en Azure Data Explorer-utdataanslutning

Använd följande steg för att skapa ett Azure Data Explorer-utdata för ett Stream Analytics-jobb med hjälp av Azure Portal eller med hjälp av en ARM-mall. Anslutningen används av Stream Analytics-jobbet för att skicka data till en angiven Azure Data Explorer-tabell. När jobbet har skapats och körs matas data som flödar in i jobbet in i den angivna måltabellen.

Viktigt

• Azure Data Explorer-utdataanslutningsappen stöder endast autentisering med hanterad identitet. Som en del av att skapa anslutningsappen beviljas behörigheter för databasövervakare och databasinstanser till azure Stream Analytics-jobbets hanterade identitet.
• När du konfigurerar Azure Data Explorer-utdataanslutningen anger du målklustret, databasen och tabellnamnet. För att inmatningen ska lyckas måste alla kolumner som definierats i Azure Stream Analytics-frågan matcha kolumnnamnen och typerna i azure Data Explorer-tabellen. Kolumnnamn är skiftlägeskänsliga och kan vara i valfri ordning. Om det finns kolumner i Azure Stream Analytics-frågan som inte mappas till kolumner i Azure Data Explorer-tabellen utlöses ett fel.

Anteckning

• Alla Azure Stream Analytics-indata stöds. Anslutningsappen transformerar indata till CSV-format och importerar sedan data till den angivna Azure Data Explorer-tabellen.
• Azure Data Explorer har en sammansättningsprincip (batchbearbetning) för datainmatning som är utformad för att optimera inmatningsprocessen. Som standard är principen konfigurerad till 5 minuter, 1 000 objekt eller 1 GB data som standard, så det kan uppstå en fördröjning. Information om hur du konfigurerar aggregeringsalternativen finns i batchbearbetningsprincip.

Azure-portalen

Innan du börjar kontrollerar du att du har ett befintligt Stream Analytics-jobb eller skapar ett nytt och använder sedan följande steg för att skapa din Azure-Data Explorer-anslutning.

1. Logga in på Azure-portalen.

2. Från Azure Portal öppnar du Alla resurser och väljer ditt Stream Analytics-jobb.

3. Under Jobbtopologi väljer du Utdata.

4. Välj Lägg till>Azure Data Explorer.

   

5. Fyll i utdataformuläret med hjälp av följande information och välj sedan Spara.

   Anteckning

   Du kan använda följande alternativ för att ange klustret och databasen:

   • Prenumeration: Välj Välj Azure Data Explorer från dina prenumerationer, välj din prenumeration och välj sedan ditt kluster och din databas.
   • Manuellt: Välj Ange Inställningar för Azure Data Explorer manuellt och ange kluster-URI och databas.

   Egenskapsnamn	Description
   Utdataalias	Ett eget namn som används i frågor för att dirigera frågeutdata till den här databasen.
   Prenumeration	Välj den Azure-prenumeration där klustret finns.
   Kluster	Det unika namn som identifierar klustret. Domännamnet [region]. kusto.windows .net läggs till i klusternamnet som du anger. Namnet får bara innehålla gemena bokstäver och siffror. Den måste innehålla mellan 4 och 22 tecken.
   Kluster-URI	URI för datainmatning i klustret. Du kan ange URI för Azure Data Explorer eller Azure Synapse Data Explorer slutpunkter för datainmatning.
   Databas	Namnet på databasen där du skickar dina utdata. Databasnamnet måste vara unikt inom klustret.
   Autentisering	En Microsoft Entra hanterad identitet som gör att klustret enkelt kan komma åt andra Microsoft Entra skyddade resurser. Identiteten hanteras av Azure-plattformen och du behöver inte etablera eller rotera några hemligheter. Med konfiguration av hanterad identitet kan du använda kundhanterade nycklar för klustret.
   Tabell	Namnet på den tabell där du skickar dina utdata. Kolumnnamnen och datatyperna i Azure Stream Analytics-utdata måste matcha schemat för Azure Data Explorer-tabellen.

   

Azure Resource Manager-mall

I följande exempel visas en Azure Resource Manager-mall för att lägga till en Azure Data Explorer-utdataanslutning. Du kan redigera och distribuera mallen i Azure Portal för att skapa anslutningsappen.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Anteckning

När du skapar en Azure Data Explorer-utdataanslutning med hjälp av en ARM-mall, måste behörigheter för jobbhanterad identitet för Streaming Analytics till Azure Data Explorer-databasen beviljas manuellt.

Relaterat innehåll

• Fråga efter data i Azure Data Explorer
• Köra Azure Functions från Azure Stream Analytics-jobb