Ingestování dat z Azure Stream Analytics do Azure Data Exploreru

Důležité

Tento konektor se dá použít v sadě Microsoft Fabric v reálném čase. Postupujte podle pokynů v tomto článku s následujícími výjimkami:

• V případě potřeby vytvořte databáze pomocí pokynů v části Vytvoření databáze KQL.
• V případě potřeby vytvořte tabulky podle pokynů v části Vytvoření prázdné tabulky.
• Pomocí pokynů v identifikátoru URI pro kopírování získejte identifikátory URI pro dotazy nebo příjem dat.
• Spouštění dotazů v sadě dotazů KQL

Azure Data Explorer podporuje příjem dat ze služby Azure Stream Analytics. Azure Stream Analytics je analytický modul pro zpracování událostí v reálném čase a složitý modul pro zpracování událostí, který je navržený tak, aby zpracovával velké objemy rychlých streamovaných dat z více zdrojů současně.

Úloha Azure Stream Analytics se skládá ze vstupního zdroje, transformačního dotazu a výstupního připojení. Úlohy Stream Analytics můžete vytvářet, upravovat a testovat pomocí webu Azure Portal, šablon Azure Resource Manageru (ARM), Azure PowerShellu, rozhraní .NET API, ROZHRANÍ REST API, sady Visual Studio a Stream Analytics bez editoru kódu.

V tomto článku se dozvíte, jak pomocí úlohy Stream Analytics shromažďovat data z centra událostí a odesílat je do clusteru Azure Data Exploreru pomocí webu Azure Portal nebo šablony ARM.

Požadavky

• Vytvořte cluster a databázi a tabulku.

• Vytvořte centrum událostí pomocí následujících částí kurzu azure Stream Analytics:

  • Vytvoření centra událostí
  • Udělení přístupu k centru událostí a získání připojovací řetězec

  Tip

  K testování doporučujeme stáhnout aplikaci generátoru událostí telefonního hovoru z webu Microsoft Download Center nebo získat zdrojový kód z GitHubu. Při nastavování úlohy Azure Stream Analytics ji nakonfigurujete tak, aby načítá data z centra událostí a předávala je do výstupního konektoru Azure Data Exploreru.

Vytvoření výstupního připojení Azure Data Exploreru

Pomocí následujících kroků vytvořte výstup Azure Data Exploreru pro úlohu Stream Analytics pomocí webu Azure Portal nebo pomocí šablony ARM. Připojení používá úloha Stream Analytics k odesílání dat do zadané tabulky Azure Data Exploreru. Po vytvoření a spuštění úlohy se data, která do úlohy přetékají, se ingestují do zadané cílové tabulky.

Důležité

• Výstupní konektor Azure Data Exploreru podporuje pouze ověřování spravované identity . Jako součást vytváření konektoru se udělí oprávnění monitorování databáze a ingestoru databáze spravované identitě úlohy Azure Stream Analytics.
• Při nastavování výstupního konektoru Azure Data Exploreru zadáte cílový cluster, databázi a název tabulky. Aby bylo příjem dat úspěšný, musí všechny sloupce definované v dotazu Azure Stream Analytics odpovídat názvům a typům sloupců v tabulce Azure Data Exploreru. V názvech sloupců se rozlišují malá a velká písmena a můžou být v libovolném pořadí. Pokud jsou v dotazu Azure Stream Analytics sloupce, které se nemapují na sloupce v tabulce Azure Data Exploreru, vyvolá se chyba.

Poznámka:

• Podporují se všechny vstupy Azure Stream Analytics . Konektor transformuje vstupy do formátu CSV a pak naimportuje data do zadané tabulky Azure Data Exploreru.
• Azure Data Explorer má zásady agregace (dávkování) pro příjem dat, které jsou navržené tak, aby optimalizovaly proces příjmu dat. Ve výchozím nastavení je zásada nakonfigurovaná na 5 minut, 1000 položek nebo 1 GB dat, takže můžete zaznamenat latenci. Informace o konfiguraci možností agregace najdete v tématu Zásady dávkování.

Azure Portal

Než začnete, ujistěte se, že máte existující úlohu Stream Analytics, nebo vytvořte novou úlohu, a pak pomocí následujících kroků vytvořte připojení Azure Data Exploreru.

1. Přihlaste se k portálu Azure.

2. Na webu Azure Portal otevřete všechny prostředky a vyberte úlohu Stream Analytics.

3. V části Topologie úlohy vyberte Výstupy.

4. Vyberte Přidat>Azure Data Explorer.

   

5. Vyplňte výstupní formulář pomocí následujících informací a pak vyberte Uložit.

   Poznámka:

   K určení clusteru a databáze můžete použít následující možnosti:

   • Předplatné: V předplatných vyberte Azure Data Explorer, vyberte své předplatné a pak zvolte cluster a databázi.
   • Ručně: Vyberte Zadat nastavení Azure Data Exploreru ručně, zadejte identifikátor URI clusteru a databázi.

   Název vlastnosti	Popis
   Alias pro výstup	Popisný název použitý v dotazech pro směrování výstupu dotazu do této databáze.
   Předplatné	Vyberte předplatné Azure, ve kterém se nachází váš cluster.
   Cluster	Jedinečný název, který identifikuje váš cluster. K názvu clusteru, který zadáte, bude připojen název domény [oblast].kusto.windows.net. Název může obsahovat jenom malá písmena a číslice. Musí obsahovat 4 až 22 znaků.
   Identifikátor URI clusteru	Identifikátor URI příjmu dat vašeho clusteru. Můžete zadat identifikátor URI pro koncové body příjmu dat Azure Data Exploreru nebo Azure Synapse Data Exploreru .
   Databáze	Název databáze, do které odesíláte výstup. Název databáze musí být v rámci clusteru jedinečný.
   Ověřování	Spravovaná identita Microsoft Entra, která vašemu clusteru umožňuje snadný přístup k dalším prostředkům chráněným microsoftem Entra. Identitu spravuje platforma Azure a nevyžaduje, abyste zřizovali nebo rotovali tajné kódy. Konfigurace spravované identity umožňuje používat klíče spravované zákazníkem pro váš cluster.
   Table	Název tabulky, do které odesíláte výstup. Názvy sloupců a datové typy ve výstupu Azure Stream Analytics se musí shodovat se schématem tabulky Azure Data Exploreru.

   

Šablona Azure Resource Manageru

Následující příklad ukazuje šablonu Azure Resource Manageru pro přidání výstupního konektoru Azure Data Exploreru. Šablonu můžete upravit a nasadit na webu Azure Portal a vytvořit konektor.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Poznámka:

Při vytváření výstupního připojení Azure Data Exploreru pomocí šablony ARM je potřeba udělit oprávnění spravované identity úlohy Stream Analytics k databázi Azure Data Exploreru ručně.

Související obsah

• Dotazování dat v Azure Data Exploreru
• Spouštění Azure Functions z úloh Azure Stream Analytics