Erfassen von Daten aus Azure Stream Analytics in Azure Data Explorer

Wichtig

Dieser Connector kann in Echtzeitintelligenz in Microsoft Fabric verwendet werden. Verwenden Sie die Anweisungen in diesem Artikel mit den folgenden Ausnahmen:

• Erstellen Sie bei Bedarf Datenbanken mithilfe der Anweisungen in Erstellen einer KQL-Datenbank.
• Erstellen Sie bei Bedarf Tabellen mithilfe der Anweisungen in Erstellen einer leeren Tabelle.
• Abrufen von Abfrage- oder Erfassungs-URIs mithilfe der Anweisungen in URI kopieren.
• Ausführen von Abfragen in einem KQL-Abfrageset.

Azure Data Explorer unterstützt die Datenerfassung aus Azure Stream Analytics. Azure Stream Analytics ist eine Engine für Echtzeitanalyse und die komplexe Ereignisverarbeitung, die entwickelt wurde, um große Mengen schneller Streamingdaten aus mehreren Quellen gleichzeitig zu verarbeiten.

Ein Azure Stream Analytics-Auftrag besteht aus einer Eingabequelle, einer Transformationsabfrage und einer Ausgabeverbindung. Sie können Stream Analytics-Aufträge über das Azure-Portal sowie mithilfe von ARM-Vorlagen (Azure Resource Manager), Azure PowerShell, .NET-API, REST-API, Visual Studio und Stream Analytics ohne Code-Editor erstellen, bearbeiten und testen.

In diesem Artikel erfahren Sie, wie Sie einen Stream Analytics-Auftrag verwenden, um Daten aus einem Event Hub zu sammeln und mithilfe des Azure-Portals oder einer ARM-Vorlage an Ihren Azure Data Explorer-Cluster zu senden.

Voraussetzungen

• Erstellen Sie einen Cluster und eine Datenbank sowie eine Tabelle.

• Erstellen Sie mithilfe der folgenden Abschnitte des Azure Stream Analytics-Tutorials einen Event Hub:

  • Erstellen eines Event Hubs
  • Gewähren des Zugriffs auf den Event Hub und Abrufen einer Verbindungszeichenfolge

  Tipp

  Zu Testzwecken empfiehlt es sich, die App zum Generieren von Anrufereignissen aus dem Microsoft Download Center herunterzuladen oder den Quellcode auf GitHub abzurufen. Wenn Sie den Azure Stream Analytics-Auftrag einrichten, konfigurieren Sie ihn so, dass Daten aus dem Event Hub abgerufen und an den Azure Data Explorer-Ausgabeconnector übergeben werden.

Erstellen einer Azure Data Explorer-Ausgabeverbindung

Verwenden Sie die folgenden Schritte, um über das Azure-Portal oder mithilfe einer ARM-Vorlage eine Azure Data Explorer-Ausgabe für einen Stream Analytics-Auftrag zu erstellen. Die Verbindung wird vom Stream Analytics-Auftrag verwendet, um Daten an eine angegebene Azure Data Explorer-Tabelle zu senden. Wenn die Verbindung erstellt wurde und der Auftrag ausgeführt wird, werden eingehende Daten des Auftrags in der angegebenen Zieltabelle erfasst.

Wichtig

• Der Azure Data Explorer-Ausgabeconnector unterstützt nur die Authentifizierung mit verwalteter Identität. Im Zuge der Erstellung des Connectors werden der verwalteten Identität des Azure Stream Analytics-Auftrags Berechtigungen vom Typ „Datenbankmonitor“ und „Datenbankerfasser“ erteilt.
• Beim Einrichten des Azure Data Explorer-Ausgabeconnectors geben Sie den Zielcluster, die Datenbank und den Tabellennamen an. Damit die Erfassung erfolgreich ist, müssen alle Spalten, die in der Azure Stream Analytics-Abfrage definiert sind, den Spaltennamen und -typen in der Azure Data Explorer-Tabelle entsprechen. Bei Spaltennamen wird die Groß-/Kleinschreibung beachtet und sie können in beliebiger Reihenfolge vorkommen. Wenn in der Azure Stream Analytics-Abfrage Spalten vorhanden sind, die nicht Spalten in der Azure-Daten-Explorer-Tabelle zugeordnet sind, wird ein Fehler ausgelöst.

Hinweis

• Alle Azure Stream Analytics-Eingaben werden unterstützt. Der Connector transformiert die Eingaben in das CSV-Format und importiert die Daten anschließend in die angegebene Azure Data Explorer-Tabelle.
• Azure Data Explorer verfügt über eine Aggregationsrichtlinie (Batching) für die Datenerfassung, die für die Optimierung des Erfassungsprozesses konzipiert ist. Da die Richtlinie standardmäßig mit fünf Minuten, 1.000 Elementen oder einem Datenvolumen von 1 GB konfiguriert ist, kann es zu Wartezeiten kommen. Informationen zum Konfigurieren der Aggregationsoptionen finden Sie unter Richtlinie für die Batchverarbeitung.

Azure portal

Vergewissern Sie sich zunächst, dass Sie über einen vorhandenen Stream Analytics-Auftrag verfügen, oder erstellen Sie einen neuen Auftrag. Gehen Sie anschließend wie folgt vor, um Ihre Azure Data Explorer-Verbindung zu erstellen:

1. Melden Sie sich beim Azure-Portal an.

2. Öffnen Sie im Azure-Portal Alle Ressourcen, und wählen Sie Ihren Stream Analytics-Auftrag aus.

3. Wählen Sie unter Auftragstopologie die Option Ausgaben aus.

4. Wählen Sie Hinzufügen>Azure Data Explorer aus.

   

5. Füllen Sie das Ausgabeformular mit den folgenden Informationen aus, und wählen Sie anschließend Speichern aus.

   Hinweis

   Für die Angabe Ihres Clusters und Ihrer Datenbank stehen folgende Optionen zur Verfügung:

   • Abonnement: Wählen Sie Azure Data Explorer aus Ihren Abonnements auswählen aus, wählen Sie Ihr Abonnement aus, und wählen Sie dann Ihren Cluster und Ihre Datenbank aus.
   • Manuell: Wählen Sie Azure Data Explorer-Einstellungen manuell angeben aus, und geben Sie den Cluster-URI und die Datenbank an.

   Eigenschaftenname	BESCHREIBUNG
   Ausgabealias	Ein Anzeigename, der in Abfragen verwendet wird, um die Abfrageausgabe an diese Datenbank weiterzuleiten.
   Subscription	Wählen Sie das Azure-Abonnement aus, in dem sich Ihr Cluster befindet.
   Cluster	Der eindeutige Name, der Ihren Cluster identifiziert. Der Domänenname [Region].kusto.windows.net wird an den angegebenen Namen angefügt. Der Name darf nur Kleinbuchstaben und Zahlen enthalten. Er muss zwischen 4 und 22 Zeichen lang sein.
   Cluster URI	Der Datenerfassungs-URI Ihres Clusters. Sie können den URI für den Azure Data Explorer- oder für den Azure Synapse Data Explorer-Datenerfassungsendpunkt angeben.
   Datenbank	Der Name der Datenbank, an die Sie die Ausgabe senden. Der Datenbankname muss innerhalb des Clusters eindeutig sein.
   Authentifizierung	Eine verwaltete Identität von Microsoft Entra, die Ihrem Cluster erlaubt, einfach auf andere durch Microsoft Entra geschützte Ressourcen zuzugreifen. Da die Identität von der Azure-Plattform verwaltet wird, müssen Sie keine Geheimnisse bereitstellen oder rotieren. Die Konfiguration der verwalteten Identität ermöglicht die Verwendung kundenseitig verwalteter Schlüssel für Ihren Cluster.
   Tabelle	Der Name der Tabelle, an die Sie die Ausgabe senden. Die Spaltennamen und Datentypen in der Azure Stream Analytics-Ausgabe müssen mit dem Schema der Azure Data Explorer-Tabelle übereinstimmen.

   

Azure Resource Manager-Vorlage

Das folgende Beispiel zeigt eine Azure Resource Manager-Vorlage zum Hinzufügen eines Azure Data Explorer-Ausgabeconnectors. Sie können die Vorlage über das Azure-Portal bearbeiten und bereitstellen, um Ihren Connector zu erstellen.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Hinweis

Wenn Sie eine Azure Data Explorer-Ausgabeverbindung mit einer ARM-Vorlage erstellen, müssen die Berechtigungen der verwalteten Identität des Streaming Analytics-Auftrags für die Azure Data Explorer-Datenbank manuell erteilt werden.

Zugehöriger Inhalt

• Abfragen von Daten in Azure Data Explorer
• Ausführen von Azure Functions in Azure Stream Analytics-Aufträgen