Pozyskiwanie danych z usługi Azure Stream Analytics do usługi Azure Data Explorer

Ważne

Tego łącznika można używać w analizie czasu rzeczywistego w usłudze Microsoft Fabric. Skorzystaj z instrukcji w tym artykule z następującymi wyjątkami:

• W razie potrzeby utwórz bazy danych, korzystając z instrukcji w temacie Tworzenie bazy danych KQL.
• W razie potrzeby utwórz tabele, korzystając z instrukcji w temacie Tworzenie pustej tabeli.
• Pobierz identyfikatory URI zapytań lub pozyskiwania, korzystając z instrukcji w temacie Copy URI (Kopiowanie identyfikatora URI).
• Uruchamianie zapytań w zestawie zapytań KQL.

Usługa Azure Data Explorer obsługuje pozyskiwanie danych z usługi Azure Stream Analytics. Usługa Azure Stream Analytics to aparat analizy w czasie rzeczywistym i złożony aparat przetwarzania zdarzeń, który jest przeznaczony do przetwarzania dużych ilości szybkich danych przesyłanych strumieniowo z wielu źródeł jednocześnie.

Zadanie usługi Azure Stream Analytics składa się ze źródła wejściowego, zapytania przekształcenia i połączenia wyjściowego. Zadania usługi Stream Analytics można tworzyć, edytować i testować przy użyciu szablonów Azure Portal, szablonów usługi Azure Resource Manager (ARM), Azure PowerShell, interfejsu API .NET, interfejsu API REST, programu Visual Studio i edytora kodu usługi Stream Analytics.

W tym artykule dowiesz się, jak używać zadania usługi Stream Analytics do zbierania danych z centrum zdarzeń i wysyłania ich do klastra usługi Azure Data Explorer przy użyciu Azure Portal lub szablonu usługi ARM.

Wymagania wstępne

• Utwórz klaster i bazę danych oraz tabelę.

• Utwórz centrum zdarzeń, korzystając z następujących sekcji samouczka usługi Azure Stream Analytics:

  • Tworzenie centrum zdarzeń
  • Udzielanie dostępu do centrum zdarzeń i pobieranie parametrów połączenia

  Porada

  Na potrzeby testowania zalecamy pobranie aplikacji generatora zdarzeń połączeń telefonicznych z Centrum pobierania Microsoft lub pobranie kodu źródłowego z usługi GitHub. Podczas konfigurowania zadania usługi Azure Stream Analytics skonfigurujesz je do ściągania danych z centrum zdarzeń i przekazywania ich do łącznika wyjściowego usługi Azure Data Explorer.

Tworzenie połączenia wyjściowego usługi Azure Data Explorer

Wykonaj poniższe kroki, aby utworzyć dane wyjściowe usługi Azure Data Explorer dla zadania usługi Stream Analytics przy użyciu Azure Portal lub szablonu usługi ARM. Połączenie jest używane przez zadanie usługi Stream Analytics do wysyłania danych do określonej tabeli usługi Azure Data Explorer. Po utworzeniu i uruchomieniu zadania dane przesyłane do zadania są pozyskiwane do określonej tabeli docelowej.

Ważne

• Łącznik danych wyjściowych usługi Azure Data Explorer obsługuje tylko uwierzytelnianie tożsamości zarządzanej. W ramach tworzenia łącznika uprawnienia monitora bazy danych i agenta bazy danych są przyznawane tożsamości zarządzanej zadania usługi Azure Stream Analytics.
• Podczas konfigurowania łącznika danych wyjściowych usługi Azure Data Explorer należy określić docelowy klaster, bazę danych i nazwę tabeli. Aby pozyskiwanie powiodło się, wszystkie kolumny zdefiniowane w zapytaniu usługi Azure Stream Analytics muszą być zgodne z nazwami kolumn i typami w tabeli usługi Azure Data Explorer. W nazwach kolumn jest rozróżniana wielkość liter i może być w dowolnej kolejności. Jeśli w zapytaniu usługi Azure Stream Analytics istnieją kolumny, które nie są mapowane na kolumny w tabeli usługi Azure Data Explorer, zostanie zgłoszony błąd.

Uwaga

• Obsługiwane są wszystkie dane wejściowe usługi Azure Stream Analytics . Łącznik przekształca dane wejściowe w format CSV, a następnie importuje dane do określonej tabeli usługi Azure Data Explorer.
• W systemie Azure Data Explorer istnieją zasady agregacji (dzielenie na partie) dotyczące pozyskiwania danych opracowane w celu optymalizacji procesu pozyskiwania. Domyślnie zasady są domyślnie skonfigurowane do 5 minut, 1000 elementów lub 1 GB danych, więc może wystąpić opóźnienie. Aby uzyskać informacje na temat konfigurowania opcji agregacji, zobacz zasady dzielenia na partie.

Witryna Azure Portal

Przed rozpoczęciem upewnij się, że masz istniejące zadanie usługi Stream Analytics lub utwórz nowe, a następnie wykonaj następujące kroki, aby utworzyć połączenie usługi Azure Data Explorer.

1. Zaloguj się w witrynie Azure Portal.

2. W Azure Portal otwórz pozycję Wszystkie zasoby i wybierz zadanie usługi Stream Analytics.

3. W obszarze Topologia zadania wybierz pozycję Dane wyjściowe.

4. Wybierz pozycję Dodaj>Data Explorer platformy Azure.

   

5. Wypełnij formularz wyjściowy przy użyciu poniższych informacji, a następnie wybierz pozycję Zapisz.

   Uwaga

   Aby określić klaster i bazę danych, możesz użyć następujących opcji:

   • Subskrypcja: wybierz pozycję Azure Data Explorer z subskrypcji, wybierz swoją subskrypcję, a następnie wybierz klaster i bazę danych.
   • Ręcznie: wybierz pozycję Podaj ustawienia usługi Azure Data Explorer ręcznie, określ identyfikator URI klastra i bazę danych.

   Nazwa właściwości	Opis
   Alias danych wyjściowych	Przyjazna nazwa używana w zapytaniach do kierowania danych wyjściowych zapytania do tej bazy danych.
   Subskrypcja	Wybierz subskrypcję platformy Azure, w której znajduje się klaster.
   Klaster	Unikatowa nazwa identyfikująca klaster. Do podanej nazwy klastra jest dołączana nazwa domeny [region].kusto.windows.net. Nazwa może zawierać tylko małe litery i cyfry. Musi zawierać od 4 do 22 znaków.
   Identyfikator URI klastra	Identyfikator URI pozyskiwania danych klastra. Możesz określić identyfikator URI dla punktów końcowych pozyskiwania danych usługi Azure Data Explorer lub Azure Synapse Data Explorer.
   baza danych	Nazwa bazy danych, w której są wysyłane dane wyjściowe. Nazwa bazy danych musi być unikatowa w obrębie klastra.
   Authentication	Tożsamość zarządzana Microsoft Entra, która umożliwia klastrowi łatwy dostęp do innych Microsoft Entra chronionych zasobów. Tożsamość jest zarządzana przez platformę Azure i nie wymaga inicjowana obsługi ani rotacji żadnych wpisów tajnych. Konfiguracja tożsamości zarządzanej umożliwia używanie kluczy zarządzanych przez klienta dla klastra.
   Tabela	Nazwa tabeli, w której są wysyłane dane wyjściowe. Nazwy kolumn i typy danych w danych wyjściowych usługi Azure Stream Analytics muszą być zgodne ze schematem tabeli usługi Azure Data Explorer.

   

Szablon usługi Azure Resource Manager

Poniższy przykład przedstawia szablon usługi Azure Resource Manager do dodawania łącznika danych wyjściowych usługi Azure Data Explorer. Aby utworzyć łącznik, możesz edytować i wdrożyć szablon w Azure Portal.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Uwaga

Podczas tworzenia połączenia wyjściowego usługi Azure Data Explorer przy użyciu szablonu usługi ARM należy ręcznie udzielić uprawnień tożsamości zarządzanej zadania analizy przesyłania strumieniowego do bazy danych usługi Azure Data Explorer.

Zawartość pokrewna

• wykonywanie zapytań o dane w usłudze Azure Data Explorer
• Uruchamianie usługi Azure Functions z zadań usługi Azure Stream Analytics