Tworzenie połączenia danych usługi Event Hubs dla usługi Azure Data Explorer

Usługa Azure Data Explorer oferuje pozyskiwanie z usługi Event Hubs, platformy przesyłania strumieniowego danych big data i usługi pozyskiwania zdarzeń. Usługa Event Hubs może przetwarzać miliony zdarzeń na sekundę niemal w czasie rzeczywistym.

W tym artykule nawiążesz połączenie z centrum zdarzeń i pozyskujesz dane z usługą Azure Data Explorer. Aby zapoznać się z omówieniem pozyskiwania z usługi Event Hubs, zobacz Azure Event Hubs połączenie danych.

Aby dowiedzieć się, jak utworzyć połączenie przy użyciu zestawów SDK usługi Kusto, zobacz Tworzenie połączenia danych usługi Event Hubs z zestawami SDK.

Przykłady kodu oparte na poprzednich wersjach zestawu SDK można znaleźć w zarchiwizowanym artykule.

Tworzenie połączenia danych centrum zdarzeń

W tej sekcji ustanowisz połączenie między centrum zdarzeń a tabelą usługi Azure Data Explorer. O ile to połączenie jest na miejscu, dane są przesyłane z centrum zdarzeń do tabeli docelowej. Jeśli centrum zdarzeń zostanie przeniesione do innego zasobu lub subskrypcji, musisz zaktualizować lub ponownie utworzyć połączenie.

Pobieranie danych

Wymagania wstępne

• Konto Microsoft lub tożsamość użytkownika Microsoft Entra. Subskrypcja platformy Azure nie jest wymagana.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Pozyskiwanie przesyłania strumieniowego musi być skonfigurowane w klastrze usługi Azure Data Explorer.

Pobieranie danych

1. W menu po lewej stronie wybierz pozycję Zapytanie.

2. Kliknij prawym przyciskiem myszy bazę danych, w której chcesz pozyskać dane. Wybierz pozycję Pobierz dane.

   

Source

W oknie Pobieranie danych wybrana jest karta Źródło .

Wybierz źródło danych z listy dostępnych. W tym przykładzie dane są pozyskiwane z usługi Event Hubs.

Konfigurowanie

1. Wybierz docelową bazę danych i tabelę. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję + Nowa tabela i wprowadź nazwę tabeli.

   Uwaga

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

   

2. Wypełnij następujące pola:

   Ustawienie	Opis pola
   Subskrypcja	Identyfikator subskrypcji, w której znajduje się zasób centrum zdarzeń.
   Przestrzeń nazw centrum zdarzeń	Nazwa identyfikująca przestrzeń nazw.
   Centrum zdarzeń	Centrum zdarzeń, które chcesz
   Grupa konsumentów	Grupa odbiorców zdefiniowana w zdarzeniu
   Nazwa połączenia danych	Nazwa identyfikująca połączenie danych.
   Filtry zaawansowane
   Kompresja	Typ kompresji ładunku komunikatów centrum zdarzeń.
   Właściwości systemu zdarzeń	Właściwości systemu centrum zdarzeń. Jeśli istnieje wiele rekordów na komunikat zdarzenia, właściwości systemowe są dodawane do pierwszego. Podczas dodawania właściwości systemowych utwórz lub zaktualizuj schemat tabeli i mapowanie , aby uwzględnić wybrane właściwości.
   Data rozpoczęcia pobierania zdarzeń	Połączenie danych pobiera istniejące zdarzenia usługi Event Hubs utworzone po dacie rozpoczęcia pobierania zdarzeń. Można pobierać tylko zdarzenia przechowywane przez okres przechowywania usługi Event Hubs. Jeśli data rozpoczęcia pobierania zdarzeń nie jest określona, domyślny czas to godzina utworzenia połączenia danych.

3. Wybierz pozycję Dalej

Kontrola

Zostanie otwarta karta Inspekcja z podglądem danych.

Aby ukończyć proces pozyskiwania, wybierz pozycję Zakończ.

Opcjonalnie:

• Jeśli dane widoczne w oknie podglądu nie zostaną ukończone, może być konieczne utworzenie tabeli ze wszystkimi niezbędnymi polami danych. Użyj następujących poleceń, aby pobrać nowe dane z centrum zdarzeń:

  • Odrzuć i pobierz nowe dane: odrzuca prezentowane dane i wyszukuje nowe zdarzenia.

  • Pobieranie większej ilości danych: wyszukuje więcej zdarzeń oprócz znalezionych już zdarzeń.

    Uwaga

    Aby wyświetlić podgląd danych, centrum zdarzeń musi wysyłać zdarzenia.

• Wybierz pozycję Przeglądarka poleceń , aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.

• Użyj listy rozwijanej Plik definicji schematu , aby zmienić plik, z którego został wywnioskowany schemat.

• Zmień automatycznie wnioskowany format danych, wybierając żądany format z listy rozwijanej. Aby uzyskać informacje na temat pozyskiwania, zobacz Formaty danych obsługiwane przez usługę Azure Data Explorer.

• Edytuj kolumny.

• Zapoznaj się z opcjami zaawansowanymi na podstawie typu danych.

Edytuj kolumny

Uwaga

• W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można mapować kolumny dwa razy. Aby zamapować na istniejącą kolumnę, najpierw usuń nową kolumnę.
• Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz zamapować kolumnę na inny format, może się okazać, że kolumny będą puste.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

• Typ tabeli jest nowy lub istniejący
• Typ mapowania jest nowy lub istniejący

Typ tabeli	Typ mapowania	Dostępne korekty
Nowa tabela	Nowe mapowanie	Zmienianie nazwy kolumny, zmienianie typu danych, zmienianie źródła danych, przekształcanie mapowania, dodawanie kolumny, usuwanie kolumny
Istniejąca tabela	Nowe mapowanie	Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować)
Istniejąca tabela	Istniejące mapowanie	brak

Przekształcenia mapowania

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste przekształcenia czasu pozyskiwania. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytowanie kolumn .

Przekształcenia mapowania można wykonać na kolumnie typu ciąg lub data/godzina, przy użyciu źródła o typie danych int lub długim. Obsługiwane przekształcenia mapowania to:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opcje zaawansowane oparte na typie danych

Tabelaryczny (CSV, TSV, PSV):

• Jeśli pozyskujesz formaty tabelaryczne w istniejącej tabeli, możesz wybrać pozycję Zaawansowane>Zachowaj bieżący schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie jest wykonywane według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

• Aby użyć pierwszego wiersza jako nazw kolumn, wybierz pozycję Zaawansowane>pierwszy wiersz to nagłówek kolumny.

  

JSON:

• Aby określić podział kolumn danych JSON, wybierz pozycję Zaawansowane>poziomy zagnieżdżone z zakresu od 1 do 100.

• W przypadku wybrania opcji Zaawansowane>ignoruj błędy formatu danych dane są pozyskiwane w formacie JSON. Jeśli to pole wyboru zostanie niezaznaczone, dane są pozyskiwane w formacie wielossonowym.

  

Podsumowanie

W oknie Przygotowywanie danych wszystkie trzy kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym zakończeniu pozyskiwania danych. Możesz wyświetlić polecenia, które były używane dla każdego kroku, lub wybrać kartę do wykonywania zapytań, wizualizacji lub upuszczania pozyskanych danych.

Portal — strona usługi Azure Data Explorer

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie pozyskiwania dla tabeli.
• Centrum zdarzeń z danymi do pozyskiwania.

Pobieranie danych

1. W Azure Portal przejdź do klastra i wybierz pozycję Bazy danych. Następnie wybierz bazę danych zawierającą tabelę docelową.

   

2. W menu po lewej stronie wybierz pozycję Pozyskiwanie danych. Następnie na górnym pasku wybierz pozycję Dodaj połączenie danych.

3. Wypełnij formularz następującymi informacjami, a następnie wybierz pozycję Utwórz.

   Ustawienie	Sugerowana wartość	Opis pola
   Nazwa połączenia danych	test-hub-connection	Nazwa połączenia, które chcesz utworzyć w usłudze Azure Data Explorer.
   Subskrypcja		Identyfikator subskrypcji, w którym znajduje się zasób centrum zdarzeń.
   Przestrzeń nazw centrum zdarzeń	Unikatowa nazwa przestrzeni nazw	Wybrana wcześniej nazwa, która identyfikuje Twoją przestrzeń nazw.
   Centrum zdarzeń	test-hub	Utworzone przez Ciebie centrum zdarzeń.
   Grupa konsumentów	test-group	Grupa konsumentów zdefiniowana w utworzonym przez Ciebie centrum zdarzeń.
   Właściwości systemu zdarzeń	Wybierz odpowiednie właściwości	Właściwości systemu centrum zdarzeń. Jeśli komunikat o zdarzeniu zawiera wiele rekordów, właściwości systemu są dodawane do pierwszego rekordu. Podczas dodawania właściwości systemu utwórz lub zaktualizuj schemat tabeli i mapowanie w celu uwzględnienia wybranych właściwości.
   Kompresja	Brak	Typ kompresji ładunku komunikatów centrum zdarzeń. Obsługiwane typy kompresji: Brak, Gzip.
   Tożsamość zarządzana (zalecana)	Przypisane przez system	Tożsamość zarządzana używana przez klaster Data Explorer do odczytu z centrum zdarzeń. Zalecamy używanie tożsamości zarządzanych do kontrolowania dostępu do centrum zdarzeń. Uwaga: Po utworzeniu połączenia danych: * Tożsamości przypisane przez system są tworzone automatycznie, jeśli nie istnieją * Tożsamość zarządzana jest automatycznie przypisywana Azure Event Hubs roli Odbiornik danych i jest dodawana do klastra Data Explorer. Zalecamy sprawdzenie, czy rola została przypisana i czy tożsamość została dodana do klastra.

   Uwaga

   Jeśli masz istniejące połączenie danych, które nie korzysta z tożsamości zarządzanych, zalecamy zaktualizowanie go do korzystania z tożsamości zarządzanych.

Portal — strona Azure Event Hubs

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie pozyskiwania dla tabeli.
• Centrum zdarzeń z danymi do pozyskiwania.

Pobieranie danych

1. W Azure Portal przejdź do wystąpienia usługi Event Hubs.

2. W menu bocznym Funkcje wybierz pozycję Analizuj dane przy użyciu usługi Kusto.

3. Wybierz pozycję Rozpocznij, aby otworzyć kreatora pozyskiwania na platformę Azure Data Explorer.

   

   Uwaga

   • Musisz mieć co najmniej uprawnienia użytkownika bazy danych .
   • Aby włączyć dostęp między klastrem a kontem magazynu bez publicznego dostępu, zobacz Tworzenie zarządzanego prywatnego punktu końcowego.
   • Klaster i centrum zdarzeń powinny być skojarzone z tymi samymi dzierżawami. Jeśli nie, użyj jednej z opcji zestawu SDK, takich jak C# lub Python.

4. Okienko po stronie pozyskiwania danych zostanie otwarte z wybraną kartą Miejsce docelowe . Wybierz pola Klaster i Baza danych z listy rozwijanej. Upewnij się, że wybrano klaster, który jest uruchomiony. W przeciwnym razie nie będzie można wybrać pozycji Baza danych i kontynuować procesu pozyskiwania.

5. W obszarze Tabela wybierz pozycję Nowa tabela i wprowadź nazwę nowej tabeli. Alternatywnie użyj istniejącej tabeli.

6. Wybierz pozycję Dalej: Źródło.

7. W obszarze Typ źródła typ i szczegóły centrum zdarzeń są automatycznie wypełniane na podstawie uruchomionego wystąpienia usługi Event Hubs.

8. W obszarze Połączenie danych wypełnij następujące pola i wybierz pozycję Dalej: Schemat.

   Ustawienie	Sugerowana wartość	Opis pola
   Subskrypcja		Identyfikator subskrypcji, w której znajduje się zasób centrum zdarzeń.
   Przestrzeń nazw centrum zdarzeń		Nazwa identyfikująca przestrzeń nazw.
   Centrum zdarzeń		Centrum zdarzeń, którego chcesz użyć.
   Nazwa połączenia danych	TestDataConnection	Nazwa identyfikująca połączenie danych.
   Grupa konsumentów		Grupa odbiorców zdefiniowana w centrum zdarzeń.
   Kompresja		Typ kompresji ładunku komunikatów centrum zdarzeń.
   Właściwości systemu zdarzeń	Wybieranie odpowiednich właściwości	Właściwości systemu centrum zdarzeń. Jeśli istnieje wiele rekordów na komunikat zdarzenia, właściwości systemowe są dodawane do pierwszego. Podczas dodawania właściwości systemowych utwórz lub zaktualizuj schemat tabeli i mapowanie , aby uwzględnić wybrane właściwości.
   Data rozpoczęcia pobierania zdarzeń	Uniwersalny czas koordynowany (UTC)	Połączenie danych pobiera istniejące zdarzenia usługi Event Hubs utworzone po dacie rozpoczęcia pobierania zdarzeń. Można pobierać tylko zdarzenia przechowywane przez okres przechowywania usługi Event Hubs. Jeśli data rozpoczęcia pobierania zdarzeń nie jest określona, domyślny czas to godzina utworzenia połączenia danych.

9. Jeśli przesyłanie strumieniowe jest włączone dla klastra, możesz wybrać pozycję Pozyskiwanie przesyłania strumieniowego. Jeśli przesyłanie strumieniowe nie jest włączone dla klastra, ustaw opóźnienie przetwarzania wsadowego danych. W przypadku usługi Event Hubs zalecany czas dzielenia na partie wynosi 30 sekund.

   

10. Wybierz format danych. W przypadku danych sformatowanych w formacie CSV zignoruj pierwszy rekord , aby zignorować wiersz nagłówka pliku. W przypadku danych sformatowanych w formacie JSON wybierz pozycję Ignoruj błędy formatu danych , aby pozyskać dane w formacie JSON lub pozostawić niezaznaczone, aby pozyskać dane w formacie wielossonowym. Wybierz poziomy zagnieżdżone , aby określić podział danych kolumny tabeli.

11. Jeśli dane widoczne w oknie podglądu nie zostaną ukończone, może być konieczne utworzenie tabeli ze wszystkimi niezbędnymi polami danych. Użyj następujących poleceń, aby pobrać nowe dane z centrum zdarzeń:

    • Odrzuć i pobierz nowe dane: odrzuca prezentowane dane i wyszukuje nowe zdarzenia.
    • Pobieranie większej ilości danych: wyszukuje więcej zdarzeń oprócz znalezionych już zdarzeń.

    Uwaga

    Aby wyświetlić podgląd danych, centrum zdarzeń musi wysyłać zdarzenia.

12. Wybierz pozycję Dalej: Podsumowanie.

13. W oknie ciągłego pozyskiwania z centrum zdarzeń wszystkie kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym zakończeniu ustanowienia.

Szablon usługi ARM

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie pozyskiwania dla tabeli.
• Centrum zdarzeń z danymi do pozyskiwania.

Szablon ARM

Poniższy przykład przedstawia szablon usługi Azure Resource Manager do dodawania połączenia danych usługi Event Hubs. Szablon można edytować i wdrażać w Azure Portal przy użyciu formularza.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Usuwanie połączenia danych centrum zdarzeń

Pobieranie danych

Usuń połączenie danych za pośrednictwem Azure Portal, jak wyjaśniono na karcie portalu.

Portal

Aby usunąć połączenie centrum zdarzeń z Azure Portal, wykonaj następujące czynności:

1. Przejdź do klastra. W menu po lewej stronie wybierz pozycję Bazy danych. Następnie wybierz bazę danych zawierającą tabelę docelową.
2. W menu po lewej stronie wybierz pozycję Połączenia danych. Następnie zaznacz pole wyboru obok odpowiedniego połączenia danych centrum zdarzeń.
3. Na górnym pasku menu wybierz pozycję Usuń.

Zawartość pokrewna

• Sprawdzanie połączenia z przykładową aplikacją komunikatów centrum zdarzeń
• Wykonywanie zapytań o dane w internetowym interfejsie użytkownika