Uwaga
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Z tego artykułu dowiesz się, jak pobrać dane z usługi Event Hubs do bazy danych KQL w usłudze Microsoft Fabric. Azure Event Hubs to platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń, która może przetwarzać i kierować miliony zdarzeń na sekundę.
Aby przesyłać strumieniowo dane z usługi Event Hubs do analizy w czasie rzeczywistym, wykonaj dwa główne kroki. Pierwszy krok jest wykonywany na portalu Azure, gdzie definiujesz zasady wspólnego dostępu dla instancji centrum zdarzeń i rejestrujesz szczegóły potrzebne do późniejszego połączenia przy użyciu tych zasad.
Drugi krok odbywa się w usłudze Analizy w czasie rzeczywistym w Fabric, gdzie łączysz bazę danych KQL z event hub i konfigurujesz schemat dla danych przychodzących. Ten krok tworzy dwa połączenia. Pierwsze połączenie, nazywane "połączeniem w chmurze", łączy Microsoft Fabric z wystąpieniem centrum zdarzeń. Drugie połączenie łączy "połączenie w chmurze" z bazą danych KQL. Po zakończeniu konfigurowania danych zdarzeń i schematu przesyłane strumieniowo dane są dostępne do wykonywania zapytań przy użyciu zestawu zapytań KQL.
Aby uzyskać dane z usługi Event Hubs przy użyciu EventStream, zobacz Dodawanie źródła usługi Azure Event Hubs do strumienia zdarzeń.
Ostrzeżenie
Pozyskiwanie z centrum zdarzeń przy użyciu łącza prywatnego nie jest obsługiwane.
Wymagania wstępne
- Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure
- Centrum zdarzeń
- Obszar roboczy z włączoną pojemnością usługi Microsoft Fabric
- Baza danych KQL z uprawnieniami do edycji
Ostrzeżenie
Centrum zdarzeń nie może znajdować się za zaporą.
Ustawianie zasad dostępu współdzielonego w centrum zdarzeń
Przed utworzeniem połączenia z danymi usługi Event Hubs należy ustawić zasady dostępu współdzielonego (SAS) w centrum zdarzeń i zebrać informacje, które mają być używane później podczas konfigurowania połączenia. Aby uzyskać więcej informacji na temat autoryzowania dostępu do zasobów usługi Event Hubs, zobacz Sygnatury dostępu współdzielonego.
Przejdź w portalu Azure do instancji centrum zdarzeń, z którą chcesz nawiązać połączenie.
W obszarze Ustawienia wybierz pozycję Zasady dostępu współdzielonego
Wybierz pozycję +Dodaj, aby dodać nowe zasady SAS, lub wybierz istniejące zasady z uprawnieniami do zarządzania.
Wprowadź nazwę polityki.
Wybierz pozycję Zarządzaj, a następnie pozycję Utwórz.
Zbieranie informacji dotyczących połączenia w chmurze
W panelu polityki SAS zanotuj następujące cztery pola. Możesz skopiować te pola i wkleić je gdzieś, jak notatnik, aby użyć ich w późniejszym kroku.
| Referencja do pola | (No changes needed) | Opis | Przykład |
|---|---|---|---|
| a | Instancja Event Hubs | Nazwa wystąpienia centrum zdarzeń. | iotdata |
| b | Polityka SAS | Nazwa zasad SAS utworzona w poprzednim kroku | DocsTest |
| Bez kontekstu nie można zapewnić adekwatnego tłumaczenia litery "c". | Klucz podstawowy | Klucz skojarzony z polityką SAS | W tym przykładzie zaczyna się od PGGIISb009... |
| d | Parametry połączenia — klucz podstawowy | W tym polu należy skopiować tylko przestrzeń nazw centrum zdarzeń, którą można znaleźć jako część ciągu połączenia. | eventhubpm15910.servicebus.windows.net |
Źródło
Na dolnej wstążce bazy danych KQL wybierz pozycję Pobierz dane.
W oknie Pobieranie danych zostanie wybrana karta Źródło.
Wybierz źródło danych z listy dostępnych. W tym przykładzie pozyskiwane są dane z Event Hubs.
Konfiguruj
Wybierz tabelę docelową. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję + Nowa tabela i wprowadź nazwę tabeli.
Uwaga
Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane przez system.
Wybierz pozycję Utwórz nowe połączenie lub wybierz pozycję Istniejące połączenie i przejdź do następnego kroku.
Utwórz nowe połączenie
Wypełnij ustawienia połączenia zgodnie z poniższą tabelą:
Wybierz pozycję Zapisz. Zostanie utworzone nowe połączenie danych w chmurze między usługą Fabric i usługą Event Hubs.
Łączenie połączenia w chmurze z bazą danych KQL
Niezależnie od tego, czy utworzono nowe połączenie w chmurze, czy używasz istniejącego, musisz zdefiniować grupę odbiorców. Opcjonalnie można ustawić parametry, które dodatkowo definiują aspekty połączenia między bazą danych KQL i połączeniem w chmurze.
Wypełnij następujące pola zgodnie z tabelą:
Ustawienie Opis Przykładowa wartość Grupa konsumentów Właściwa grupa odbiorców zdefiniowana w centrum zdarzeniowym. Aby uzyskać więcej informacji, zobacz grupy odbiorców. Po dodaniu nowej grupy odbiorców musisz wybrać tę grupę z listy rozwijanej. NewConsumer Więcej parametrów Kompresja Kompresja danych zdarzeń pochodzących z centrum zdarzeń. Opcje to Brak (wartość domyślna) lub Kompresja Gzip. Brak Właściwości systemu zdarzeń Aby uzyskać więcej informacji, zobacz Właściwości systemu centrum zdarzeń. Jeśli jest wiele rekordów dla każdej wiadomości zdarzenia, właściwości systemu są dodawane do pierwszego rekordu. Zobacz właściwości systemu zdarzeń. Data rozpoczęcia wyszukiwania zdarzeń Połączenie danych pobiera istniejące wydarzenia z centrum wydarzeń, które zostały utworzone począwszy od daty rozpoczęcia pobierania wydarzeń. Może pobierać tylko zdarzenia przechowywane przez hub zdarzeń, zgodnie z okresem ich przechowywania. Strefa czasowa to UTC. Jeśli nie określono czasu, domyślny czas to czas, w którym jest tworzone połączenie danych. Wybierz przycisk Dalej, aby przejść do karty Inspekcja.
Właściwości systemu zdarzeń
Właściwości systemowe przechowują cechy, które są ustawiane przez usługę Event Hubs w momencie, gdy zdarzenie jest ustawiane w kolejce. Połączenie danych z centrum zdarzeń może umieszczać wybrany zestaw właściwości systemowych w danych wprowadzonych do tabeli na podstawie danego mapowania.
| Własność | Typ danych | Opis |
|---|---|---|
| x-opt-enqueued-time | data/godzina | Czas UTC, kiedy zdarzenie zostało dodane do kolejki. |
| numer-sekwencji-x-opt | długi | Numer sekwencji logicznej zdarzenia w strumieniu partycji centrum zdarzeń. |
| przesunięcie x-opt-offset | ciąg | Przesunięcie zdarzenia ze strumienia partycji centrum zdarzeń. Identyfikator przesunięcia jest unikatowy w ramach partycji strumienia centrum zdarzeń. |
| x-opt-publisher | ciąg | Nazwa wydawcy, jeśli wiadomość została wysłana do punktu końcowego wydawcy. |
| x-opt-partition-key (klucz partycji opcji) | ciąg | Klucz partycji odpowiadającej partycji, która przechowywała zdarzenie. |
Inspekcja
Aby ukończyć proces importowania, wybierz pozycję Zakończ.
Opcjonalnie:
- Wybierz pozycję Przeglądarka poleceń, aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.
- Zmień automatycznie wnioskowany format danych, wybierając żądany format z listy rozwijanej. Dane są odczytywane z centrum zdarzeń w postaci obiektów EventData . Obsługiwane formaty to CSV, JSON, PSV, SCsv, SOHsv TSV, TXT i TSVE.
- Edytuj kolumny.
- Zapoznaj się z opcjami zaawansowanymi na podstawie typu danych.
Jeśli dane widoczne w oknie podglądu nie są kompletne, może być konieczne utworzenie tabeli ze wszystkimi niezbędnymi polami danych. Użyj następujących poleceń, aby pobrać nowe dane z centrum zdarzeń:
- Odrzuć i pobierz nowe dane: odrzuca prezentowane dane i wyszukuje nowe zdarzenia.
- Pobierz więcej danych: wyszukuje więcej zdarzeń oprócz znalezionych już zdarzeń.
Edytuj kolumny
Uwaga
- W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można dwukrotnie mapować kolumny. Aby zamapować istniejącą kolumnę, najpierw usuń nową kolumnę.
- Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz mapować kolumnę na inny format, może się okazać, że kolumny będą puste.
Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:
- Typ tabeli jest nowy lub istniejący
- Typ mapowania to nowy lub istniejący
| Typ tabeli | Typ mapowania | Dostępne korekty |
|---|---|---|
| Nowa tabela | Nowe mapowanie | Zmień nazwę kolumny, zmień typ danych, zmień źródło danych, transformacja mapowania, dodaj kolumnę, usuń kolumnę |
| Istniejąca tabela | Nowe mapowanie | Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować) |
| Istniejąca tabela | Istniejące mapowanie | żadne |
Mapa przekształceń
Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste przekształcenia w momencie wczytywania. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytowanie kolumn .
Przekształcenia mapowania można przeprowadzać na kolumnach typu string lub datetime, gdzie źródło ma typ danych int lub long. Aby uzyskać więcej informacji, zobacz pełną listę obsługiwanych transformacji mapowania.
Mapowanie schematu dla plików Avro przechwytywanych przez usługę Event Hubs
Jednym ze sposobów korzystania z danych usługi Event Hubs jest przechwytywanie zdarzeń za pośrednictwem usługi Azure Event Hubs w usłudze Azure Blob Storage lub Azure Data Lake Storage. Następnie można wczytywać pliki rejestracji w miarę ich zapisywania, używając połączenia danych Event Grid.
Schemat plików przechwytywania różni się od schematu oryginalnego zdarzenia wysyłanego do usługi Event Hubs. Należy zaprojektować schemat tabeli docelowej, uwzględniając tę różnicę. W szczególności ładunek zdarzenia jest reprezentowany w pliku przechwytywania jako tablica bajtów, a ta tablica nie jest automatycznie dekodowana przez połączenie danych Azure Data Explorer dla usługi Event Grid. Aby uzyskać bardziej szczegółowe informacje na temat schematu plików dla danych przechwytywania usługi Event Hubs Avro, zobacz Eksplorowanie przechwyconych plików Avro w usłudze Azure Event Hubs.
Aby poprawnie zdekodować ładunek zdarzenia:
- Zamapuj
Bodypole przechwyconego zdarzenia na kolumnę typudynamicw tabeli docelowej. - Zastosuj zasady aktualizacji, które konwertują tablicę bajtów na ciąg czytelny przy użyciu funkcji unicode_codepoints_to_string().
Opcje zaawansowane oparte na typie danych
Format tabelaryczny (CSV, TSV, PSV):
Jeśli importujesz formaty tabelaryczne do istniejącej tabeli, możesz wybrać Zaawansowane>Zachowaj schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.
Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Aby użyć pierwszego wiersza jako nazw kolumn, wybierz Pierwszy wiersz to nagłówek kolumny.
Zrzut ekranu przedstawiający przełącznik nagłówka kolumn znajdujący się w pierwszym wierszu.
Podsumowanie
W oknie Przygotowywanie danych wszystkie trzy kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym zakończeniu pozyskiwania danych. Możesz wybrać kartę do zapytania, usunąć zaimportowane dane lub zobaczyć tablicę podsumowania zaimportowanych danych.
