Získanie údajov zo služby Azure Event Hubs

V tomto článku sa dozviete, ako získať údaje zo služby Event Hubs do databázy KQL v službe Microsoft Fabric. Azure Event Hubs je platforma na streamovanie big data a služba príjmu udalostí, ktorá dokáže spracovať a nasmerovať milióny udalostí za sekundu.

Ak chcete streamovať údaje z centra udalostí do inteligencie v reálnom čase, postupujte podľa dvoch hlavných krokov. Prvý krok sa vykoná na portáli Azure, kde definujete politiku zdieľaného prístupu v inštancii centra udalostí a zaznamenáte podrobnosti potrebné na neskoršie pripojenie prostredníctvom tejto politiky.

Druhý krok sa odohráva v nástroji Inteligencia v reálnom čase v službe Fabric, kde pripojíte databázu KQL do centra udalostí a nakonfigurujete schému pre prichádzajúce údaje. Tento krok vytvorí dve pripojenia. Prvé pripojenie s názvom "cloudové pripojenie" pripojí službu Microsoft Fabric k inštancii centra udalostí. Druhé pripojenie pripojí "cloudové pripojenie" k vašej databáze KQL. Po dokončení konfigurácie údajov a schémy udalosti sú streamované údaje k dispozícii na dotazovanie pomocou množiny dotazov KQL.

Požiadavky

• Predplatné služby Azure. Vytvorenie bezplatného konta Azure
• Centrum udalostí
• Pracovný priestor s kapacitou povolenou pre službu Microsoft Fabric
• Databáza KQL s povoleniami na úpravu

Upozornenie

Centrum udalostí nemôže byť za bránou firewall.

Nastavenie politiky zdieľaného prístupu v centre udalostí

Skôr než budete môcť vytvoriť pripojenie k údajom služby Event Hubs, musíte nastaviť politiku zdieľaného prístupu (SAS) v centre udalostí a zhromažďovať niektoré informácie, ktoré budete môcť použiť neskôr pri nastavovaní pripojenia. Ďalšie informácie o autorizovaní prístupu k zdrojom služby Event Hub nájdete v téme Zdieľané prístupové podpisy.

1. Na portáli Azure prejdite na inštanciu centra udalostí, ku ktorému sa chcete pripojiť.

2. V časti Nastavenia vyberte položku Politiky zdieľaného prístupu

3. Vyberte položku +Pridať , ak chcete pridať novú politiku SAS, alebo vyberte existujúcu politiku s možnosťou Spravovať povolenia.

   

4. Zadajte názov politiky.

5. Vyberte položku Spravovať a potom položku Vytvoriť.

Zhromažďovanie informácií pre cloudové pripojenie

Na table s politikou SAS si poznačte nasledujúce štyri polia. Tieto polia možno budete chcieť skopírovať a prilepiť na miesto, napríklad poznámkový blok, aby ste ich mohli použiť v neskoršom kroku.

Odkaz na pole	Pole	Description	Príklad
a	Inštancia Event Hubs	Názov inštancie centra udalostí.	iotdata
b	Politika SAS	Názov politiky SAS vytvorený v predchádzajúcom kroku	DocsTest
C: >	Hlavný kľúč	Kľúč spojený s politikou SAS	V tomto príklade začíname reťazcom CHZOSb009...
d	Primárny kľúč reťazca pripojenia	V tomto poli chcete len skopírovať priestor názvov centra udalostí, ktorý môžete nájsť ako súčasť reťazec pripojenia.	eventhubpm15910.servicebus.windows.net

Source

1. Na dolnom páse s nástrojmi databázy KQL vyberte položku Získať údaje.

   V okne Získať údaje je vybratá karta Zdroj.

2. Zo zoznamu k dispozícii vyberte zdroj údajov. V tomto príklade prehodíte údaje z centra udalostí.

   

Konfigurácia

1. Vyberte cieľovú tabuľku. Ak chcete ingestovať údaje do novej tabuľky, vyberte položku + Nová tabuľka a zadajte názov tabuľky.

   Poznámka

   Názvy tabuliek môžu mať maximálne 1 024 znakov vrátane medzier, alfanumerických znakov, spojovoviek a znakov podčiarknutia. Špeciálne znaky nie sú podporované.

2. Buď vyberte položku Vytvoriť nové pripojenie, alebo vyberte položku Existujúce pripojenie a prejdite na ďalší krok.

Vytvorenie nového pripojenia

1. Vyplňte nastavenia pripojenia podľa nasledujúcej tabuľky:

   

   Nastavenie	Popis	Príklad hodnoty
   Priestor názvov centra udalostí	Pole d z tabuľky vyššie.	eventhubpm15910.servicebus.windows.net
   Centrum udalostí	Pole a z tabuľky vyššie. Názov inštancie centra udalostí.	iotdata
   Connection	Ak chcete použiť existujúce cloudové pripojenie medzi službami Fabric a Event Hubs, vyberte názov tohto pripojenia. V opačnom prípade vyberte položku Vytvoriť nové pripojenie.	Vytvorenie nového pripojenia
   Názov pripojenia	Názov nového cloudového pripojenia. Tento názov je automaticky generovaný, ale možno ho prepísať. Musí byť jedinečný v rámci nájomníka služby Fabric.	Pripojenie
   Typ overenia	Automaticky vyplnené. V súčasnosti je podporovaný iba zdieľaný prístupový kľúč.	Zdieľaný prístupový kľúč
   Názov zdieľaného prístupového kľúča	Pole b z tabuľky vyššie. Názov, ktorý ste udelili politike zdieľaného prístupu.	DocsTest
   Zdieľaný prístupový kľúč	Pole c z tabuľky vyššie. Hlavný kľúč politiky SAS.

2. Vyberte položku Uložiť. Vytvorí sa nové cloudové údajové pripojenie medzi službami Fabric a Event Hubs.

Pripojenie ku cloudovej databáze KQL

Bez ohľadu na to, či ste vytvorili nové cloudové pripojenie alebo používate existujúce, je potrebné definovať skupinu spotrebiteľov. Môžete voliteľne nastaviť parametre, ktoré ďalej definujú aspekty pripojenia medzi databázou KQL a cloudovým pripojením.

1. Vyplňte nasledujúce polia podľa tabuľky:

   

   Nastavenie	Popis	Príklad hodnoty
   Skupina spotrebiteľov	Relevantná skupina používateľov definovaná vo vašom centre udalostí. Ďalšie informácie nájdete v téme Skupiny spotrebiteľov. Po pridaní novej skupiny používateľov budete musieť túto skupinu vybrať v rozbaľovacom zozname.	NovýConsumer
   Ďalšie parametre
   Kompresia	Kompresia údajov udalostí vychádzajúca z centra udalostí. Možnosti sú Žiadne (predvolené) alebo kompresia Gzip.	Žiadny
   Systémové vlastnosti udalosti	Ďalšie informácie nájdete v téme Systémové vlastnosti centra udalostí. Ak pre každú správu udalosti existuje viacero záznamov, systémové vlastnosti sa pridajú k prvému. Pozrite si tému Systémové vlastnosti udalostí.
   Dátum začatia načítania udalosti	Údajové pripojenie načíta existujúce udalosti centra udalostí vytvorené od počiatočného dátumu načítania udalosti. Môže načítať iba udalosti zachované centrom udalostí na základe jeho obdobia uchovávania. Časové pásmo je UTC. Ak nie je zadaný žiadny čas, predvoleným časom je čas vytvorenia údajového pripojenia.

2. Ak chcete pokračovať na kartu Kontrola, vyberte položku Ďalej.

Systémové vlastnosti udalosti

Systémové vlastnosti ukladajú vlastnosti, ktoré sú nastavené službou Event Hubs v čase spustenia udalosti. Údajové pripojenie k príslušnej udalosti môže vložiť vybratú množinu vlastností systému do údajov preložených do tabuľky na základe daného mapovania.

Vlastnosť	Typ údajov	Popis
x-opt-enqueued-time	Datetime	Čas utc, kedy bola udalosť zaokrútovaná.
x-opt-sequence-number	Dlho	Logické poradové číslo udalosti v rámci streamu oblastí centra udalostí.
posun hodnoty x-opt-offset	povrázok	Posun udalosti zo streamu oblasti centra udalostí. Identifikátor posunu je jedinečný v oblasti streamu centra udalostí.
x-opt-publisher	povrázok	Názov vydavateľa, ak sa správa odoslala do koncového bodu vydavateľa.
x-opt-partition-key	povrázok	Kľúč oblasti príslušnej oblasti, ktorá uložila udalosť.

Skontrolovať

Proces príjmu dokončíte výberom položky Dokončiť.

Voliteľne:

• Výberom položky Zobrazovač príkazov zobrazte a skopírujte automatické príkazy vygenerované zo vstupov.

• Automaticky odvodený formát údajov môžete zmeniť výberom požadovaného formátu z rozbaľovacieho zoznamu. Údaje sa čítajú z centra udalostí vo forme objektov EventData . Podporované formáty sú CSV, JSON, PSV, SCsv, SOHsv TSV, TXT a TSVE.

• Upraviť stĺpce.

• Preskúmajte rozšírené možnosti na základe typu údajov.

• Ak údaje zobrazené v okne ukážky nie sú dokončené, možno budete potrebovať viac údajov na vytvorenie tabuľky so všetkými potrebnými údajovými poľami. Na načítanie nových údajov z centra udalostí použite nasledujúce príkazy:

  • Zahodiť a načítať nové údaje: zahodí prezentované údaje a vyhľadá nové udalosti.
  • Načítanie väčšieho počet údajov: Okrem už nájdených udalostí vyhľadá ďalšie udalosti.

Úprava stĺpcov

Poznámka

• V prípade tabuľkových formátov (CSV, TSV, PSV) nie je možné priradiť stĺpec dvakrát. Ak chcete priradiť k existujúcemu stĺpcu, najskôr odstráňte nový stĺpec.
• Nemôžete zmeniť existujúci typ stĺpca. Ak sa pokúsite priradiť stĺpec, ktorý má iný formát, pravdepodobne budete mať prázdne stĺpce.

Zmeny, ktoré môžete vykonať v tabuľke, závisia od nasledujúcich parametrov:

• Typ tabuľky je nový alebo existujúci
• Typ mapovania je nový alebo existujúci

Typ tabuľky	Typ mapovania	Dostupné úpravy
Nová tabuľka	Nové priradenie	Premenovanie stĺpca, zmena typu údajov, zmena zdroja údajov, transformácia priradenia, pridanie stĺpca, odstránenie stĺpca
Existujúca tabuľka	Nové priradenie	Pridať stĺpec (v ktorom môžete potom zmeniť typ údajov, premenovať a aktualizovať)
Existujúca tabuľka	Existujúce priradenie	žiadne

Transformácie mapovania

Niektoré priradenia formátov údajov (Parquet, JSON a Avro) podporujú jednoduché transformácie času ingestu. Ak chcete použiť transformácie mapovania, vytvorte alebo aktualizujte stĺpec v okne Upraviť stĺpce .

Transformácie mapovania možno vykonať v stĺpci typu reťazec alebo dátum a čas, pričom zdroj má typ údajov int alebo long. Podporované transformácie mapovania sú:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Priradenie schémy pre súbory Event Hubs Capture Avro

Jedným zo spôsobov, ako využívať údaje služby Event Hubs, je zaznamenávať udalosti prostredníctvom služby Azure Event Hubs v úložisku Azure Blob Storage alebo azure Data Lake Storage. Potom môžete zachytiť súbory tak, ako sú napísané pomocou údajového pripojenia Event Grid.

Schéma súborov na zaznamenanie sa líši od schémy pôvodnej udalosti odoslanej do služby Event Hubs. S týmto rozdielom by ste mali navrhnúť schému cieľovej tabuľky. Konkrétna údajová časť udalosti je zastúpená v súbore na zachytenie ako bajtové pole a toto pole sa automaticky dekóduje údajovým pripojením služby Event Grid služby Azure Data Explorer. Ďalšie konkrétne informácie o schéme súborov pre zachytenie údajov služby Event Hubs Avro nájdete v téme Skúmanie zachytených súborov Avro v službe Azure Event Hubs.

Ak chcete správne dekódovať údajovú časť udalosti:

1. Body Priraďte pole zaznamenanej udalosti k stĺpcu typu dynamic v cieľovej tabuľke.
2. Použite politiku aktualizácie, ktorá pomocou funkcie unicode_codepoints_to_string() konvertuje pole bajtov na čitateľný reťazec.

Rozšírené možnosti na základe typu údajov

Tabular (CSV, TSV, PSV):

• Ak preberáte tabuľkové formáty v existujúcej tabuľke, môžete vybrať možnosť Rozšírená>schéma ponechať tabuľku. Tabuľkové údaje nemusia nevyhnutne obsahovať názvy stĺpcov, ktoré sa používajú na priradenie zdrojových údajov k existujúcim stĺpcom. Keď je táto možnosť začiarknuté, priradenie sa vykoná podľa poradia a schéma tabuľky zostáva rovnaká. Ak táto možnosť nezačiarknete, na prichádzajúce údaje sa vytvoria nové stĺpce bez ohľadu na štruktúru údajov.

• Ak chcete použiť prvý riadok ako názvy stĺpcov, vyberte položku Rozšírený>prvý riadok je hlavička stĺpca.

  

JSON:

• Ak chcete určiť delenie údajov JSON stĺpcom, vyberte položku Rozšírené>vnorené úrovne od 1 do 100.

• Ak vyberiete položku Rozšírené>riadky vynechať JSON s chybami, údaje sa prejdú vo formáte JSON. Ak toto políčko začiarknete začiarknuté, údaje sa ingestujú vo formáte multijson.

  

Súhrn

V okne Príprava údajov sú všetky tri kroky označené zelenými značkami začiarknutia po úspešnom dokončení príjmu údajov. Kartu môžete vybrať na dotazovanie, zrušenie prijatia údajov alebo zobrazenie tabule súhrnu príjmu.

Súvisiaci obsah

• Dotazovanie údajov v množine dotazov KQL
• Vizualizácia údajov v zostave Power BI
• Jedna logická kópia