Získanie údajov zo služby Azure Event Hubs
V tomto článku sa dozviete, ako získať údaje zo služby Event Hubs do databázy KQL v službe Microsoft Fabric. Azure Event Hubs je platforma na streamovanie big data a služba príjmu udalostí, ktorá dokáže spracovať a nasmerovať milióny udalostí za sekundu.
Ak chcete streamovať údaje z centra udalostí do inteligencie v reálnom čase, postupujte podľa dvoch hlavných krokov. Prvý krok sa vykoná na portáli Azure, kde definujete politiku zdieľaného prístupu v inštancii centra udalostí a zaznamenáte podrobnosti potrebné na neskoršie pripojenie prostredníctvom tejto politiky.
Druhý krok sa odohráva v nástroji Inteligencia v reálnom čase v službe Fabric, kde pripojíte databázu KQL do centra udalostí a nakonfigurujete schému pre prichádzajúce údaje. Tento krok vytvorí dve pripojenia. Prvé pripojenie s názvom "cloudové pripojenie" pripojí službu Microsoft Fabric k inštancii centra udalostí. Druhé pripojenie pripojí "cloudové pripojenie" k vašej databáze KQL. Po dokončení konfigurácie údajov a schémy udalosti sú streamované údaje k dispozícii na dotazovanie pomocou množiny dotazov KQL.
Požiadavky
- Predplatné služby Azure. Vytvorenie bezplatného konta Azure
- Centrum udalostí
- Pracovný priestor s kapacitou povolenou pre službu Microsoft Fabric
- Databáza KQL s povoleniami na úpravu
Upozornenie
Centrum udalostí nemôže byť za bránou firewall.
Nastavenie politiky zdieľaného prístupu v centre udalostí
Skôr než budete môcť vytvoriť pripojenie k údajom služby Event Hubs, musíte nastaviť politiku zdieľaného prístupu (SAS) v centre udalostí a zhromažďovať niektoré informácie, ktoré budete môcť použiť neskôr pri nastavovaní pripojenia. Ďalšie informácie o autorizovaní prístupu k zdrojom služby Event Hub nájdete v téme Zdieľané prístupové podpisy.
Na portáli Azure prejdite na inštanciu centra udalostí, ku ktorému sa chcete pripojiť.
V časti Nastavenia vyberte položku Politiky zdieľaného prístupu
Vyberte položku +Pridať , ak chcete pridať novú politiku SAS, alebo vyberte existujúcu politiku s možnosťou Spravovať povolenia.
Zadajte názov politiky.
Vyberte položku Spravovať a potom položku Vytvoriť.
Zhromažďovanie informácií pre cloudové pripojenie
Na table s politikou SAS si poznačte nasledujúce štyri polia. Tieto polia možno budete chcieť skopírovať a prilepiť na miesto, napríklad poznámkový blok, aby ste ich mohli použiť v neskoršom kroku.
| Odkaz na pole | Pole | Description | Príklad |
|---|---|---|---|
| a | Inštancia Event Hubs | Názov inštancie centra udalostí. | iotdata |
| b | Politika SAS | Názov politiky SAS vytvorený v predchádzajúcom kroku | DocsTest |
| C: > | Hlavný kľúč | Kľúč spojený s politikou SAS | V tomto príklade začíname reťazcom CHZOSb009... |
| d | Primárny kľúč reťazca pripojenia | V tomto poli chcete len skopírovať priestor názvov centra udalostí, ktorý môžete nájsť ako súčasť reťazec pripojenia. | eventhubpm15910.servicebus.windows.net |
Source
Na dolnom páse s nástrojmi databázy KQL vyberte položku Získať údaje.
V okne Získať údaje je vybratá karta Zdroj.
Zo zoznamu k dispozícii vyberte zdroj údajov. V tomto príklade prehodíte údaje z centra udalostí.
Konfigurácia
Vyberte cieľovú tabuľku. Ak chcete ingestovať údaje do novej tabuľky, vyberte položku + Nová tabuľka a zadajte názov tabuľky.
Poznámka
Názvy tabuliek môžu mať maximálne 1 024 znakov vrátane medzier, alfanumerických znakov, spojovoviek a znakov podčiarknutia. Špeciálne znaky nie sú podporované.
Buď vyberte položku Vytvoriť nové pripojenie, alebo vyberte položku Existujúce pripojenie a prejdite na ďalší krok.
Vytvorenie nového pripojenia
Vyplňte nastavenia pripojenia podľa nasledujúcej tabuľky:
Nastavenie Popis Príklad hodnoty Priestor názvov centra udalostí Pole d z tabuľky vyššie. eventhubpm15910.servicebus.windows.net Centrum udalostí Pole a z tabuľky vyššie. Názov inštancie centra udalostí. iotdata Connection Ak chcete použiť existujúce cloudové pripojenie medzi službami Fabric a Event Hubs, vyberte názov tohto pripojenia. V opačnom prípade vyberte položku Vytvoriť nové pripojenie. Vytvorenie nového pripojenia Názov pripojenia Názov nového cloudového pripojenia. Tento názov je automaticky generovaný, ale možno ho prepísať. Musí byť jedinečný v rámci nájomníka služby Fabric. Pripojenie Typ overenia Automaticky vyplnené. V súčasnosti je podporovaný iba zdieľaný prístupový kľúč. Zdieľaný prístupový kľúč Názov zdieľaného prístupového kľúča Pole b z tabuľky vyššie. Názov, ktorý ste udelili politike zdieľaného prístupu. DocsTest Zdieľaný prístupový kľúč Pole c z tabuľky vyššie. Hlavný kľúč politiky SAS. Vyberte položku Uložiť. Vytvorí sa nové cloudové údajové pripojenie medzi službami Fabric a Event Hubs.
Pripojenie ku cloudovej databáze KQL
Bez ohľadu na to, či ste vytvorili nové cloudové pripojenie alebo používate existujúce, je potrebné definovať skupinu spotrebiteľov. Môžete voliteľne nastaviť parametre, ktoré ďalej definujú aspekty pripojenia medzi databázou KQL a cloudovým pripojením.
Vyplňte nasledujúce polia podľa tabuľky:
Nastavenie Popis Príklad hodnoty Skupina spotrebiteľov Relevantná skupina používateľov definovaná vo vašom centre udalostí. Ďalšie informácie nájdete v téme Skupiny spotrebiteľov. Po pridaní novej skupiny používateľov budete musieť túto skupinu vybrať v rozbaľovacom zozname. NovýConsumer Ďalšie parametre Kompresia Kompresia údajov udalostí vychádzajúca z centra udalostí. Možnosti sú Žiadne (predvolené) alebo kompresia Gzip. Žiadny Systémové vlastnosti udalosti Ďalšie informácie nájdete v téme Systémové vlastnosti centra udalostí. Ak pre každú správu udalosti existuje viacero záznamov, systémové vlastnosti sa pridajú k prvému. Pozrite si tému Systémové vlastnosti udalostí. Dátum začatia načítania udalosti Údajové pripojenie načíta existujúce udalosti centra udalostí vytvorené od počiatočného dátumu načítania udalosti. Môže načítať iba udalosti zachované centrom udalostí na základe jeho obdobia uchovávania. Časové pásmo je UTC. Ak nie je zadaný žiadny čas, predvoleným časom je čas vytvorenia údajového pripojenia. Ak chcete pokračovať na kartu Kontrola, vyberte položku Ďalej.
Systémové vlastnosti udalosti
Systémové vlastnosti ukladajú vlastnosti, ktoré sú nastavené službou Event Hubs v čase spustenia udalosti. Údajové pripojenie k príslušnej udalosti môže vložiť vybratú množinu vlastností systému do údajov preložených do tabuľky na základe daného mapovania.
| Vlastnosť | Typ údajov | Popis |
|---|---|---|
| x-opt-enqueued-time | Datetime | Čas utc, kedy bola udalosť zaokrútovaná. |
| x-opt-sequence-number | Dlho | Logické poradové číslo udalosti v rámci streamu oblastí centra udalostí. |
| posun hodnoty x-opt-offset | povrázok | Posun udalosti zo streamu oblasti centra udalostí. Identifikátor posunu je jedinečný v oblasti streamu centra udalostí. |
| x-opt-publisher | povrázok | Názov vydavateľa, ak sa správa odoslala do koncového bodu vydavateľa. |
| x-opt-partition-key | povrázok | Kľúč oblasti príslušnej oblasti, ktorá uložila udalosť. |
Skontrolovať
Proces príjmu dokončíte výberom položky Dokončiť.
Voliteľne:
Výberom položky Zobrazovač príkazov zobrazte a skopírujte automatické príkazy vygenerované zo vstupov.
Automaticky odvodený formát údajov môžete zmeniť výberom požadovaného formátu z rozbaľovacieho zoznamu. Údaje sa čítajú z centra udalostí vo forme objektov EventData . Podporované formáty sú CSV, JSON, PSV, SCsv, SOHsv TSV, TXT a TSVE.
Preskúmajte rozšírené možnosti na základe typu údajov.
Ak údaje zobrazené v okne ukážky nie sú dokončené, možno budete potrebovať viac údajov na vytvorenie tabuľky so všetkými potrebnými údajovými poľami. Na načítanie nových údajov z centra udalostí použite nasledujúce príkazy:
- Zahodiť a načítať nové údaje: zahodí prezentované údaje a vyhľadá nové udalosti.
- Načítanie väčšieho počet údajov: Okrem už nájdených udalostí vyhľadá ďalšie udalosti.
Úprava stĺpcov
Poznámka
- V prípade tabuľkových formátov (CSV, TSV, PSV) nie je možné priradiť stĺpec dvakrát. Ak chcete priradiť k existujúcemu stĺpcu, najskôr odstráňte nový stĺpec.
- Nemôžete zmeniť existujúci typ stĺpca. Ak sa pokúsite priradiť stĺpec, ktorý má iný formát, pravdepodobne budete mať prázdne stĺpce.
Zmeny, ktoré môžete vykonať v tabuľke, závisia od nasledujúcich parametrov:
- Typ tabuľky je nový alebo existujúci
- Typ mapovania je nový alebo existujúci
| Typ tabuľky | Typ mapovania | Dostupné úpravy |
|---|---|---|
| Nová tabuľka | Nové priradenie | Premenovanie stĺpca, zmena typu údajov, zmena zdroja údajov, transformácia priradenia, pridanie stĺpca, odstránenie stĺpca |
| Existujúca tabuľka | Nové priradenie | Pridať stĺpec (v ktorom môžete potom zmeniť typ údajov, premenovať a aktualizovať) |
| Existujúca tabuľka | Existujúce priradenie | žiadne |
Transformácie mapovania
Niektoré priradenia formátov údajov (Parquet, JSON a Avro) podporujú jednoduché transformácie času ingestu. Ak chcete použiť transformácie mapovania, vytvorte alebo aktualizujte stĺpec v okne Upraviť stĺpce .
Transformácie mapovania možno vykonať v stĺpci typu reťazec alebo dátum a čas, pričom zdroj má typ údajov int alebo long. Podporované transformácie mapovania sú:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Priradenie schémy pre súbory Event Hubs Capture Avro
Jedným zo spôsobov, ako využívať údaje služby Event Hubs, je zaznamenávať udalosti prostredníctvom služby Azure Event Hubs v úložisku Azure Blob Storage alebo azure Data Lake Storage. Potom môžete zachytiť súbory tak, ako sú napísané pomocou údajového pripojenia Event Grid.
Schéma súborov na zaznamenanie sa líši od schémy pôvodnej udalosti odoslanej do služby Event Hubs. S týmto rozdielom by ste mali navrhnúť schému cieľovej tabuľky. Konkrétna údajová časť udalosti je zastúpená v súbore na zachytenie ako bajtové pole a toto pole sa automaticky dekóduje údajovým pripojením služby Event Grid služby Azure Data Explorer. Ďalšie konkrétne informácie o schéme súborov pre zachytenie údajov služby Event Hubs Avro nájdete v téme Skúmanie zachytených súborov Avro v službe Azure Event Hubs.
Ak chcete správne dekódovať údajovú časť udalosti:
BodyPriraďte pole zaznamenanej udalosti k stĺpcu typudynamicv cieľovej tabuľke.- Použite politiku aktualizácie, ktorá pomocou funkcie unicode_codepoints_to_string() konvertuje pole bajtov na čitateľný reťazec.
Rozšírené možnosti na základe typu údajov
Tabular (CSV, TSV, PSV):
Ak preberáte tabuľkové formáty v existujúcej tabuľke, môžete vybrať možnosť Rozšírená>schéma ponechať tabuľku. Tabuľkové údaje nemusia nevyhnutne obsahovať názvy stĺpcov, ktoré sa používajú na priradenie zdrojových údajov k existujúcim stĺpcom. Keď je táto možnosť začiarknuté, priradenie sa vykoná podľa poradia a schéma tabuľky zostáva rovnaká. Ak táto možnosť nezačiarknete, na prichádzajúce údaje sa vytvoria nové stĺpce bez ohľadu na štruktúru údajov.
Ak chcete použiť prvý riadok ako názvy stĺpcov, vyberte položku Rozšírený>prvý riadok je hlavička stĺpca.
JSON:
Ak chcete určiť delenie údajov JSON stĺpcom, vyberte položku Rozšírené>vnorené úrovne od 1 do 100.
Ak vyberiete položku Rozšírené>riadky vynechať JSON s chybami, údaje sa prejdú vo formáte JSON. Ak toto políčko začiarknete začiarknuté, údaje sa ingestujú vo formáte multijson.
Súhrn
V okne Príprava údajov sú všetky tri kroky označené zelenými značkami začiarknutia po úspešnom dokončení príjmu údajov. Kartu môžete vybrať na dotazovanie, zrušenie prijatia údajov alebo zobrazenie tabule súhrnu príjmu.
