Vytvoření datového připojení služby Event Hubs pro Azure Data Explorer
Azure Data Explorer nabízí příjem dat ze služby Event Hubs, což je platforma pro streamování velkých objemů dat a služba pro příjem událostí. Event Hubs dokáže zpracovávat miliony událostí za sekundu téměř v reálném čase.
V tomto článku se připojíte k centru událostí a ingestujete data do Azure Data Explorer. Přehled ingestování ze služby Event Hubs najdete v tématu Azure Event Hubs datové připojení.
Informace o tom, jak vytvořit připojení pomocí sad Kusto SDK, najdete v tématu Vytvoření datového připojení služby Event Hubs pomocí sad SDK.
Ukázky kódu založené na předchozích verzích sady SDK najdete v archivovaného článku.
Vytvoření datového připojení centra událostí
V této části navážete spojení mezi centrem událostí a tabulkou Azure Data Explorer. Pokud je toto připojení na místě, data se přenášejí z centra událostí do cílové tabulky. Pokud se centrum událostí přesune do jiného prostředku nebo předplatného, budete muset aktualizovat nebo znovu vytvořit připojení.
Požadavky
- Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure se nevyžaduje.
- Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.
- V clusteru Azure Data Explorer musí být nakonfigurované ingestování streamování.
Získání dat
V nabídce vlevo vyberte Dotaz.
Klikněte pravým tlačítkem na databázi, ve které chcete ingestovat data. Vyberte Získat data.
Source
V okně Načíst data je vybraná karta Zdroj .
V seznamu dostupných vyberte zdroj dat. V tomto příkladu ingestujete data ze služby Event Hubs.
Konfigurace
Vyberte cílovou databázi a tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.
Poznámka
Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporovány.
Vyplňte následující pole:
Nastavení Popis pole Předplatné ID předplatného, ve kterém se nachází prostředek centra událostí. Obor názvů centra událostí Název, který identifikuje váš obor názvů. Centrum událostí Centrum událostí, které chcete Skupina uživatelů Skupina příjemců definovaná ve vaší události Název datového připojení Název, který identifikuje vaše datové připojení. Rozšířené filtry Komprese Typ komprese datové části zpráv centra událostí. Vlastnosti systému událostí Systémové vlastnosti centra událostí. Pokud je v jedné zprávě události více záznamů, přidají se k první z nich systémové vlastnosti. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti. Počáteční datum načtení události Datové připojení načte existující události služby Event Hubs vytvořené po počátečním datu načtení události. Je možné načíst pouze události, které uchovává doba uchovávání služby Event Hubs. Pokud není zadané počáteční datum načtení události , je výchozím časem čas vytvoření datového připojení. Vyberte Další.
Zkontrolovat
Otevře se karta Kontrola s náhledem dat.
Pokud chcete dokončit proces příjmu dat, vyberte Dokončit.
Nepovinná možnost:
Pokud data, která vidíte v okně náhledu, nejsou úplná, můžete k vytvoření tabulky se všemi potřebnými datovými poli potřebovat další data. Pomocí následujících příkazů načtěte nová data z centra událostí:
Zahodit a načíst nová data: Zahodí prezentovaná data a vyhledá nové události.
Načtení dalších dat: Kromě již nalezených událostí vyhledá další události.
Poznámka
Pokud chcete zobrazit náhled dat, vaše centrum událostí musí odesílat události.
Vyberte Prohlížeč příkazů a zobrazte a zkopírujte automatické příkazy vygenerované ze vstupů.
Pomocí rozevíracího seznamu Soubor definice schématu změňte soubor, ze kterého je schéma odvozeno.
Automaticky odvozený formát dat můžete změnit výběrem požadovaného formátu z rozevíracího seznamu. Viz Formáty dat podporované službou Azure Data Explorer pro příjem dat.
Prozkoumejte pokročilé možnosti na základě datového typu.
Upravit sloupce
Poznámka
- U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat existující sloupec, nejprve odstraňte nový sloupec.
- Existující typ sloupce není možné změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.
Změny, které můžete v tabulce provést, závisí na následujících parametrech:
- Typ tabulky je nový nebo existující
- Typ mapování je nový nebo existující
Typ tabulky | Typ mapování | Dostupné úpravy |
---|---|---|
Nová tabulka | Nové mapování | Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce |
Existující tabulka | Nové mapování | Přidat sloupec (ve kterém pak můžete změnit datový typ, přejmenovat a aktualizovat) |
Existující tabulka | Existující mapování | žádné |
Mapování transformací
Některá mapování formátů dat (Parquet, JSON a Avro) podporují jednoduché transformace v době ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .
Transformace mapování je možné provádět u sloupce typu řetězec nebo datetime, přičemž zdroj má datový typ int nebo long. Mezi podporované transformace mapování patří:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Upřesnit možnosti na základě datového typu
Tabulkové (CSV, TSV, PSV):
Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat Upřesnit>Zachovat aktuální schéma tabulky. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud není tato možnost zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.
Pokud chcete použít první řádek jako názvy sloupců, vyberte Upřesnit>První řádek je záhlaví sloupce.
JSON:
Pokud chcete určit dělení sloupců dat JSON, vyberte Pokročilé>vnořené úrovně od 1 do 100.
Pokud vyberete Upřesnit>Ignorovat chyby formátu dat, data se ingestují ve formátu JSON. Pokud toto políčko nezaškrtnete, budou se data ingestovat ve formátu multijson.
Souhrn
V okně Příprava dat jsou všechny tři kroky po úspěšném dokončení příjmu dat označené zelenými značkami zaškrtnutí. Můžete zobrazit příkazy použité pro jednotlivé kroky nebo vybrat kartu pro dotazování, vizualizaci nebo odstranění přijatých dat.
Odebrání datového připojení centra událostí
Odeberte datové připojení prostřednictvím Azure Portal, jak je vysvětleno na kartě portálu.