Filtrování a ingestování do Azure Data Explorer pomocí Stream Analytics bez editoru kódu

Článek
06/01/2023

Tento článek popisuje, jak můžete pomocí editoru bez kódu snadno vytvořit úlohu Stream Analytics. Nepřetržitě čte z vaší služby Event Hubs, filtruje příchozí data a výsledky průběžně zapisuje do Azure Data Explorer.

Požadavky

Vaše Azure Event Hubs a prostředky Azure Data Explorer musí být veřejně přístupné a nesmí být za bránou firewall ani zabezpečené v azure Virtual Network
Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Vývoj úlohy Stream Analytics pro filtrování a ingestování dat v reálném čase

V Azure Portal vyhledejte a vyberte instanci Azure Event Hubs.
Vyberte Funkce>Zpracovávat data a pak na kartě Filtrovat a ukládat data do Azure Data Explorer vyberte Spustit.
Zadejte název úlohy Stream Analytics a pak vyberte Vytvořit.
V okně Event Hubs zadejte typ serializace dat a metodu ověřování , kterou úloha použije pro připojení ke službě Event Hubs. Potom vyberte Připojit.
Když se připojení úspěšně naváže a datové streamy proudí do vaší instance služby Event Hubs, okamžitě uvidíte dvě věci:
- Pole, která se nacházejí ve vstupních datech. Můžete zvolit Přidat pole nebo vybrat symbol tří teček vedle pole a odebrat ho, přejmenovat ho nebo změnit jeho typ.
- Živá ukázka příchozích dat v tabulce náhledu dat v zobrazení diagramu Automaticky se pravidelně aktualizuje. Výběrem možnosti Pozastavit náhled streamování zobrazíte statické zobrazení ukázkových vstupních dat.
Pokud chcete data agregovat, vyberte dlaždici Filtr . V oblasti Filtr vyberte pole pro filtrování příchozích dat pomocí podmínky.
Vyberte dlaždici Spravovat . Na konfiguračním panelu Spravovat pole zvolte pole, která chcete vypisovat do centra událostí. Pokud chcete přidat všechna pole, vyberte Přidat všechna pole.
Vyberte dlaždici Azure Data Explorer. Na konfiguračním panelu vyplňte potřebné parametry a připojte se.

Poznámka

Tabulka musí existovat ve vybrané databázi a její schéma musí přesně odpovídat počtu polí a jejich typům vygenerovaným náhledem dat.
Volitelně můžete vybrat Získat statický náhled nebo Aktualizovat statický náhled a zobrazit náhled dat, která se budou ingestovat v centru událostí.
Vyberte Uložit a pak vyberte Spustit úlohu Stream Analytics.
Pokud chcete spustit úlohu, zadejte:
- Počet jednotek streamování (SU), se kterými se úloha spouští. SU představují množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme začít se třemi a pak podle potřeby upravit.
- Zpracování chyb výstupních dat – umožňuje určit požadované chování, když výstup úlohy do cíle selže kvůli chybám dat. Ve výchozím nastavení úloha opakuje pokusy, dokud operace zápisu neuspěje. Tyto výstupní události můžete také zrušit.
Jakmile vyberete Spustit, úloha se spustí během dvou minut a metriky se otevřou v oddílu karty níže.

Úlohu můžete zobrazit také v části Zpracování dat na kartě Úlohy Stream Analytics . Vyberte Otevřít metriky a podle potřeby ji monitorujte nebo ji zastavte a restartujte.