Ingestování dat z centra událostí do Průzkumníka dat Azure Synapse
Azure Synapse Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie. Azure Synapse Data Explorer nabízí příjem dat (načítání dat) ze služby Event Hubs, IoT Hubs a objektů blob zapsaných do kontejnerů objektů blob.
Azure Synapse Data Explorer nabízí příjem dat (načítání dat) ze služby Event Hubs, platformu pro streamování velkých objemů dat a službu pro příjem událostí. Event Hubs může zpracovávat miliony událostí za sekundu téměř v reálném čase. V tomto článku vytvoříte centrum událostí, připojíte se k němu z Průzkumníka dat Azure Synapse a zobrazíte tok dat v systému.
Požadavky
Předplatné Azure. Vytvořte bezplatný účet Azure.
Vytvoření fondu Průzkumníka dat pomocí nástroje Synapse Studio nebo webu Azure Portal
Vytvořte databázi Průzkumníka dat.
V nástroji Synapse Studio v levém podokně vyberte Data.
Vyberte + fond Průzkumníka dat (přidat nový zdroj) >a použijte následující informace:
Nastavení Navrhovaná hodnota Popis Název fondu contosodataexplorer Název fondu Průzkumníka dat, který se má použít Název TestDatabase Název databáze musí být v rámci clusteru jedinečný. Výchozí doba uchovávání 365 Časové období (ve dnech), pro které je zaručeno, že jsou data k dispozici pro dotazování. Časový rozsah se začíná měřit od okamžiku, kdy jsou data ingestována. Výchozí období mezipaměti 31 Časové období (ve dnech), pro které se mají uchovávat často dotazovaná data dostupná v úložišti SSD nebo paměti RAM, a ne v dlouhodobějším úložišti. Výběrem možnosti Vytvořit vytvořte databázi. Vytvoření obvykle trvá méně než minutu.
Vytvoření cílové tabulky, do které služba Event Hubs bude odesílat data
V nástroji Synapse Studio v levém podokně vyberte Vývoj.
V části Skripty KQL vyberte + (přidat nový prostředek) >skript KQL. V pravém podokně můžete svůj skript pojmenovat.
V nabídce Připojení vyberte contosodataexplorer.
V nabídce Použít databázi vyberte TestDatabase.
Vložte následující příkaz a výběrem příkazu Spustit vytvořte tabulku.
.create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
Tip
Ověřte, že se tabulka úspěšně vytvořila. V levém podokně vyberte Data, vyberte další nabídku contosodataexplorer a pak vyberte Aktualizovat. V části contosodataexplorer rozbalte tabulky a ujistěte se, že se v seznamu zobrazuje tabulka TestTable.
Zkopírujte následující příkaz do okna a výběrem možnosti Spustit namapujte příchozí data JSON na názvy sloupců a datové typy tabulky (TestTable).
.create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp", "Properties": {"Path": "$.timeStamp"}},{"column":"Name", "Properties": {"Path":"$.name"}} ,{"column":"Metric", "Properties": {"Path":"$.metric"}}, {"column":"Source", "Properties": {"Path":"$.source"}}]'
Doporučujeme použít spravovanou identitu přiřazenou uživatelem nebo spravovanou identitu přiřazenou systémem pro datové připojení (volitelné).
Ukázková aplikace , která generuje data a odesílá je do centra událostí. Stáhněte si ukázkovou aplikaci do systému.
Visual Studio 2019 pro spuštění ukázkové aplikace
Přihlaste se k portálu Azure Portal.
Přihlaste se k portálu Azure.
Vytvoření služby Event Hub
Vytvořte centrum událostí pomocí šablony Azure Resource Manageru na webu Azure Portal.
Pokud chcete vytvořit centrum událostí, spusťte nasazení pomocí následujícího tlačítka. Klikněte pravým tlačítkem myši a vyberte Otevřít v novém okně, abyste mohli postupovat podle zbývajících kroků v tomto článku.
Tlačítko Nasadit do Azure vás přejde na web Azure Portal.
Vyberte předplatné, do kterého chcete centrum událostí vytvořit, a vytvořte skupinu prostředků s názvem test-hub-rg.
Do formuláře zadejte následující informace.
Pro všechna nastavení, která nejsou uvedená v následující tabulce, použijte výchozí hodnoty.
Nastavení Navrhovaná hodnota Popis pole Předplatné Vaše předplatné Vyberte předplatné Azure, které chcete použít pro centrum událostí. Skupina prostředků test-hub-rg Vytvoříte novou skupinu prostředků. Umístění USA – západ V tomto článku vyberte USA – západ. Pro produkční systém vyberte oblast, která nejlépe vyhovuje vašim potřebám. Vytvořte obor názvů centra událostí ve stejném umístění jako cluster Azure Synapse Data Explorer pro zajištění nejlepšího výkonu (nejdůležitější pro obory názvů centra událostí s vysokou propustností). Název oboru názvů Jedinečný název oboru názvů Zvolte jedinečný název, který identifikuje váš obor názvů. Například mytestnamespace. K názvu, který zadáte, bude připojen název domény servicebus.windows.net. Název může obsahovat pouze písmena, číslice a pomlčky. Musí začínat písmenem a končit písmenem nebo číslicí. Počet znaků musí být mezi 6 a 50. Název centra událostí test-hub Centrum událostí se nachází pod oborem názvů, který poskytuje jedinečný kontejner oborů. Název centra událostí musí být jedinečný v rámci oboru názvů. Název skupiny uživatelů test-group Skupiny uživatelů umožňují, aby měla každá z aplikací samostatné zobrazení streamu událostí. Vyberte Zkontrolovat a vytvořit.
Projděte si souhrn vytvořených prostředků. Vyberte Vytvořit, což potvrzuje, že vytváříte prostředky ve vašem předplatném.
Pokud chcete proces zřizování monitorovat, vyberte na panelu nástrojů Oznámení. Úspěšné nasazení může trvat několik minut, můžete teď ale přejít na další krok.
Důležité informace o ověřování
V závislosti na typu identity používáte k ověření v centru událostí možná budete potřebovat několik dalších konfigurací.
Pokud se pomocí centra událostí ověřujete pomocí spravované identity přiřazené uživatelem, přejděte do sítě centra >událostí a pak v části Povolit přístup vyberte Všechny sítě a uložte změny.
Pokud se pomocí centra událostí ověřujete pomocí spravované identity přiřazené systémem, přejděte do sítě centra >událostí a pak povolte přístup ze všech sítí nebo v části Povolit přístup, vyberte Vybrané sítě, vyberte Povolit důvěryhodné služby Microsoft obejít tuto bránu firewall a uložit změny.
Připojení do centra událostí
Teď se připojíte k centru událostí z fondu Průzkumníka dat. Když je toto připojení na místě, data, která proudí do streamů centra událostí do testovací tabulky, kterou jste vytvořili dříve v tomto článku.
Výběrem možnosti Oznámení na panelu nástrojů ověřte, že nasazení centra událostí proběhlo úspěšně.
Ve fondu Průzkumníka dat, který jste vytvořili, vyberte Databázi>TestDatabase.
Vyberte Datová připojení a Přidejte datové připojení.
Vytvoření datového připojení (Preview)
Vyplňte formulář následujícími informacemi a pak vyberte Vytvořit.
Nastavení | Navrhovaná hodnota | Popis pole |
---|---|---|
Název datového připojení | test-hub-connection | Název připojení, které chcete vytvořit v Průzkumníku dat Azure Synapse. |
Předplatné | ID předplatného, ve kterém se nachází prostředek centra událostí. Toto pole je automaticky vyplněné. | |
Obor názvů centra událostí | Jedinečný název oboru názvů | Název, který jste zvolili dříve a který identifikuje váš obor názvů |
Centrum událostí | test-hub | Centrum událostí, které jste vytvořili. |
Skupina uživatelů | test-group | Skupina příjemců definovaná v centru událostí, které jste vytvořili. |
Vlastnosti systému událostí | Výběr relevantních vlastností | Systémové vlastnosti centra událostí. Pokud existuje více záznamů na zprávu události, vlastnosti systému se přidají do prvního záznamu. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti. |
Komprese | Nic | Typ komprese datové části zpráv centra událostí. Podporované typy komprese: None, Gzip. |
Spravovaná identita | Přiřazeno systémem | Spravovaná identita používaná clusterem Průzkumníka dat pro přístup ke čtení z centra událostí. Poznámka: Po vytvoření datového připojení: - Identity přiřazené systémem se automaticky vytvoří, pokud neexistují. – Spravovaná identita se automaticky přiřadí roli příjemce dat služby Azure Event Hubs a přidá se do clusteru Průzkumníka dat. Doporučujeme ověřit, jestli byla role přiřazená a že se identita přidala do clusteru. |
Cílová tabulka
Existují dvě možnosti směrování přijatých dat: statická a dynamická. V tomto článku použijete statické směrování, kde zadáte název tabulky, formát dat a mapování jako výchozí hodnoty. Pokud zpráva centra událostí obsahuje informace o směrování dat, tyto informace o směrování přepíší výchozí nastavení.
Vyplňte následující nastavení směrování:
Nastavení Navrhovaná hodnota Popis pole Název tabulky TestTable Tabulka, kterou jste vytvořili v databázi TestDatabase Formát dat JSON Podporované formáty jsou Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO a W3CLOG. mapování. TestMapping Mapování, které jste vytvořili v TestDatabase, které mapuje příchozí data na názvy sloupců a datové typy TestTable. Povinné pro JSON, MULTILINE JSON a AVRO a volitelné pro jiné formáty. Poznámka:
- Nemusíte zadávat všechna výchozí nastavení směrování. Jsou také přijata částečná nastavení.
- Po vytvoření datového připojení se ingestují pouze události, které se zařadí do fronty.
Vyberte Vytvořit.
Mapování vlastností systému událostí
Poznámka:
- Systémové vlastnosti jsou podporovány pro
json
a tabulkové formáty (tsv
csv
atd.) a nejsou podporovány u komprimovaných dat. Při použití nepodporovaného formátu budou data stále ingestována, ale vlastnosti budou ignorovány. - U tabulkových dat jsou systémové vlastnosti podporovány pouze pro zprávy událostí s jedním záznamem.
- U dat JSON jsou pro zprávy událostí s více záznamy podporovány také systémové vlastnosti. V takových případech se systémové vlastnosti přidají pouze k prvnímu záznamu zprávy události.
- Pro
csv
mapování se vlastnosti přidají na začátek záznamu v pořadí uvedeném v tabulce Vlastností systému. - Pro
json
mapování se vlastnosti přidají podle názvů vlastností v tabulce Vlastností systému.
Pokud jste v části Zdroj dat tabulky vybrali systémové vlastnosti událostí, musíte do schématu tabulky a mapování zahrnout systémové vlastnosti.
Zkopírování připojovacího řetězce
Když spustíte ukázkovou aplikaci uvedenou v části Požadavky, potřebujete připojovací řetězec pro obor názvů centra událostí.
V oboru názvů centra událostí, který jste vytvořili, vyberte zásady sdíleného přístupu a pak RootManageSharedAccessKey.
Zkopírujte připojovací řetězec – primární klíč. Tuto hodnotu vložíte v další části.
Generování ukázkových dat
K vygenerování dat použijte ukázkovou aplikaci, kterou jste stáhli.
Otevřete řešení ukázkové aplikace v sadě Visual Studio.
V souboru program.cs aktualizujte konstantu
eventHubName
na název centra událostí a aktualizujte konstantuconnectionString
na připojovací řetězec, kterou jste zkopírovali z oboru názvů centra událostí.const string eventHubName = "test-hub"; // Copy the connection string ("Connection string-primary key") from your Event Hub namespace. const string connectionString = @"<YourConnectionString>";
Sestavte a spusťte aplikaci. Aplikace odesílá zprávy do centra událostí a každých 10 sekund vytiskne její stav.
Jakmile aplikace odešle několik zpráv, přejděte k dalšímu kroku: zkontrolujte tok dat do centra událostí a testovací tabulku.
Kontrola toku dat
S aplikací, která generuje data, teď můžete vidět tok těchto dat z centra událostí do tabulky ve vašem clusteru.
Na webu Azure Portal se v rámci centra událostí zobrazuje špička v aktivitě, když je aplikace spuštěná.
Pokud chcete zkontrolovat, kolik zpráv se zatím dostalo do databáze, spusťte v testovací databázi následující dotaz.
TestTable | count
Pokud chcete zobrazit obsah zpráv, spusťte následující dotaz:
TestTable
Sada výsledků by měla vypadat jako na následujícím obrázku:
Poznámka:
- Azure Synapse Data Explorer má zásadu agregace (dávkování) pro příjem dat, která je navržená k optimalizaci procesu příjmu dat. Výchozí zásada dávkování je nakonfigurovaná tak, aby zapečetila dávku jednou z následujících podmínek: maximální doba zpoždění 5 minut, celková velikost 1G nebo 1000 objektů blob. Proto může docházet k latenci. Další informace najdete v tématu Zásady dávkování.
- Příjem dat centra událostí zahrnuje dobu odezvy centra událostí 10 sekund nebo 1 MB.
- Pokud chcete zkrátit dobu odezvy, nakonfigurujte tabulku tak, aby podporovala streamování. Viz zásady streamování.
Vyčištění prostředků
Pokud nechcete centrum událostí znovu používat, vyčistěte test-hub-rg, abyste se vyhnuli účtování nákladů.
Úplně nalevo na webu Azure Portal vyberte Skupiny prostředků a pak vyberte skupinu prostředků, kterou jste vytvořili.
Pokud je nabídka vlevo sbalená, vyberte
ji a rozbalte ji.
Ve skupině prostředků test-resource-group vyberte Odstranit skupinu prostředků.
V novém okně zadejte název skupiny prostředků, kterou chcete odstranit (test-resource-group), a pak vyberte Odstranit.
Další kroky
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro