Ingestování dat z centra událostí do Průzkumníka dat Azure Synapse

Článek
03/10/2024

Azure Synapse Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie. Azure Synapse Data Explorer nabízí příjem dat (načítání dat) ze služby Event Hubs, IoT Hubs a objektů blob zapsaných do kontejnerů objektů blob.

Azure Synapse Data Explorer nabízí příjem dat (načítání dat) ze služby Event Hubs, platformu pro streamování velkých objemů dat a službu pro příjem událostí. Event Hubs může zpracovávat miliony událostí za sekundu téměř v reálném čase. V tomto článku vytvoříte centrum událostí, připojíte se k němu z Průzkumníka dat Azure Synapse a zobrazíte tok dat v systému.

Požadavky

Předplatné Azure. Vytvořte bezplatný účet Azure.
Vytvoření fondu Průzkumníka dat pomocí nástroje Synapse Studio nebo webu Azure Portal

Vytvořte databázi Průzkumníka dat.

V nástroji Synapse Studio v levém podokně vyberte Data.

Vyberte + fond Průzkumníka dat (přidat nový zdroj) >a použijte následující informace:

Nastavení	Navrhovaná hodnota	Popis
Název fondu	contosodataexplorer	Název fondu Průzkumníka dat, který se má použít
Název	TestDatabase	Název databáze musí být v rámci clusteru jedinečný.
Výchozí doba uchovávání	365	Časové období (ve dnech), pro které je zaručeno, že jsou data k dispozici pro dotazování. Časový rozsah se začíná měřit od okamžiku, kdy jsou data ingestována.
Výchozí období mezipaměti	31	Časové období (ve dnech), pro které se mají uchovávat často dotazovaná data dostupná v úložišti SSD nebo paměti RAM, a ne v dlouhodobějším úložišti.

Výběrem možnosti Vytvořit vytvořte databázi. Vytvoření obvykle trvá méně než minutu.

Vytvoření cílové tabulky, do které služba Event Hubs bude odesílat data
1. V nástroji Synapse Studio v levém podokně vyberte Vývoj.
2. V části Skripty KQL vyberte + (přidat nový prostředek) >skript KQL. V pravém podokně můžete svůj skript pojmenovat.
3. V nabídce Připojení vyberte contosodataexplorer.
4. V nabídce Použít databázi vyberte TestDatabase.
5. Vložte následující příkaz a výběrem příkazu Spustit vytvořte tabulku.
```
.create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
```
  Tip
  
  Ověřte, že se tabulka úspěšně vytvořila. V levém podokně vyberte Data, vyberte další nabídku contosodataexplorer a pak vyberte Aktualizovat. V části contosodataexplorer rozbalte tabulky a ujistěte se, že se v seznamu zobrazuje tabulka TestTable.
6. Zkopírujte následující příkaz do okna a výběrem možnosti Spustit namapujte příchozí data JSON na názvy sloupců a datové typy tabulky (TestTable).
```
.create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp", "Properties": {"Path": "$.timeStamp"}},{"column":"Name", "Properties": {"Path":"$.name"}} ,{"column":"Metric", "Properties": {"Path":"$.metric"}}, {"column":"Source", "Properties": {"Path":"$.source"}}]'
```
Doporučujeme použít spravovanou identitu přiřazenou uživatelem nebo spravovanou identitu přiřazenou systémem pro datové připojení (volitelné).
Ukázková aplikace , která generuje data a odesílá je do centra událostí. Stáhněte si ukázkovou aplikaci do systému.
Visual Studio 2019 pro spuštění ukázkové aplikace

Přihlaste se k portálu Azure.

Vytvoření služby Event Hub

Vytvořte centrum událostí pomocí šablony Azure Resource Manageru na webu Azure Portal.

Pokud chcete vytvořit centrum událostí, spusťte nasazení pomocí následujícího tlačítka. Klikněte pravým tlačítkem myši a vyberte Otevřít v novém okně, abyste mohli postupovat podle zbývajících kroků v tomto článku.

Tlačítko Nasadit do Azure vás přejde na web Azure Portal.
Vyberte předplatné, do kterého chcete centrum událostí vytvořit, a vytvořte skupinu prostředků s názvem test-hub-rg.

Do formuláře zadejte následující informace.

Pro všechna nastavení, která nejsou uvedená v následující tabulce, použijte výchozí hodnoty.

Nastavení	Navrhovaná hodnota	Popis pole
Předplatné	Vaše předplatné	Vyberte předplatné Azure, které chcete použít pro centrum událostí.
Skupina prostředků	test-hub-rg	Vytvoříte novou skupinu prostředků.
Umístění	USA – západ	V tomto článku vyberte USA – západ. Pro produkční systém vyberte oblast, která nejlépe vyhovuje vašim potřebám. Vytvořte obor názvů centra událostí ve stejném umístění jako cluster Azure Synapse Data Explorer pro zajištění nejlepšího výkonu (nejdůležitější pro obory názvů centra událostí s vysokou propustností).
Název oboru názvů	Jedinečný název oboru názvů	Zvolte jedinečný název, který identifikuje váš obor názvů. Například mytestnamespace. K názvu, který zadáte, bude připojen název domény servicebus.windows.net. Název může obsahovat pouze písmena, číslice a pomlčky. Musí začínat písmenem a končit písmenem nebo číslicí. Počet znaků musí být mezi 6 a 50.
Název centra událostí	test-hub	Centrum událostí se nachází pod oborem názvů, který poskytuje jedinečný kontejner oborů. Název centra událostí musí být jedinečný v rámci oboru názvů.
Název skupiny uživatelů	test-group	Skupiny uživatelů umožňují, aby měla každá z aplikací samostatné zobrazení streamu událostí.

Vyberte Zkontrolovat a vytvořit.
Projděte si souhrn vytvořených prostředků. Vyberte Vytvořit, což potvrzuje, že vytváříte prostředky ve vašem předplatném.
Pokud chcete proces zřizování monitorovat, vyberte na panelu nástrojů Oznámení. Úspěšné nasazení může trvat několik minut, můžete teď ale přejít na další krok.

Důležité informace o ověřování

V závislosti na typu identity používáte k ověření v centru událostí možná budete potřebovat několik dalších konfigurací.

Pokud se pomocí centra událostí ověřujete pomocí spravované identity přiřazené uživatelem, přejděte do sítě centra >událostí a pak v části Povolit přístup vyberte Všechny sítě a uložte změny.
Pokud se pomocí centra událostí ověřujete pomocí spravované identity přiřazené systémem, přejděte do sítě centra >událostí a pak povolte přístup ze všech sítí nebo v části Povolit přístup, vyberte Vybrané sítě, vyberte Povolit důvěryhodné služby Microsoft obejít tuto bránu firewall a uložit změny.

Připojení do centra událostí

Teď se připojíte k centru událostí z fondu Průzkumníka dat. Když je toto připojení na místě, data, která proudí do streamů centra událostí do testovací tabulky, kterou jste vytvořili dříve v tomto článku.

Výběrem možnosti Oznámení na panelu nástrojů ověřte, že nasazení centra událostí proběhlo úspěšně.
Ve fondu Průzkumníka dat, který jste vytvořili, vyberte Databázi>TestDatabase.
Vyberte Datová připojení a Přidejte datové připojení.

Vytvoření datového připojení (Preview)

Vyplňte formulář následujícími informacemi a pak vyberte Vytvořit.

Data connection pane Event Hub - Azure Synapse Data Explorer.

Nastavení	Navrhovaná hodnota	Popis pole
Název datového připojení	test-hub-connection	Název připojení, které chcete vytvořit v Průzkumníku dat Azure Synapse.
Předplatné		ID předplatného, ve kterém se nachází prostředek centra událostí. Toto pole je automaticky vyplněné.
Obor názvů centra událostí	Jedinečný název oboru názvů	Název, který jste zvolili dříve a který identifikuje váš obor názvů
Centrum událostí	test-hub	Centrum událostí, které jste vytvořili.
Skupina uživatelů	test-group	Skupina příjemců definovaná v centru událostí, které jste vytvořili.
Vlastnosti systému událostí	Výběr relevantních vlastností	Systémové vlastnosti centra událostí. Pokud existuje více záznamů na zprávu události, vlastnosti systému se přidají do prvního záznamu. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
Komprese	Nic	Typ komprese datové části zpráv centra událostí. Podporované typy komprese: None, Gzip.
Spravovaná identita	Přiřazeno systémem	Spravovaná identita používaná clusterem Průzkumníka dat pro přístup ke čtení z centra událostí. Poznámka: Po vytvoření datového připojení: - Identity přiřazené systémem se automaticky vytvoří, pokud neexistují. – Spravovaná identita se automaticky přiřadí roli příjemce dat služby Azure Event Hubs a přidá se do clusteru Průzkumníka dat. Doporučujeme ověřit, jestli byla role přiřazená a že se identita přidala do clusteru.

Cílová tabulka

Existují dvě možnosti směrování přijatých dat: statická a dynamická. V tomto článku použijete statické směrování, kde zadáte název tabulky, formát dat a mapování jako výchozí hodnoty. Pokud zpráva centra událostí obsahuje informace o směrování dat, tyto informace o směrování přepíší výchozí nastavení.

Vyplňte následující nastavení směrování:

Default routing settings for ingesting data to Event Hub - Azure Synapse Data Explorer.

Nastavení	Navrhovaná hodnota	Popis pole
Název tabulky	TestTable	Tabulka, kterou jste vytvořili v databázi TestDatabase
Formát dat	JSON	Podporované formáty jsou Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO a W3CLOG.
mapování.	TestMapping	Mapování, které jste vytvořili v TestDatabase, které mapuje příchozí data na názvy sloupců a datové typy TestTable. Povinné pro JSON, MULTILINE JSON a AVRO a volitelné pro jiné formáty.

Poznámka:

Nemusíte zadávat všechna výchozí nastavení směrování. Jsou také přijata částečná nastavení.
Po vytvoření datového připojení se ingestují pouze události, které se zařadí do fronty.

Vyberte Vytvořit.

Mapování vlastností systému událostí

Poznámka:

Systémové vlastnosti jsou podporovány pro json a tabulkové formáty (tsvcsvatd.) a nejsou podporovány u komprimovaných dat. Při použití nepodporovaného formátu budou data stále ingestována, ale vlastnosti budou ignorovány.
U tabulkových dat jsou systémové vlastnosti podporovány pouze pro zprávy událostí s jedním záznamem.
U dat JSON jsou pro zprávy událostí s více záznamy podporovány také systémové vlastnosti. V takových případech se systémové vlastnosti přidají pouze k prvnímu záznamu zprávy události.
Pro csv mapování se vlastnosti přidají na začátek záznamu v pořadí uvedeném v tabulce Vlastností systému.
Pro json mapování se vlastnosti přidají podle názvů vlastností v tabulce Vlastností systému.

Pokud jste v části Zdroj dat tabulky vybrali systémové vlastnosti událostí, musíte do schématu tabulky a mapování zahrnout systémové vlastnosti.

Zkopírování připojovacího řetězce

Když spustíte ukázkovou aplikaci uvedenou v části Požadavky, potřebujete připojovací řetězec pro obor názvů centra událostí.

V oboru názvů centra událostí, který jste vytvořili, vyberte zásady sdíleného přístupu a pak RootManageSharedAccessKey.
Zkopírujte připojovací řetězec – primární klíč. Tuto hodnotu vložíte v další části.

Generování ukázkových dat

K vygenerování dat použijte ukázkovou aplikaci, kterou jste stáhli.

Otevřete řešení ukázkové aplikace v sadě Visual Studio.
V souboru program.cs aktualizujte konstantu eventHubName na název centra událostí a aktualizujte konstantu connectionString na připojovací řetězec, kterou jste zkopírovali z oboru názvů centra událostí.
```
const string eventHubName = "test-hub";
// Copy the connection string ("Connection string-primary key") from your Event Hub namespace.
const string connectionString = @"<YourConnectionString>";
```
Sestavte a spusťte aplikaci. Aplikace odesílá zprávy do centra událostí a každých 10 sekund vytiskne její stav.
Jakmile aplikace odešle několik zpráv, přejděte k dalšímu kroku: zkontrolujte tok dat do centra událostí a testovací tabulku.

Kontrola toku dat

S aplikací, která generuje data, teď můžete vidět tok těchto dat z centra událostí do tabulky ve vašem clusteru.

Na webu Azure Portal se v rámci centra událostí zobrazuje špička v aktivitě, když je aplikace spuštěná.
Pokud chcete zkontrolovat, kolik zpráv se zatím dostalo do databáze, spusťte v testovací databázi následující dotaz.
```
TestTable
| count
```
Pokud chcete zobrazit obsah zpráv, spusťte následující dotaz:
```
TestTable
```
Sada výsledků by měla vypadat jako na následujícím obrázku:
Poznámka:
- Azure Synapse Data Explorer má zásadu agregace (dávkování) pro příjem dat, která je navržená k optimalizaci procesu příjmu dat. Výchozí zásada dávkování je nakonfigurovaná tak, aby zapečetila dávku jednou z následujících podmínek: maximální doba zpoždění 5 minut, celková velikost 1G nebo 1000 objektů blob. Proto může docházet k latenci. Další informace najdete v tématu Zásady dávkování.
- Příjem dat centra událostí zahrnuje dobu odezvy centra událostí 10 sekund nebo 1 MB.
- Pokud chcete zkrátit dobu odezvy, nakonfigurujte tabulku tak, aby podporovala streamování. Viz zásady streamování.

Vyčištění prostředků

Pokud nechcete centrum událostí znovu používat, vyčistěte test-hub-rg, abyste se vyhnuli účtování nákladů.

Úplně nalevo na webu Azure Portal vyberte Skupiny prostředků a pak vyberte skupinu prostředků, kterou jste vytvořili.

Pokud je nabídka vlevo sbalená, vyberte ji a rozbalte ji.
Ve skupině prostředků test-resource-group vyberte Odstranit skupinu prostředků.
V novém okně zadejte název skupiny prostředků, kterou chcete odstranit (test-resource-group), a pak vyberte Odstranit.

Sdílet prostřednictvím

Ingestování dat z centra událostí do Průzkumníka dat Azure Synapse

Požadavky