Použití editoru bez kódu Azure Stream Analytics k transformaci a ukládání dat v databázi Azure SQL

Tento článek popisuje, jak můžete pomocí editoru kódu snadno vytvořit úlohu Stream Analytics, která průběžně čte data z instance služby Event Hubs (centrum událostí), transformuje data a pak zapisuje výsledky do databáze Azure SQL.

Požadavky

Vaše prostředky služby Azure Event Hubs a Azure SQL Database musí být veřejně přístupné a nesmí se nacházet za bránou firewall nebo zabezpečené v síti Azure Virtual Network. Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Pokud chcete vyzkoušet kroky v tomto článku, postupujte takto.

  • Pokud ho ještě nemáte, vytvořte centrum událostí. Vygenerujte data v centru událostí. Na stránce Event Hubs Instance v nabídce vlevo vyberte Vygenerovat data (Preview), vyberte Burzovní data pro datovou sadu a pak vyberte Odeslat a odešlete ukázková data do Event Hub. Tento krok je povinný, pokud chcete otestovat kroky v tomto článku.

    Snímek obrazovky se stránkou Generovat data (ve verzi Preview) instance služby Event Hubs

  • Vytvořte databázi Azure SQL. Tady je několik důležitých bodů, které je potřeba při vytváření databáze poznamenat.

    1. Na stránce Základy vyberte Vytvořit nový pro server. Potom na stránce Vytvořit server služby SQL Database vyberte Použít ověřování SQL a zadejte ID uživatele a heslo správce.

    2. Na stránce Sítě postupujte takto:

      1. Povolte veřejný koncový bod.
      2. U možnosti Povolit službám a prostředkům Azure přístup k tomuto serveru vyberte Ano.
      3. U možnosti Přidat aktuální IP adresu klienta vyberte Ano.

    3. Na stránce Další nastavení vyberte Možnost Žádné pro použití existujících dat.

    4. V článku vynechejte kroky v částech "Dotazování databáze" a "Vyčištění prostředků".

    5. Pokud chcete otestovat kroky, vytvořte v databázi SQL tabulku pomocí editoru dotazů (Preview).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Vytvoření úlohy Stream Analytics pomocí editoru bez kódu

V této části vytvoříte úlohu Azure Stream Analytics pomocí editoru bez kódu. Úloha transformuje streamování dat z instance služby Event Hubs (centrum událostí) a uloží výsledná data do databáze Azure SQL.

  1. Na webu Azure Portal přejděte na stránku Instance služby Event Hubs pro vaše centrum událostí.

  2. V nabídce vlevo vyberte Funkce>Zpracovat data a pak na kartě Transformace a ukládání dat do databázové karty SQL vyberte Start.

    Snímek obrazovky znázorňující kartu

  3. Zadejte název úlohy Stream Analytics a pak vyberte Vytvořit. Vpravo se zobrazí diagram úlohy Stream Analytics s oknem Event Hubs.

    Snímek obrazovky znázorňující, kde zadat název úlohy

  4. V okně centra událostí zkontrolujte nastavení serializace a režimu ověřování a vyberte Připojit.

    Snímek obrazovky znázorňující konfiguraci připojení služby Event Hubs

  5. Když se připojení úspěšně naváže a máte data v instanci služby Event Hubs, zobrazí se dvě věci:

    • Pole, která se nacházejí ve vstupních datech Můžete zvolit Přidat pole nebo vybrat tři tečky vedle pole, které chcete odebrat, přejmenovat nebo změnit jeho typ.

      Snímek obrazovky se seznamem polí služby Event Hubs, kde můžete odebrat, přejmenovat nebo změnit typ pole

    • Živá ukázka příchozích dat v tabulce Náhled dat pod zobrazením diagramu. Pravidelně se aktualizuje. Pokud chcete zobrazit statické zobrazení ukázkových vstupních dat, můžete vybrat Pozastavit náhled streamování.

      Snímek obrazovky znázorňující ukázková data v části Náhled dat

  6. Vyberte dlaždici „Seskupit podle“ pro agregaci dat. Na panelu Seskupit podle konfigurace můžete zadat pole, podle kterého chcete seskupit, spolu s časovým oknem.

    V následujícím příkladu se používá průměr ceny a symbolu .

    Snímek obrazovky, který znázorňuje konfiguraci operátoru 'group by'.

  7. Výsledky kroku můžete ověřit v části Náhled dat.

    Snímek obrazovky znázorňující náhled dat pro skupinu podle operátoru

  8. Vyberte Spravujte pole. V konfiguračním panelu Spravovat pole vyberte pole, která chcete zobrazit, výběrem možnosti Přidat pole -> - pole.

    Pokud chcete přidat všechna pole, vyberte Přidat všechna pole. Při přidávání pole můžete pro výstup zadat jiný název. Například AVG_Value na Value. Po uložení výběrů se data zobrazí v podokně Náhled dat.

    V následujícím příkladu je vybrán Symbol a AVG_Value. Symbol se mapuje na symbol a AVG_Value se mapuje na cenu.

    Snímek obrazovky znázorňující konfiguraci operátoru správy polí

  9. Vyberte dlaždici SQL . Na konfiguračním panelu služby SQL Database vyplňte potřebné parametry a připojte se. Pokud chcete, aby se tabulka automaticky vybrala, vyberte Možnost Načíst existující tabulku . V následujícím příkladu je [dbo].[stocks] vybráno. Pak vyberte Připojit.

    Poznámka:

    Schéma tabulky, kterou zvolíte k zápisu, musí přesně odpovídat počtu polí a jejich typům, které generuje náhled dat.

    Snímek obrazovky znázorňující konfiguraci výstupu databáze SQL

  10. V podokně Náhled dat se zobrazí náhled dat přijatý v databázi SQL.

    Snímek obrazovky znázorňující možnost Získat statický náhled nebo Aktualizovat statický náhled

  11. Vyberte Uložit a pak vyberte Spustit úlohu Stream Analytics.

    Snímek obrazovky s možnostmi Uložit a Spustit

  12. Pokud chcete úlohu spustit, zadejte:

    • Počet jednotek streamování (SU), se kterými se úloha spouští. SU představuje množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme, abyste začali se třemi a pak podle potřeby upravte.

    • Zpracování chyb výstupních dat – Umožňuje určit požadované chování, když se výstup úlohy do cíle nezdaří kvůli chybám dat. Ve výchozím nastavení se vaše úloha opakuje, dokud operace zápisu nebude úspěšná. Můžete se také rozhodnout, že tyto výstupní události zahodíte.

      Snímek obrazovky znázorňující možnosti spuštění úlohy Stream Analytics, kde můžete změnit čas výstupu, nastavit počet jednotek streamování a vybrat možnosti zpracování chyb výstupních dat

  13. Po výběru možnosti Spustit se úloha spustí do dvou minut. V dolním podokně se zobrazí panel metrik . Aktualizace tohoto panelu nějakou dobu trvá. Pro výběr Obnovit v pravém horním rohu panelu obnovte graf. Přejděte k dalšímu kroku na samostatné kartě nebo okně webového prohlížeče.

    Snímek obrazovky znázorňující metriky úlohy po jejím spuštění

    Úlohu můžete zobrazit také v části Zpracovat data na kartě Úlohy Stream Analytics. Vyberte Otevřít metriky , abyste ji mohli monitorovat nebo podle potřeby zastavit a restartovat.

    Snímek obrazovky s kartou Úlohy Stream Analytics, kde vidíte stav spuštěných úloh

  14. Přejděte do Centra událostí na portálu v samostatném okně nebo záložce prohlížeče a znovu odešlete ukázková data o akciích (jak jste to udělali v části Požadavky). Na stránce Event Hubs Instance v nabídce vlevo vyberte Vygenerovat data (Preview), vyberte Burzovní data pro datovou sadu a pak vyberte Odeslat a odešlete ukázková data do Event Hub. Zobrazení panelu Metriky trvá několik minut.

  15. Měli byste vidět záznamy vložené do databáze Azure SQL.

    Snímek obrazovky, který ukazuje obsah tabulky akcií v databázi.

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce Geo Disaster Recovery služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezajišťuje doručení přesně jednoho výstupu do služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako spotřebitel s rozhraním pro Event Hubs jako vstupem, může během doby trvání selhání sledovat zpoždění vodoznaku a po dokončení selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním restartujte úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nepoužívejte tento model pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Další kroky

Přečtěte si další informace o Azure Stream Analytics a o tom, jak monitorovat úlohu, kterou jste vytvořili.

  • Last updated on