Filtrování a ingestování do Azure Synapse SQL pomocí Stream Analytics bez editoru kódu

Tento článek popisuje, jak můžete snadno vytvořit úlohu Stream Analytics pomocí editoru bez kódu. Průběžně čte ze služby Event Hubs, filtruje příchozí data a výsledky pak průběžně zapisuje do tabulky Synapse SQL.

Požadavky

  • Vaše prostředky služby Azure Event Hubs musí být veřejně přístupné a nemůžou být za bránou firewall ani zabezpečeny ve službě Azure Virtual Network.
  • Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Vývoj úlohy Stream Analytics pro filtrování a ingestování dat

Pomocí následujících kroků můžete vyvinout úlohu Stream Analytics pro filtrování a ingestování dat v reálném čase do tabulky Synapse SQL.

  1. Na webu Azure Portal vyhledejte a vyberte instanci služby Azure Event Hubs.

  2. Vyberte Vlastnosti>Zpracování dat a na kartě Filtr a zavedení do Synapse SQL vyberte Spustit.
    Snímek obrazovky znázorňující úvodní karty dat služby Event Hubs

  3. Zadejte název pro identifikaci úlohy Stream Analytics a pak vyberte Vytvořit.
    Snímek obrazovky s oknem nové úlohy Stream Analytics, kde zadáte název úlohy

  4. V okně Event Hubs zadejte typ serializace dat a metodu ověřování, kterou bude úloha používat pro připojení ke službě Event Hubs. Pak vyberte Připojit.
    Snímek obrazovky znázorňující konfiguraci připojení služby Event Hubs

  5. Jakmile se připojení úspěšně naváže a datové proudy začnou proudit do instance Event Hubs, okamžitě si všimnete dvou věcí:

    • Pole, která se nacházejí ve vstupních datech Můžete zvolit Přidat pole nebo vybrat tři tečky vedle pole, které chcete odebrat, přejmenovat nebo změnit jeho typ.
      Snímek obrazovky se seznamem polí služby Event Hubs, kde můžete odebrat, přejmenovat nebo změnit typ pole
    • Živá ukázka příchozích dat v tabulce Náhled dat pod zobrazením diagramu. Pravidelně se aktualizuje. Pokud chcete zobrazit statické zobrazení ukázkových vstupních dat, můžete vybrat Pozastavit náhled streamování.
      Snímek obrazovky znázorňující ukázková data v části Náhled dat

  6. V oblasti Filtru vyberte pole pro filtrování příchozích dat pomocí podmínky.
    Snímek obrazovky znázorňující oblast filtru, ve které můžete filtrovat příchozí data pomocí podmínky

  7. Vyberte tabulku Synapse SQL a odešlete filtrovaná data:

    1. V rozevírací nabídce vyberte předplatné, databázi (název vyhrazeného fondu SQL) a metodu ověřování.
    2. Zadejte název tabulky, do které se budou ingestovat filtrovaná data. Vyberte Připojit.
      Snímek obrazovky zobrazující podrobnosti připojení tabulky Synapse SQL

    Poznámka:

    Schéma tabulky musí přesně odpovídat počtu polí a jejich typům, které generuje náhled dat.

  8. Pokud chcete zobrazit náhled dat, který se bude ingestovat do vybrané tabulky Synapse SQL, můžete volitelně vybrat Získat statický náhled/Aktualizovat statický náhled.
    Snímek obrazovky znázorňující možnost Získat statický náhled nebo Aktualizovat statický náhled

  9. Vyberte Uložit a pak vyberte Spustit úlohu Stream Analytics.
    Snímek obrazovky s možnostmi Uložit a Spustit

  10. Pokud chcete úlohu spustit, zadejte:

    • Počet jednotek streamování (SU), se kterými se úloha spouští. SU představuje množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme, abyste začali se třemi a pak podle potřeby upravte.
    • Zpracování chyb výstupních dat – Umožňuje určit požadované chování, když se výstup úlohy do cíle nezdaří kvůli chybám dat. Ve výchozím nastavení se vaše úloha opakuje, dokud operace zápisu nebude úspěšná. Můžete se také rozhodnout, že tyto výstupní události zahodíte.
      Snímek obrazovky znázorňující možnosti spuštění úlohy Stream Analytics, kde můžete změnit čas výstupu, nastavit počet jednotek streamování a vybrat možnosti zpracování chyb výstupních dat

  11. Po výběru možnosti Start se úloha spustí během dvou minut a metriky se otevřou v části karta níže.

    Úlohu můžete zobrazit také v části Zpracovat data na kartě Úlohy Stream Analytics. Vyberte Otevřít metriky , abyste ji mohli monitorovat nebo podle potřeby zastavit a restartovat.

    Snímek obrazovky s kartou Úlohy Stream Analytics, kde vidíte stav spuštěných úloh

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce Geo Disaster Recovery služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezajišťuje doručení přesně jednoho výstupu do služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako spotřebitel s rozhraním pro Event Hubs jako vstupem, může během doby trvání selhání sledovat zpoždění vodoznaku a po dokončení selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním restartujte úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nepoužívejte tento model pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Další kroky

Přečtěte si další informace o Azure Stream Analytics a o tom, jak monitorovat úlohu, kterou jste vytvořili.

  • Last updated on