Kurz: Zápis do tabulky Delta uložené v Azure Data Lake Storage Gen2

V tomto kurzu se dozvíte, jak vytvořit úlohu Stream Analytics pro zápis do tabulky Delta v Azure Data Lake Storage Gen2. V tomto kurzu se naučíte:

• Nasazení generátoru událostí, který odesílá ukázková data do centra událostí
• Vytvoření úlohy Stream Analytics
• Konfigurace Azure Data Lake Storage Gen2 s tabulkou Delta
• Spuštění úlohy Stream Analytics

Požadavky

Než začnete, proveďte následující kroky:

• Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet.
• Nasaďte generátor událostí TollApp do Azure. Použijte tento odkaz k nasazení šablony Azure TollApp. Nastavte parametr interval na hodnotu 1. Pro tento krok vytvořte a použijte novou skupinu prostředků.
• Vytvořte účet Data Lake Storage Gen2.

Vytvoření úlohy Stream Analytics

1. Přihlaste se k portálu Azure.

2. V nabídce vlevo vyberte Všechny služby .

3. Přesuňte myš na úlohy Stream Analytics v části Analytics a vyberte + (plus).

   

4. V levém horním rohu webu Azure Portal vyberte Vytvořit prostředek.

5. V seznamu výsledků vyberte úlohu Stream Analytics Analytics>.

6. Na stránce Nová úloha Stream Analytics postupujte takto:

   1. Jako předplatné vyberte své předplatné Azure.
   2. V části Skupina prostředků vyberte stejný prostředek, který jste použili dříve v nasazení TollApp.
   3. Do pole Název zadejte název úlohy. Název úlohy Stream Analytics může obsahovat jen alfanumerické znaky, spojovníky a podtržítka a musí být dlouhý 3 až 63 znaků.
   4. V případě hostitelského prostředí ověřte, že je vybraný cloud .
   5. U jednotek streamu vyberte 1. Jednotky streamování představují výpočetní prostředky nutné k provedení úlohy. Podrobnosti o škálování jednotek streamování najdete v článku věnovaném principům a úpravám jednotek streamování.

   

7. Vyberte Zkontrolovat a vytvořit v dolní části stránky.

8. Na stránce Zkontrolovat a vytvořit zkontrolujte nastavení a vyberte Vytvořit a vytvořte stránku Stream Analytics.

9. Na stránce nasazení vyberte Přejít k prostředku a přejděte na stránku úlohy Stream Analytics.

Konfigurace vstupu úlohy

Dalším krokem je definování vstupního zdroje pro úlohu ke čtení dat pomocí centra událostí vytvořeného v nasazení TollApp.

1. Najděte úlohu Stream Analytics vytvořenou v předchozí části.

2. V části Topologie úlohy Stream Analytics vyberte Vstupy.

3. Vyberte + Přidat vstup a centrum událostí.

   

4. Vyplňte vstupní formulář následujícími hodnotami vytvořenými prostřednictvím šablony Azure TollApp:

   1. Jako vstupní alias zadejte vstupní stream.

   2. Vyberte centrum událostí z vašich předplatných.

   3. Jako předplatné vyberte své předplatné Azure.

   4. V případě oboru názvů centra událostí vyberte obor názvů centra událostí, který jste vytvořili v předchozí části.

   5. Pro zbývající nastavení použijte výchozí možnosti a vyberte Uložit.

      

Konfigurace výstupu úlohy

Dalším krokem je definování výstupní jímky, do které může úloha zapisovat data. V tomto kurzu zapíšete výstup do tabulky Delta ve službě Azure Data Lake Storage Gen2.

1. V části Topologie úlohy Stream Analytics vyberte možnost Výstupy.

2. Vyberte + Přidat výstupní>úložiště objektů blob / ADLS Gen2.

   

3. Vyplňte výstupní formulář následujícími podrobnostmi a vyberte Uložit:

   1. Jako alias výstupu zadejte DeltaOutput.

   2. V předplatných zvolte Vybrat úložiště objektů blob nebo ADLS Gen2.

   3. Jako předplatné vyberte své předplatné Azure.

   4. V případě účtu úložiště zvolte účet ADLS Gen2 (účet, který začíná placenou aplikací), který jste vytvořili.

   5. V případě kontejneru vyberte Vytvořit nový a zadejte jedinečný název kontejneru.

   6. V případě formátu serializace událostí vyberte Delta Lake. I když je delta lake uvedená jako jedna z možností, nejedná se o datový formát. Delta Lake používá k ukládání dat soubory Parquet s verzemi. Další informace o Delta Lake

   7. Jako cestu k tabulce Delta zadejte složku kurzu nebo tabulku delta.

   8. Pro zbývající nastavení použijte výchozí možnosti a vyberte Uložit.

      

Vytváření dotazů

V tuto chvíli máte nastavenou úlohu Stream Analytics pro čtení příchozího datového proudu. Dalším krokem je vytvoření dotazu, který analyzuje data v reálném čase. Dotazy používají jazyk podobný SQL, který má určitá rozšíření specifická pro Stream Analytics.

1. Nyní v levé nabídce vyberte Dotaz v topologii úlohy.

2. Do okna dotazu zadejte následující dotaz. V tomto příkladu dotaz načte data ze služby Event Hubs a zkopíruje vybrané hodnoty do tabulky Delta v ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Na panelu nástrojů vyberte Uložit dotaz .

   

Spuštění úlohy Stream Analytics a kontrola výstupu

1. Vraťte se na stránku přehledu úlohy na webu Azure Portal a vyberte Spustit.

   

2. Na stránce Spustit úlohu potvrďte, že je vybraná možnost Nyní pro čas zahájení výstupu úlohy, a pak vyberte Spustit v dolní části stránky.

   

3. Po několika minutách na portálu vyhledejte účet úložiště a kontejner, který jste pro úlohu nakonfigurovali jako výstup. Tabulku Delta teď můžete zobrazit ve složce zadané v kontejneru. První spuštění úlohy trvá několik minut, jakmile se spustí, bude se při příchodu dat dál spouštět.

   

Vyčištění prostředků

Pokud už ji nepotřebujete, odstraňte skupinu prostředků, úlohu Stream Analytics a všechny související prostředky. Odstraněním úlohy se zabrání zaúčtování jednotek streamování, které daná úloha spotřebovává. Pokud plánujete používat tuto úlohu v budoucnu, můžete ji zastavit a znovu ji spustit později, až ji budete potřebovat. Pokud tuto úlohu nebudete dál používat, pomocí následujícího postupu odstraňte všechny prostředky vytvořené v tomto kurzu:

1. V nabídce vlevo na portálu Azure Portal vyberte Skupiny prostředků a potom zvolte název vytvořeného prostředku.
2. Na stránce skupiny prostředků zvolte Odstranit, do textového pole zadejte prostředek, který chcete odstranit, a potom vyberte Odstranit.

Další kroky

V tomto kurzu jste vytvořili jednoduchou úlohu Stream Analytics, vyfiltrovali příchozí data a zapisovali výsledky v tabulce Delta v účtu ADLS Gen2. Další informace o úlohách Stream Analytics:

AsA zapisuje do výstupu Delta Lake