Kurz: Zápis do tabulky Delta uložené v Azure Data Lake Storage Gen2
V tomto kurzu se dozvíte, jak vytvořit úlohu Stream Analytics pro zápis do tabulky Delta v Azure Data Lake Storage Gen2. V tomto kurzu se naučíte:
- Nasazení generátoru událostí, který odesílá ukázková data do centra událostí
- Vytvoření úlohy Stream Analytics
- Konfigurace Azure Data Lake Storage Gen2 s tabulkou Delta
- Spuštění úlohy Stream Analytics
Než začnete, proveďte následující kroky:
- Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet.
- Nasaďte generátor událostí TollApp do Azure. Použijte tento odkaz k nasazení šablony Azure TollApp. Nastavte parametr interval na hodnotu 1. Pro tento krok vytvořte a použijte novou skupinu prostředků.
- Vytvořte účet Data Lake Storage Gen2.
Přihlaste se k portálu Azure.
V nabídce vlevo vyberte Všechny služby .
Přesuňte myš na úlohy Stream Analytics v části Analytics a vyberte + (plus).
V levém horním rohu webu Azure Portal vyberte Vytvořit prostředek.
V seznamu výsledků vyberte úlohu Stream Analytics Analytics>.
Na stránce Nová úloha Stream Analytics postupujte takto:
- Jako předplatné vyberte své předplatné Azure.
- V části Skupina prostředků vyberte stejný prostředek, který jste použili dříve v nasazení TollApp.
- Do pole Název zadejte název úlohy. Název úlohy Stream Analytics může obsahovat jen alfanumerické znaky, spojovníky a podtržítka a musí být dlouhý 3 až 63 znaků.
- V případě hostitelského prostředí ověřte, že je vybraný cloud .
- U jednotek streamu vyberte 1. Jednotky streamování představují výpočetní prostředky nutné k provedení úlohy. Podrobnosti o škálování jednotek streamování najdete v článku věnovaném principům a úpravám jednotek streamování.
Vyberte Zkontrolovat a vytvořit v dolní části stránky.
Na stránce Zkontrolovat a vytvořit zkontrolujte nastavení a vyberte Vytvořit a vytvořte stránku Stream Analytics.
Na stránce nasazení vyberte Přejít k prostředku a přejděte na stránku úlohy Stream Analytics.
Dalším krokem je definování vstupního zdroje pro úlohu ke čtení dat pomocí centra událostí vytvořeného v nasazení TollApp.
Najděte úlohu Stream Analytics vytvořenou v předchozí části.
V části Topologie úlohy Stream Analytics vyberte Vstupy.
Vyberte + Přidat vstup a centrum událostí.
Vyplňte vstupní formulář následujícími hodnotami vytvořenými prostřednictvím šablony Azure TollApp:
Jako vstupní alias zadejte vstupní stream.
Vyberte centrum událostí z vašich předplatných.
Jako předplatné vyberte své předplatné Azure.
V případě oboru názvů centra událostí vyberte obor názvů centra událostí, který jste vytvořili v předchozí části.
Pro zbývající nastavení použijte výchozí možnosti a vyberte Uložit.
Dalším krokem je definování výstupní jímky, do které může úloha zapisovat data. V tomto kurzu zapíšete výstup do tabulky Delta ve službě Azure Data Lake Storage Gen2.
V části Topologie úlohy Stream Analytics vyberte možnost Výstupy.
Vyberte + Přidat výstupní>úložiště objektů blob / ADLS Gen2.
Vyplňte výstupní formulář následujícími podrobnostmi a vyberte Uložit:
Jako alias výstupu zadejte DeltaOutput.
V předplatných zvolte Vybrat úložiště objektů blob nebo ADLS Gen2.
Jako předplatné vyberte své předplatné Azure.
V případě účtu úložiště zvolte účet ADLS Gen2 (účet, který začíná placenou aplikací), který jste vytvořili.
V případě kontejneru vyberte Vytvořit nový a zadejte jedinečný název kontejneru.
V případě formátu serializace událostí vyberte Delta Lake. I když je delta lake uvedená jako jedna z možností, nejedná se o datový formát. Delta Lake používá k ukládání dat soubory Parquet s verzemi. Další informace o Delta Lake
Jako cestu k tabulce Delta zadejte složku kurzu nebo tabulku delta.
Pro zbývající nastavení použijte výchozí možnosti a vyberte Uložit.
V tuto chvíli máte nastavenou úlohu Stream Analytics pro čtení příchozího datového proudu. Dalším krokem je vytvoření dotazu, který analyzuje data v reálném čase. Dotazy používají jazyk podobný SQL, který má určitá rozšíření specifická pro Stream Analytics.
Nyní v levé nabídce vyberte Dotaz v topologii úlohy.
Do okna dotazu zadejte následující dotaz. V tomto příkladu dotaz načte data ze služby Event Hubs a zkopíruje vybrané hodnoty do tabulky Delta v ADLS Gen2.
SELECT State, CarModel.Make, TollAmount INTO DeltaOutput FROM EntryStream TIMESTAMP BY EntryTime
Na panelu nástrojů vyberte Uložit dotaz .
Vraťte se na stránku přehledu úlohy na webu Azure Portal a vyberte Spustit.
Na stránce Spustit úlohu potvrďte, že je vybraná možnost Nyní pro čas zahájení výstupu úlohy, a pak vyberte Spustit v dolní části stránky.
Po několika minutách na portálu vyhledejte účet úložiště a kontejner, který jste pro úlohu nakonfigurovali jako výstup. Tabulku Delta teď můžete zobrazit ve složce zadané v kontejneru. První spuštění úlohy trvá několik minut, jakmile se spustí, bude se při příchodu dat dál spouštět.
Pokud už ji nepotřebujete, odstraňte skupinu prostředků, úlohu Stream Analytics a všechny související prostředky. Odstraněním úlohy se zabrání zaúčtování jednotek streamování, které daná úloha spotřebovává. Pokud plánujete používat tuto úlohu v budoucnu, můžete ji zastavit a znovu ji spustit později, až ji budete potřebovat. Pokud tuto úlohu nebudete dál používat, pomocí následujícího postupu odstraňte všechny prostředky vytvořené v tomto kurzu:
- V nabídce vlevo na portálu Azure Portal vyberte Skupiny prostředků a potom zvolte název vytvořeného prostředku.
- Na stránce skupiny prostředků zvolte Odstranit, do textového pole zadejte prostředek, který chcete odstranit, a potom vyberte Odstranit.
V tomto kurzu jste vytvořili jednoduchou úlohu Stream Analytics, vyfiltrovali příchozí data a zapisovali výsledky v tabulce Delta v účtu ADLS Gen2. Další informace o úlohách Stream Analytics: