Oktatóanyag: Írás az Azure Data Lake Storage Gen2-ben tárolt Delta-táblába

Ez az oktatóanyag bemutatja, hogyan hozhat létre Stream Analytics-feladatot egy Delta-táblába való íráshoz az Azure Data Lake Storage Gen2-ben. Ebben az oktatóanyagban az alábbiakkal fog megismerkedni:

• Olyan eseménygenerátor üzembe helyezése, amely mintaadatokat küld az eseményközpontba
• Stream Analytics-feladat létrehozása
• Az Azure Data Lake Storage Gen2 konfigurálása deltatáblával
• Stream Analytics-feladat futtatása

Előfeltételek

A kezdés előtt hajtsa végre a következő lépéseket:

• Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy ingyenes fiókot.
• Telepítse a TollApp eseménygenerátort az Azure-ban, és használja ezt a hivatkozást a TollApp Azure-sablon üzembe helyezéséhez. Állítsa az intervallum paramétert 1 értékre. Hozzon létre és használjon egy új erőforráscsoportot ehhez a lépéshez.
• Hozzon létre egy Data Lake Storage Gen2-fiókot.

Stream Analytics-feladat létrehozása

1. Jelentkezzen be az Azure Portalra.

2. Válassza az Összes szolgáltatás lehetőséget a bal oldali menüben.

3. Vigye az egeret a Stream Analytics-feladatok fölé az Elemzés szakaszban, és válassza a + (plusz) lehetőséget.

   

4. Kattintson az Azure Portal bal felső sarkában található Erőforrás létrehozása gombra.

5. Válassza az Analytics>Stream Analytics-feladatot az eredmények listájából.

6. Az Új Stream Analytics-feladatlapon kövesse az alábbi lépéseket:

   1. Előfizetés esetén válassza ki az Azure-előfizetését.
   2. Erőforráscsoport esetén válassza ki ugyanazt az erőforrást, amelyet korábban a TollApp üzembe helyezésénél használt.
   3. A Név mezőbe írja be a feladat nevét. A Stream Analytics-feladat neve csak alfanumerikus karaktereket, kötőjeleket és aláhúzásjeleket tartalmazhat, és legalább 3, de legfeljebb 63 karakter hosszúságú lehet.
   4. Üzemeltetési környezet esetén győződjön meg arról, hogy a Cloud ki van választva.
   5. Stream-egységek esetén válassza az 1 lehetőséget. A Streamelési egységek azoknak a számítási erőforrásoknak felelnek meg, amelyek a feladat futtatásához szükségesek. A streamelési egységek skálázásával kapcsolatos további tudnivalókért olvassa el a Skálázás streamelési egységekkel című cikket.

   

7. Válassza a Véleményezés + létrehozás lehetőséget a lap alján.

8. A Véleményezés és létrehozás lapon tekintse át a beállításokat, és válassza a Létrehozás lehetőséget a Stream Analytics-lap létrehozásához.

9. Az üzembe helyezési lapon válassza az Erőforrás megnyitása lehetőséget a Stream Analytics-feladatlapra való navigáláshoz.

Feladatbemenet konfigurálása

A következő lépés egy bemeneti forrás definiálása a feladat számára az adatok olvasásához a TollApp üzembe helyezés során létrehozott eseményközpont használatával.

1. Keresse meg az előző szakaszban létrehozott Stream Analytics-feladatot.

2. A Stream Analytics-feladat Feladattopológia szakaszában válassza a Bemenetek lehetőséget.

3. Válassza a + Bemenet hozzáadása és az Eseményközpont lehetőséget.

   

4. Töltse ki a bemeneti űrlapot a TollApp Azure-sablonnal létrehozott alábbi értékekkel:

   1. Beviteli alias esetén adja meg a entrystream értéket.

   2. Válassza az Event Hub kiválasztása lehetőséget az előfizetései közül.

   3. Előfizetés esetén válassza ki az Azure-előfizetését.

   4. Event Hub-névtér esetén válassza ki az előző szakaszban létrehozott eseményközpont-névteret.

   5. A többi beállításnál hagyja meg az alapértelmezett beállításokat, majd válassza a Mentés lehetőséget.

      

Feladatkimenet konfigurálása

A következő lépés egy kimeneti fogadó definiálása, amelybe a feladat adatokat írhat. Ebben az oktatóanyagban egy Delta-táblába ír kimenetet az Azure Data Lake Storage Gen2-ben.

1. A Stream Analytics-feladat Feladattopológia szakaszában válassza a Kimenetek lehetőséget.

2. Válassza a + Kimeneti>blobtároló hozzáadása/ADLS Gen2 lehetőséget.

   

3. Töltse ki a kimeneti űrlapot a következő részletekkel, és válassza a Mentés lehetőséget:

   1. Kimeneti alias esetén adja meg a DeltaOutput értéket.

   2. Válassza a Blob Storage/ADLS Gen2 kiválasztása lehetőséget az előfizetései közül.

   3. Előfizetés esetén válassza ki az Azure-előfizetését.

   4. Storage-fiók esetén válassza ki a létrehozott ADLS Gen2-fiókot (amely a tollappal kezdődik).

   5. Tároló esetén válassza az Új létrehozása lehetőséget, és adjon meg egy egyedi tárolónevet.

   6. Az esemény szerializálási formátumához válassza a Delta Lake lehetőséget. Bár a Delta lake az egyik lehetőségként szerepel a listán, ez nem adatformátum. A Delta Lake verziószámozott Parquet-fájlokat használ az adatok tárolásához. További információ a Delta-tóról.

   7. A Delta-tábla elérési útjának megadásához adja meg az oktatóanyag mappát/deltatáblát.

   8. A többi beállításnál hagyja meg az alapértelmezett beállításokat, majd válassza a Mentés lehetőséget.

      

Lekérdezések létrehozása

Jelenleg egy Stream Analytics-feladat van beállítva egy bejövő adatfolyam olvasására. A következő lépés egy olyan lekérdezés létrehozása, amely valós időben elemzi az adatokat. A lekérdezések sql-szerű nyelvet használnak, amely a Stream Analyticsre jellemző bővítményekkel rendelkezik.

1. Most válassza a Lekérdezés lehetőséget a bal oldali menü Feladattopológia területén.

2. Írja be a következő lekérdezést a lekérdezési ablakba. Ebben a példában a lekérdezés beolvassa az adatokat az Event Hubsból, és a kijelölt értékeket egy Delta-táblába másolja az ADLS Gen2-ben.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Válassza a Lekérdezés mentése lehetőséget az eszköztáron.

   

A Stream Analytics-feladat indítása és a kimenet ellenőrzése

1. Térjen vissza az Azure Portal feladatáttekintő lapjára, és válassza a Start lehetőséget.

   

2. A Feladat indítása lapon győződjön meg arról, hogy a Most lehetőség van kiválasztva a feladat kimenetének kezdési időpontjához, majd kattintson a Lap alján található Start gombra.

   

3. Néhány perc elteltével a portálon keresse meg a tárfiókot és a feladat kimeneteként konfigurált tárolót. Most már a tárolóban megadott mappában láthatja a delta táblát. A feladat első indítása néhány percet vesz igénybe, és a kezdés után az adatok érkezésekor továbbra is futni fog.

   

Az erőforrások eltávolítása

Ha már nincs rá szükség, törölje az erőforráscsoportot, a Stream Analytics-feladatot és az összes kapcsolódó erőforrást. A feladat törlésével megakadályozhatja, hogy a feladat által felhasznált streamelési egységek kiszámlázásra kerüljenek. Ha a feladatot a jövőben is szeretné használni, leállíthatja, és később újraindíthatja amikor ismét szükség van rá. Ha nem folytatja a feladat használatát, törölje az oktatóanyag által létrehozott összes erőforrást az alábbi lépésekkel:

1. Az Azure Portal bal oldali menüjében válassza az Erőforráscsoportok menüpontot, majd válassza ki a létrehozott erőforrás nevét.
2. Az erőforráscsoport lapján válassza a Törlés elemet, írja be a törölni kívánt erőforrás nevét a szövegmezőbe, majd válassza a Törlés lehetőséget.

Következő lépések

Ebben az oktatóanyagban létrehozott egy egyszerű Stream Analytics-feladatot, szűrte a bejövő adatokat, és az eredményeket egy Delta-táblába írta az ADLS Gen2-fiókban. További információ a Stream Analytics-feladatokról:

Az ASA a Delta Lake-kimenetbe ír