Adatok átalakítása és tárolása az Azure Stream Analytics kód nélküli szerkesztőjével az Azure SQL Database-ben

Ez a cikk azt ismerteti, hogyan hozhat létre egyszerű Stream Analytics-feladatot a kódszerkesztő használatával, amely folyamatosan olvas adatokat egy Event Hubs-példányból (eseményközpontból), átalakítja az adatokat, majd az eredményeket egy Azure SQL-adatbázisba írja.

Előfeltételek

Az Azure Event Hubsnak és az Azure SQL Database-erőforrásoknak nyilvánosan hozzáférhetőnek kell lenniük, és nem lehetnek tűzfal mögött, és nem védhetők azure-beli virtuális hálózaton. Az Event Hubsban lévő adatokat JSON, CSV vagy Avro formátumban kell szerializálni.

Ha a cikkben szereplő lépéseket szeretné kipróbálni, kövesse az alábbi lépéseket.

  • Hozzon létre egy eseményközpontot , ha még nincs ilyenje. Adatok létrehozása az eseményközpontban. Az Event Hubs-példány lapon válassza az Adatok létrehozása (előzetes verzió) lehetőséget a bal oldali menüben, válassza a Készletadatok az adatkészlethez lehetőséget, majd válassza a Küldés lehetőséget, hogy néhány mintaadatot küldjön az eseményközpontnak. Erre a lépésre akkor van szükség, ha a cikkben szereplő lépéseket szeretné tesztelni.

    Képernyőkép egy Event Hubs-példány adatok generálása (előzetes verzió) oldaláról.

  • Azure SQL-adatbázis létrehozása. Íme néhány fontos megjegyzés az adatbázis létrehozásakor.

    1. Az Alapszintű beállítások lapon válassza a Hozzon létre újat a Szerver számára. Ezután az SQL Database-kiszolgáló létrehozása lapon válassza az SQL-hitelesítés használata lehetőséget, és adja meg a rendszergazdai felhasználói azonosítót és jelszót.

    2. A Hálózatkezelés lapon kövesse az alábbi lépéseket:

      1. Nyilvános végpont engedélyezése.
      2. Válassza az Igen lehetőséget, ha engedélyezi az Azure-szolgáltatások és -erőforrások számára a kiszolgáló elérését.
      3. Válassza az Igen lehetőséget az aktuális ügyfél IP-címének hozzáadásához.

    3. A További beállítások lapon válassza a Nincs a meglévő adatok használatához lehetőséget.

    4. A cikkben hagyja ki az adatbázis lekérdezése és az erőforrások törlése szakasz lépéseit.

    5. Ha tesztelni szeretné a lépéseket, hozzon létre egy táblát az SQL-adatbázisban a Lekérdezésszerkesztő (előzetes verzió) használatával.

      create table stocks (
    symbol varchar(4),
    price decimal
)

Kód nélküli szerkesztő használata Stream Analytics-feladat létrehozásához

Ebben a szakaszban egy Azure Stream Analytics-feladatot hoz létre a kód nélküli szerkesztővel. A feladat átalakítja az event hubs-példányból (eseményközpontból) származó adatstreamelést, és az eredményadatokat egy Azure SQL-adatbázisban tárolja.

  1. Az Azure Portalon lépjen az eseményközpont Event Hubs-példány lapjára.

  2. A bal oldali menüben válassza a Szolgáltatások>feldolgozási adatai lehetőséget, majd válasszaaz Átalakítás indítása lehetőséget, és tárolja az adatokat az SQL-adatbáziskártyán.

    Képernyőkép az ADLS Gen2 kártyán történő szűrésről és betöltésről, ahol a 'Start' gombot választja ki.

  3. Adja meg a Stream Analytics-feladat nevét, majd válassza a Létrehozás lehetőséget. Megjelenik a Stream Analytics-feladatdiagram, jobb oldalon az Event Hubs ablakkal.

    Képernyőkép a feladat nevének megadásáról.

  4. Az Eseményközpont ablakában tekintse át a szerializálási és hitelesítési mód beállításait, és válassza a Csatlakozás lehetőséget.

    Képernyőkép az Event Hubs kapcsolatkonfigurációjáról.

  5. Ha a kapcsolat sikeresen létrejött, és adatokkal rendelkezik az Event Hubs-példányban, két dolgot fog látni:

    • A bemeneti adatokban található mezők. Választhatja a Mező hozzáadása lehetőséget, vagy a mező melletti három pont szimbólumot választva eltávolíthatja, átnevezheti vagy módosíthatja annak típusát.

      Képernyőkép az Event Hubs mezőlistájáról, ahol eltávolíthatja, átnevezheti vagy módosíthatja a mezőtípust.

    • Élő minta a bejövő adatokról az Adatok előnézeti táblában a diagram nézetben. Rendszeresen automatikusan frissül. A streamelőnézet szüneteltetése lehetőséget választva megtekintheti a minta bemeneti adatainak statikus nézetét.

      Képernyőkép a mintaadatokról az Adatelőnézet alatt.

  6. Válassza ki a Csoportosítás csempét az adatok összesítéséhez. A Csoportosítás konfigurációs panelen megadhatja a csoportosításhoz használni kívánt mezőt az időablakkal együtt.

    Az alábbi példában az ár és a szimbólum átlagát használjuk.

    A csoportot operátorkonfiguráció szerint bemutató képernyőkép.

  7. A lépés eredményeit az Adatok előnézete szakaszban ellenőrizheti.

    Képernyőkép a csoport adatelőnézetének operátoronkénti megjelenítéséről.

  8. Válassza a Mezők kezelése csempét. A Mezők kezelése beállítási panelben válassza ki azokat a mezőket, amelyeket ki szeretne adni, a Mező hozzáadása - >Importált séma - > mező kiválasztásával.

    Ha az összes mezőt fel szeretné venni, válassza az Összes mező hozzáadása lehetőséget. Mező hozzáadásakor megadhat más nevet a kimenetnek. Például: AVG_ValueValue. A kijelölések mentése után az adatok megjelennek az Adatok előnézete panelen.

    Az alábbi példában a Szimbólum és a AVG_Value van kiválasztva. Symbol szimbólumra van leképezve, és AVG_Value árra van leképezve.

    Képernyőkép, amely a mezőoperátor konfiguráció kezelését mutatja.

  9. Válassza az SQL-csempét. Az SQL Database konfigurációs paneljén töltse ki a szükséges paramétereket, és csatlakozzon. Válassza a Meglévő tábla betöltése lehetőséget, hogy a tábla automatikusan ki legyen választva. A következő példában [dbo].[stocks] a ki van választva. Ezután válassza a Csatlakozás lehetőséget.

    Feljegyzés

    Az írni kívánt tábla sémájának pontosan meg kell egyeznie az adatelőnézet által létrehozott mezők számával és típusával.

    Képernyőkép az SQL Database kimeneti konfigurációjáról.

  10. Az Adatok előnézete panelen megjelenik az SQL Database-ben betöltött adatok előnézete.

    Képernyőkép a Statikus előnézet lekérése/Statikus előnézet frissítése lehetőségről.

  11. Válassza a Mentés, majd a Stream Analytics-feladat indítása lehetőséget.

    Képernyőkép a Mentés és indítás beállításról.

  12. A feladat elindításához adja meg a következőket:

    • A feladat által futtatott Streaming egységek (SU-k) száma. Az SUs a feladathoz lefoglalt számítási és memóriamennyiséget jelenti. Azt javasoljuk, hogy hárommal kezdje, majd szükség szerint módosítsa.

    • Kimeneti adathibák kezelése – Lehetővé teszi a kívánt viselkedés megadását, ha egy feladat kimenete a célhelyre adathibák miatt meghiúsul. Alapértelmezés szerint a feladat újrapróbálkozza, amíg az írási művelet sikeres nem lesz. Dönthet úgy is, hogy elveti az ilyen kimeneti eseményeket.

      Képernyőkép a Stream Analytics indítása feladatbeállításokról, ahol módosíthatja a kimeneti időt, beállíthatja a streamelési egységek számát, és kiválaszthatja a Kimeneti adatok hibakezelési beállításait.

  13. A Start gomb kiválasztása után a feladat két percen belül elindul. Az alsó panelen megnyílik a metrikák panel. A panel frissítése valamikor eltart. A diagram frissítéséhez válassza a panel jobb felső sarkában található Frissítés lehetőséget. Folytassa a következő lépéssel a webböngésző egy külön lapján vagy ablakában.

    Képernyőkép a feladatmetrikákról a kezdés után.

    A feladatot a Stream Analytics-feladatok lap Adatok feldolgozása szakaszában is láthatja. A metrikák megnyitásával monitorozhatja vagy szükség szerint leállítja és újraindíthatja a feladatot.

    Képernyőkép a Stream Analytics-feladatok lapról, ahol megtekintheti a futó feladatok állapotát.

  14. Navigáljon az eseményközponthoz a portálon egy külön böngészőablakban vagy lapon, és küldje el újra a mintakészletadatokat (ahogy az előfeltételekben tette). Az Event Hubs-példány lapon válassza az Adatok létrehozása (előzetes verzió) lehetőséget a bal oldali menüben, válassza a Készletadatok az adatkészlethez lehetőséget, majd válassza a Küldés lehetőséget, hogy néhány mintaadatot küldjön az eseményközpontnak. A Metrikák panel frissítése eltarthat néhány percig.

  15. Látnia kell az Azure SQL-adatbázisba beszúrt rekordokat.

    Képernyőkép az adatbázis részvénytáblájának tartalmáról.

Szempontok az Event Hubs georeplikációs funkció használatakor

Az Azure Event Hubs nemrég elindította a georeplikációs funkciót nyilvános előzetes verzióban. Ez a funkció eltér az Azure Event Hubs Geo Disaster Recovery funkciójától.

Ha a feladatátvétel típusa kényszerített, és a replikációs konzisztencia aszinkron, a Stream Analytics-feladat nem garantálja az egyszeri kimenetet az Azure Event Hubs számára.

Az Azure Stream Analytics, mint olyan gyártó , amely egy eseményközpont kimenetével rendelkezik, megfigyelheti a feladat vízjel-késését a feladat feladatátvételi időtartama alatt és az Event Hubs általi szabályozás során abban az esetben, ha az elsődleges és a másodlagos replikáció késése eléri a maximálisan konfigurált késést.

Az Azure Stream Analytics, mint az Event Hubs bemenetként használt felhasználója , megfigyelheti a feladat vízjel-késését a feladatátvétel időtartama alatt, és kihagyhatja az adatokat, vagy duplikált adatokat kereshet a feladatátvétel befejezése után.

Ezen kikötések miatt indítsa újra a Stream Analytics-feladatot a megfelelő kezdési időponttal közvetlenül az Event Hubs feladatátvételének befejezése után. Mivel az Event Hubs georeplikációs funkciója nyilvános előzetes verzióban érhető el, jelenleg ne használja ezt a mintát éles Stream Analytics-feladatokhoz. A Stream Analytics jelenlegi viselkedése javulni fog, mielőtt az Event Hubs georeplikációs szolgáltatás általánosan elérhető lenne, és a Stream Analytics éles feladataiban is használható lenne.

Következő lépések

További információ az Azure Stream Analyticsről és a létrehozott feladat monitorozásáról.

  • Last updated on