Megosztás a következőn keresztül:

Adatok átalakítása és tárolása az Azure Stream Analytics kód nélküli szerkesztőjével az Azure SQL Database-ben

  • Cikk

Ez a cikk azt ismerteti, hogyan hozhat létre egyszerű Stream Analytics-feladatot a kódszerkesztő használatával, amely folyamatosan olvas adatokat egy Event Hubs-példányból (eseményközpontból), átalakítja az adatokat, majd az eredményeket egy Azure SQL-adatbázisba írja.

Előfeltételek

Az Azure Event Hubsnak és az Azure SQL Database-erőforrásoknak nyilvánosan hozzáférhetőnek kell lenniük, és nem lehetnek tűzfal mögött, és nem védhetők azure-beli virtuális hálózaton. Az Event Hubsban lévő adatokat JSON, CSV vagy Avro formátumban kell szerializálni.

Ha a cikkben szereplő lépéseket szeretné kipróbálni, kövesse az alábbi lépéseket.

  • Hozzon létre egy eseményközpontot , ha még nincs ilyenje. Adatok létrehozása az eseményközpontban. Az Event Hubs-példány lapon válassza az Adatok létrehozása (előzetes verzió) lehetőséget a bal oldali menüben, válassza a Készletadatok az adatkészlethez lehetőséget, majd válassza a Küldés lehetőséget, hogy néhány mintaadatot küldjön az eseményközpontnak. Erre a lépésre akkor van szükség, ha a cikkben szereplő lépéseket szeretné tesztelni.

    Képernyőkép egy Event Hubs-példány adatok generálása (előzetes verzió) oldaláról.

  • Azure SQL-adatbázis létrehozása. Íme néhány fontos megjegyzés az adatbázis létrehozásakor.

    1. Az Alapszintű beállítások lapon válassza az Új létrehozása kiszolgálóhoz lehetőséget. Ezután az SQL Database-kiszolgáló létrehozása lapon válassza az SQL-hitelesítés használata lehetőséget, és adja meg a rendszergazdai felhasználói azonosítót és jelszót.

    2. A Hálózatkezelés lapon kövesse az alábbi lépéseket:

      1. Nyilvános végpont engedélyezése.
      2. Válassza az Igen lehetőséget, ha engedélyezi az Azure-szolgáltatások és -erőforrások számára a kiszolgáló elérését.
      3. Válassza az Igen lehetőséget az aktuális ügyfél IP-címének hozzáadásához.

    3. A További beállítások lapon válassza a Nincs a meglévő adatok használatához lehetőséget.

    4. A cikkben hagyja ki az adatbázis lekérdezése és az erőforrások törlése szakasz lépéseit.

    5. Ha tesztelni szeretné a lépéseket, hozzon létre egy táblát az SQL-adatbázisban a Lekérdezésszerkesztő (előzetes verzió) használatával.

      create table stocks (
    symbol varchar(4),
    price decimal
)

Kód nélküli szerkesztő használata Stream Analytics-feladat létrehozásához

Ebben a szakaszban egy Azure Stream Analytics-feladatot hoz létre a kód nélküli szerkesztővel. A feladat átalakítja az event hubs-példányból (eseményközpontból) származó adatstreamelést, és az eredményadatokat egy Azure SQL-adatbázisban tárolja.

  1. Az Azure Portalon lépjen az eseményközpont Event Hubs-példány lapjára.

  2. A bal oldali menüben válassza a Szolgáltatások>feldolgozási adatai lehetőséget, majd válassza az Átalakítás indítása lehetőséget, és tárolja az adatokat az SQL-adatbáziskártyán.

    Képernyőkép az ADLS Gen2-kártyára való szűrésről és betöltésről, ahol a Start lehetőséget választja.

  3. Adja meg a Stream Analytics-feladat nevét, majd válassza a Létrehozás lehetőséget. Megjelenik a Stream Analytics-feladatdiagram, jobb oldalon az Event Hubs ablakkal.

    Képernyőkép a feladat nevének megadásáról.

  4. Az Eseményközpont ablakában tekintse át a szerializálási és hitelesítési mód beállításait, és válassza a Csatlakozás lehetőséget.

    Képernyőkép az Event Hubs kapcsolatkonfigurációjáról.

  5. Ha a kapcsolat sikeresen létrejött, és adatokkal rendelkezik az Event Hubs-példányban, két dolgot fog látni:

    • A bemeneti adatokban található mezők. Választhatja a Mező hozzáadása lehetőséget, vagy a mező melletti három pont szimbólumot választva eltávolíthatja, átnevezheti vagy módosíthatja annak típusát.

      Képernyőkép az Event Hubs mezőlistájáról, ahol eltávolíthatja, átnevezheti vagy módosíthatja a mezőtípust.

    • Élő minta a bejövő adatokról az Adatok előnézeti táblában a diagram nézetben. Rendszeresen automatikusan frissül. A streamelőnézet szüneteltetése lehetőséget választva megtekintheti a minta bemeneti adatainak statikus nézetét.

      Képernyőkép a mintaadatokról az Adatelőnézet alatt.

  6. Válassza ki a Csoportosítás csempét az adatok összesítéséhez. A Csoportosítás konfigurációs panelen megadhatja a csoportosításhoz használni kívánt mezőt az Idő ablakkal együtt.

    Az alábbi példában az ár és a szimbólum átlagát használjuk.

    A csoportot operátorkonfiguráció szerint bemutató képernyőkép.

  7. A lépés eredményeit az Adatok előnézete szakaszban ellenőrizheti.

    Képernyőkép a csoport adatelőnézetének operátoronkénti megjelenítéséről.

  8. Válassza a Mezők kezelése csempét. A Mezők kezelése konfigurációs panelen válassza ki a megjeleníteni kívánt mezőket a Mező hozzáadása ->Importált séma -> mező kiválasztásával.

    Ha az összes mezőt fel szeretné venni, válassza az Összes mező hozzáadása lehetőséget. Mező hozzáadásakor megadhat más nevet a kimenetnek. Például: AVG_Value Value. A kijelölések mentése után az adatok megjelennek az Adatok előnézete panelen.

    Az alábbi példában a Szimbólum és a AVG_Value van kiválasztva. A szimbólum szimbólumra van leképezve, és AVG_Value az árra van leképezve.

    Képernyőkép a mező operátorának konfigurálásának kezelésével.

  9. Válassza az SQL-csempét . Az SQL Database konfigurációs paneljén töltse ki a szükséges paramétereket, és csatlakozzon. Válassza a Meglévő tábla betöltése lehetőséget, hogy a tábla automatikusan ki legyen választva. A következő példában [dbo].[stocks] a ki van választva. Ezután válassza a Csatlakozás lehetőséget.

    Feljegyzés

    Az írni kívánt tábla sémájának pontosan meg kell egyeznie az adatelőnézet által létrehozott mezők számával és típusával.

    Képernyőkép az SQL Database kimeneti konfigurációjáról.

  10. Az Adatok előnézete panelen megjelenik az SQL Database-ben betöltött adatok előnézete.

    Képernyőkép a Statikus előnézet lekérése/Statikus előnézet frissítése lehetőségről.

  11. Válassza a Mentés, majd a Stream Analytics-feladat indítása lehetőséget.

    Képernyőkép a Mentés és indítás beállításról.

  12. A feladat elindításához adja meg a következőket:

    • A feladat által futtatott streamegységek (SU-k) száma. A termékváltozatok a feladathoz lefoglalt számítási és memóriamennyiséget jelölik. Azt javasoljuk, hogy hárommal kezdje, majd szükség szerint módosítsa.

    • Kimeneti adathibák kezelése – Lehetővé teszi a kívánt viselkedés megadását, ha egy feladat kimenete a célhelyre adathibák miatt meghiúsul. Alapértelmezés szerint a feladat újrapróbálkozza, amíg az írási művelet sikeres nem lesz. Dönthet úgy is, hogy elveti az ilyen kimeneti eseményeket.

      Képernyőkép a Stream Analytics indítása feladatbeállításokról, ahol módosíthatja a kimeneti időt, beállíthatja a streamelési egységek számát, és kiválaszthatja a Kimeneti adatok hibakezelési beállításait.

  13. A Start gomb kiválasztása után a feladat két percen belül elindul. Az alsó panelen megnyílik a metrikák panel. A panel frissítése valamikor eltart. A diagram frissítéséhez válassza a panel jobb felső sarkában található Frissítés lehetőséget. Folytassa a következő lépéssel a webböngésző egy külön lapján vagy ablakában.

    Képernyőkép a feladatmetrikákról a kezdés után.

    A feladatot a Stream Analytics-feladatok lap Adatok feldolgozása szakaszában is láthatja. A metrikák megnyitásával monitorozhatja vagy szükség szerint leállítja és újraindíthatja a feladatot.

    Képernyőkép a Stream Analytics-feladatok lapról, ahol megtekintheti a futó feladatok állapotát.

  14. Navigáljon az eseményközponthoz a portálon egy külön böngészőablakban vagy lapon, és küldje el újra a mintakészletadatokat (ahogy az előfeltételekben tette). Az Event Hubs-példány lapon válassza az Adatok létrehozása (előzetes verzió) lehetőséget a bal oldali menüben, válassza a Készletadatok az adatkészlethez lehetőséget, majd válassza a Küldés lehetőséget, hogy néhány mintaadatot küldjön az eseményközpontnak. A Metrikák panel frissítése eltarthat néhány percig.

  15. Látnia kell az Azure SQL-adatbázisba beszúrt rekordokat.

    Képernyőkép az adatbázis részvénytáblájának tartalmáról.

Szempontok az Event Hubs georeplikációs funkció használatakor

Az Azure Event Hubs nemrég elindította a georeplikációs funkciót nyilvános előzetes verzióban. Ez a funkció eltér az Azure Event Hubs Geo Disaster Recovery funkciójától.

Ha a feladatátvétel típusa kényszerített , és a replikációs konzisztencia aszinkron, a Stream Analytics-feladat nem garantálja pontosan egyszer az Azure Event Hubs kimenetének kimenetét.

Az Azure Stream Analytics, mint olyan gyártó , amely egy eseményközpont kimenetével rendelkezik, megfigyelheti a feladat vízjel-késését a feladat feladatátvételi időtartama alatt és az Event Hubs általi szabályozás során abban az esetben, ha az elsődleges és a másodlagos replikáció késése eléri a maximálisan konfigurált késést.

Az Azure Stream Analytics, mint az Event Hubs bemenetként használt felhasználója , megfigyelheti a feladat vízjel-késését a feladatátvétel időtartama alatt, és kihagyhatja az adatokat, vagy duplikált adatokat kereshet a feladatátvétel befejezése után.

Ezen kikötések miatt javasoljuk, hogy az Event Hubs feladatátvétele után azonnal indítsa újra a Stream Analytics-feladatot a megfelelő kezdési időponttal. Mivel az Event Hubs georeplikációs funkciója nyilvános előzetes verzióban érhető el, jelenleg nem javasoljuk ezt a mintát éles Stream Analytics-feladatokhoz. A Stream Analytics jelenlegi viselkedése javulni fog, mielőtt az Event Hubs georeplikációs szolgáltatás általánosan elérhető lenne, és a Stream Analytics éles feladataiban is használható lenne.

Következő lépések

További információ az Azure Stream Analyticsről és a létrehozott feladat monitorozásáról.