Az Azure Data Explorer szűrése és betöltése a Stream Analytics no code editor használatával

Ez a cikk azt ismerteti, hogyan hozhat létre egyszerűen Stream Analytics-feladatokat a kódszerkesztővel. Folyamatosan olvas az Event Hubsból, szűri a bejövő adatokat, majd folyamatosan írja az eredményeket az Azure Data Explorerbe.

Előfeltételek

• Az Azure Event Hubs és az Azure Data Explorer erőforrásainak nyilvánosan hozzáférhetőnek kell lenniük, és nem lehetnek tűzfal mögött, vagy nem védhetők azure-beli virtuális hálózaton
• Az Event Hubsban lévő adatokat JSON, CSV vagy Avro formátumban kell szerializálni.

Stream Analytics-feladat fejlesztése valós idejű adatok szűréséhez és betöltéséhez

1. Az Azure Portalon keresse meg és válassza ki az Azure Event Hubs-példányt.

2. Válassza a Szolgáltatások>feldolgozási adatai lehetőséget, majd válassza a Start lehetőséget a Szűrés és az Adatok tárolása az Azure Data Explorer-kártyán.

   

3. Adja meg a Stream Analytics-feladat nevét, majd válassza a Létrehozás lehetőséget.

   

4. Adja meg az adatok szerializálási típusát az Event Hubs ablakban, valamint azt a hitelesítési módszert , amellyel a feladat csatlakozni fog az Event Hubshoz. Ezután válassza a Csatlakozás lehetőséget.
   

5. Ha a kapcsolat sikeresen létrejött, és adatfolyamok áramlanak az Event Hubs-példányba, azonnal két dolgot fog látni:

   • A bemeneti adatokban található mezők. Választhatja a Mező hozzáadása lehetőséget, vagy a mező melletti három pont szimbólumot választva eltávolíthatja, átnevezheti vagy módosíthatja annak típusát.
     
   • Élő minta a bejövő adatokról az Adatok előnézeti táblában a diagram nézetben. Rendszeresen automatikusan frissül. A streamelőnézet szüneteltetése lehetőséget választva megtekintheti a minta bemeneti adatainak statikus nézetét.
     

6. Válassza a Szűrő csempét az adatok összesítéséhez. A Szűrő területen válasszon ki egy mezőt a bejövő adatok feltétellel való szűréséhez.

   

7. Válassza a Manage (Kezelés ) csempét. A Mezők kezelése konfigurációs panelen válassza ki azokat a mezőket, amelyeket ki szeretne küldeni az eseményközpontba. Ha az összes mezőt fel szeretné venni, válassza az Összes mező hozzáadása lehetőséget.

   

8. Válassza az Azure Data Explorer csempét. A konfigurációs panelen töltse ki a szükséges paramétereket, és csatlakozzon.

   Feljegyzés

   A táblának léteznie kell a kijelölt adatbázisban, és a táblaséma pontosan egyezik az adatelőnézet által létrehozott mezők számával és típusával.

   

9. Ha szeretné, válassza a Statikus előzetes verzió lekérése/Statikus előzetes verzió frissítése lehetőséget az eseményközpontban betöltendő adatelőnézet megtekintéséhez.
   

10. Válassza a Mentés, majd a Stream Analytics-feladat indítása lehetőséget.
    

11. A feladat elindításához adja meg a következőket:

    • A feladat által futtatott streamegységek (SU-k) száma. A termékváltozatok a feladathoz lefoglalt számítási és memóriamennyiséget jelölik. Azt javasoljuk, hogy hárommal kezdje, majd szükség szerint módosítsa.
    • Kimeneti adathibák kezelése – Lehetővé teszi a kívánt viselkedés megadását, ha egy feladat kimenete a célhelyre adathibák miatt meghiúsul. Alapértelmezés szerint a feladat újrapróbálkozza, amíg az írási művelet sikeres nem lesz. Dönthet úgy is, hogy elveti az ilyen kimeneti eseményeket.
      

12. A Start gomb kiválasztása után a feladat két percen belül elindul, és a metrikák az alábbi tabulátor szakaszban lesznek megnyitva.

    

    A feladatot a Stream Analytics-feladatok lap Adatok feldolgozása szakaszában is láthatja. A metrikák megnyitásával monitorozhatja vagy szükség szerint leállítja és újraindíthatja a feladatot.

    

Szempontok az Event Hubs georeplikációs funkció használatakor

Az Azure Event Hubs nemrég elindította a georeplikációs funkciót nyilvános előzetes verzióban. Ez a funkció eltér az Azure Event Hubs Geo Disaster Recovery funkciójától.

Ha a feladatátvétel típusa kényszerített , és a replikációs konzisztencia aszinkron, a Stream Analytics-feladat nem garantálja pontosan egyszer az Azure Event Hubs kimenetének kimenetét.

Az Azure Stream Analytics, mint olyan gyártó , amely egy eseményközpont kimenetével rendelkezik, megfigyelheti a feladat vízjel-késését a feladat feladatátvételi időtartama alatt és az Event Hubs általi szabályozás során abban az esetben, ha az elsődleges és a másodlagos replikáció késése eléri a maximálisan konfigurált késést.

Az Azure Stream Analytics, mint az Event Hubs bemenetként használt felhasználója , megfigyelheti a feladat vízjel-késését a feladatátvétel időtartama alatt, és kihagyhatja az adatokat, vagy duplikált adatokat kereshet a feladatátvétel befejezése után.

Ezen kikötések miatt javasoljuk, hogy az Event Hubs feladatátvétele után azonnal indítsa újra a Stream Analytics-feladatot a megfelelő kezdési időponttal. Mivel az Event Hubs georeplikációs funkciója nyilvános előzetes verzióban érhető el, jelenleg nem javasoljuk ezt a mintát éles Stream Analytics-feladatokhoz. A Stream Analytics jelenlegi viselkedése javulni fog, mielőtt az Event Hubs georeplikációs szolgáltatás általánosan elérhető lenne, és a Stream Analytics éles feladataiban is használható lenne.

Következő lépések

További információ az Azure Stream Analyticsről és a létrehozott feladat monitorozásáról.

• Az Azure Stream Analytics bemutatása
• Stream Analytics-feladat monitorozása az Azure Portallal