Megosztás:

Az Azure Synapse SQL szűrése és betöltése a Stream Analytics no code editor használatával

Ez a cikk azt ismerteti, hogyan hozhat létre egyszerűen Stream Analytics-feladatokat a kódszerkesztővel. Folyamatosan olvas az Event Hubsból, szűri a bejövő adatokat, majd folyamatosan írja az eredményeket a Synapse SQL-táblába.

Előfeltételek

  • Az Azure Event Hubs-erőforrásoknak nyilvánosan hozzáférhetőnek kell lenniük, és nem lehetnek tűzfal mögött, és nem védhetők egy Azure-beli virtuális hálózaton.
  • Az Event Hubsban lévő adatokat JSON, CSV vagy Avro formátumban kell szerializálni.

Stream Analytics-feladat fejlesztése adatok szűréséhez és betöltéséhez

Az alábbi lépésekkel egy Stream Analytics-feladatot fejleszthet a valós idejű adatok Synapse SQL-táblába való szűréséhez és betöltéséhez.

  1. Az Azure Portalon keresse meg és válassza ki az Azure Event Hubs-példányt.

  2. Válassza a Szolgáltatások>feldolgozási adatai lehetőséget, majd válassza a Start elemet a Szűrés és a Synapse SQL-kártya betöltéséhez.
    Képernyőkép a Process Event Hubs adatindító kártyáiról.

  3. Adjon meg egy nevet a Stream Analytics-feladat azonosításához, majd válassza a Létrehozás lehetőséget.
    Képernyőkép az Új Stream Analytics-feladat ablakról, ahol beírja a feladat nevét.

  4. Adja meg az adatok szerializálási típusát az Event Hubs ablakban, valamint azt a hitelesítési módszert , amellyel a feladat csatlakozni fog az Event Hubshoz. Ezután válassza a Csatlakozás lehetőséget.
    Képernyőkép az Event Hubs kapcsolatkonfigurációjáról.

  5. Ha a kapcsolat sikeresen létrejött, és adatfolyamok áramlanak az Event Hubs-példányba, azonnal két dolgot fog látni:

    • A bemeneti adatokban található mezők. Választhatja a Mező hozzáadása lehetőséget, vagy a mező melletti három pont szimbólumot választva eltávolíthatja, átnevezheti vagy módosíthatja annak típusát.
      Képernyőkép az Event Hubs mezőlistájáról, ahol eltávolíthatja, átnevezheti vagy módosíthatja a mezőtípust.
    • Élő minta a bejövő adatokról az Adatok előnézeti táblában a diagram nézetben. Rendszeresen automatikusan frissül. A streamelőnézet szüneteltetése lehetőséget választva megtekintheti a minta bemeneti adatainak statikus nézetét.
      Képernyőkép a mintaadatokról az Adatelőnézet alatt.

  6. A Szűrő területen válasszon ki egy mezőt a bejövő adatok feltétellel való szűréséhez.
    Képernyőkép a Szűrő területről, ahol feltétellel szűrheti a bejövő adatokat.

  7. Válassza ki a Synapse SQL-táblát a szűrt adatok elküldéséhez:

    1. Válassza ki az Előfizetés, az Adatbázis (dedikált SQL-készlet neve) és a Hitelesítési metódust a legördülő menüből.
    2. Adja meg a tábla nevét, ahol a szűrt adatok be lesznek adva. Válassza a Kapcsolódás lehetőséget.
      Képernyőkép a Synapse SQL-tábla kapcsolati adatairól.

    Feljegyzés

    A táblázatsémának pontosan meg kell egyeznie az adatelőnézet által létrehozott mezők számával és típusával.

  8. Ha szeretné, válassza a Statikus előnézet lekérése/Statikus előzetes verzió frissítése lehetőséget a kiválasztott Synapse SQL-táblában betöltendő adatelőnézet megtekintéséhez.
    Képernyőkép a Statikus előnézet lekérése/Statikus előnézet frissítése lehetőségről.

  9. Válassza a Mentés, majd a Stream Analytics-feladat indítása lehetőséget.
    Képernyőkép a Mentés és indítás beállításról.

  10. A feladat elindításához adja meg a következőket:

    • A feladat által futtatott streamegységek (SU-k) száma. A termékváltozatok a feladathoz lefoglalt számítási és memóriamennyiséget jelölik. Azt javasoljuk, hogy hárommal kezdje, majd szükség szerint módosítsa.
    • Kimeneti adathibák kezelése – Lehetővé teszi a kívánt viselkedés megadását, ha egy feladat kimenete a célhelyre adathibák miatt meghiúsul. Alapértelmezés szerint a feladat újrapróbálkozza, amíg az írási művelet sikeres nem lesz. Dönthet úgy is, hogy elveti az ilyen kimeneti eseményeket.
      Képernyőkép a Stream Analytics indítása feladatbeállításokról, ahol módosíthatja a kimeneti időt, beállíthatja a streamelési egységek számát, és kiválaszthatja a Kimeneti adatok hibakezelési beállításait.

  11. A Start gomb kiválasztása után a feladat két percen belül elindul, a metrikák pedig az alábbi tabulátor szakaszban lesznek megnyitva.

    A feladatot a Stream Analytics-feladatok lap Adatok feldolgozása szakaszában is láthatja. A metrikák megnyitásával monitorozhatja vagy szükség szerint leállítja és újraindíthatja a feladatot.

    Képernyőkép a Stream Analytics-feladatok lapról, ahol megtekintheti a futó feladatok állapotát.

Szempontok az Event Hubs georeplikációs funkció használatakor

Az Azure Event Hubs nemrég elindította a georeplikációs funkciót nyilvános előzetes verzióban. Ez a funkció eltér az Azure Event Hubs Geo Disaster Recovery funkciójától.

Ha a feladatátvétel típusa kényszerített , és a replikációs konzisztencia aszinkron, a Stream Analytics-feladat nem garantálja pontosan egyszer az Azure Event Hubs kimenetének kimenetét.

Az Azure Stream Analytics, mint olyan gyártó , amely egy eseményközpont kimenetével rendelkezik, megfigyelheti a feladat vízjel-késését a feladat feladatátvételi időtartama alatt és az Event Hubs általi szabályozás során abban az esetben, ha az elsődleges és a másodlagos replikáció késése eléri a maximálisan konfigurált késést.

Az Azure Stream Analytics, mint az Event Hubs bemenetként használt felhasználója , megfigyelheti a feladat vízjel-késését a feladatátvétel időtartama alatt, és kihagyhatja az adatokat, vagy duplikált adatokat kereshet a feladatátvétel befejezése után.

Ezen kikötések miatt javasoljuk, hogy az Event Hubs feladatátvétele után azonnal indítsa újra a Stream Analytics-feladatot a megfelelő kezdési időponttal. Mivel az Event Hubs georeplikációs funkciója nyilvános előzetes verzióban érhető el, jelenleg nem javasoljuk ezt a mintát éles Stream Analytics-feladatokhoz. A Stream Analytics jelenlegi viselkedése javulni fog, mielőtt az Event Hubs georeplikációs szolgáltatás általánosan elérhető lenne, és a Stream Analytics éles feladataiban is használható lenne.

Következő lépések

További információ az Azure Stream Analyticsről és a létrehozott feladat monitorozásáról.

  • Last updated on