Event Hubs-adatkapcsolat létrehozása az Azure Data Explorer
Az Azure Data Explorer az Event Hubsból, egy big data streamplatformból és eseménybetöltési szolgáltatásból kínál betöltést. Az Event Hubs másodpercenként több millió eseményt képes közel valós időben feldolgozni.
Ebben a cikkben egy eseményközponthoz csatlakozik, és adatokat betölt az Azure Data Explorer. Az Event Hubsból való betöltésről az adatkapcsolat Azure Event Hubs című témakörben talál áttekintést.
A Kusto SDK-k használatával történő kapcsolat létrehozásához lásd: Event Hubs-adatkapcsolat létrehozása SDK-kkal.
A korábbi SDK-verziókon alapuló kódmintákért tekintse meg az archivált cikket.
Eseményközpont-adatkapcsolat létrehozása
Ebben a szakaszban kapcsolatot létesít az eseményközpont és az Azure Data Explorer tábla között. Amíg ez a kapcsolat működik, a rendszer adatokat továbbít az eseményközpontból a céltáblába. Ha az eseményközpontot egy másik erőforrásba vagy előfizetésbe helyezi át, frissítenie kell vagy újra létre kell hoznia a kapcsolatot.
Előfeltételek
- Microsoft-fiók vagy Microsoft Entra felhasználói identitás. Nincs szükség Azure-előfizetésre.
- Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
- A streambetöltést konfigurálni kell az Azure Data Explorer-fürtön.
Adatok lekérése
A bal oldali menüben válassza a Lekérdezés lehetőséget.
Kattintson a jobb gombbal arra az adatbázisra, ahová az adatokat be szeretné helyezni. Válassza az Adatok lekérése lehetőséget.
Forrás
Az Adatok lekérése ablakban a Forrás lap van kiválasztva.
Válassza ki az adatforrást az elérhető listából. Ebben a példában az Event Hubsból fog adatokat beszedni.
Konfigurálás
Válasszon ki egy céladatbázist és -táblát. Ha adatokat szeretne bevinni egy új táblába, válassza az + Új tábla lehetőséget, és adjon meg egy táblanevet.
Megjegyzés
A táblanevek legfeljebb 1024 karakterből állhatnak, beleértve a szóközöket, az alfanumerikusokat, a kötőjeleket és az aláhúzásokat. A speciális karakterek nem támogatottak.
Töltse ki az alábbi mezőket:
Beállítás Mező leírása Előfizetés Az előfizetés azonosítója, ahol az eseményközpont erőforrása található. Eseményközpont-névtér A névteret azonosító név. Eseményközpont A kívánt eseményközpont Fogyasztói csoport Az eseményben definiált fogyasztói csoport Adatkapcsolat neve Az adatkapcsolatot azonosító név. Speciális szűrők Tömörítés Az eseményközpont üzeneteinek hasznos adattartalmainak tömörítési típusa. Eseményrendszer tulajdonságai Az eseményközpont rendszertulajdonságai. Ha eseményüzenetenként több rekord van, a rendszertulajdonságok hozzá lesznek adva az elsőhöz. Rendszertulajdonságok hozzáadásakor hozzon létre vagy frissítse a táblaséma és a leképezést a kiválasztott tulajdonságok belefoglalásához. Eseménylekérés kezdő dátuma Az adatkapcsolat lekéri az eseménylekérés kezdési dátuma után létrehozott meglévő Event Hubs-eseményeket. Csak az Event Hubs megőrzési időszaka által megőrzött események kérhetők le. Ha az esemény lekérésének kezdő dátuma nincs megadva, az alapértelmezett időpont az adatkapcsolat létrehozásának időpontja. Kattintson a Tovább gombra.
Ellenőrizni
Megnyílik a Vizsgálat lap az adatok előnézetével.
A betöltési folyamat befejezéséhez válassza a Befejezés lehetőséget.
Vagy:
Ha az előnézeti ablakban látható adatok nem teljesek, előfordulhat, hogy több adatra van szüksége egy tábla létrehozásához, amely tartalmazza az összes szükséges adatmezőt. Az alábbi parancsokkal új adatokat hívhat le az eseményközpontból:
Új adatok elvetése és beolvasása: Elveti a megjelenített adatokat, és új eseményeket keres.
További adatok beolvasása: A már talált események mellett további eseményeket is keres.
Megjegyzés
Az adatok előnézetének megtekintéséhez az eseményközpontnak eseményeket kell küldenie.
Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.
A Sémadefiníciós fájl legördülő menüben módosíthatja azt a fájlt, amelyből a séma származik.
Az automatikusan levont adatformátum módosításához válassza ki a kívánt formátumot a legördülő listából. A betöltésről az Azure Data Explorer által támogatott adatformátumok című témakörben olvashat.
Ismerkedjen meg az adattípuson alapuló speciális lehetőségekkel.
Oszlopok szerkesztése
Megjegyzés
- Táblázatos formátumok (CSV, TSV, PSV) esetén nem lehet kétszer leképezni egy oszlopot. Meglévő oszlopra való leképezéshez először törölje az új oszlopot.
- Meglévő oszloptípus nem módosítható. Ha egy másik formátumú oszlopra próbál leképezést végezni, előfordulhat, hogy üres oszlopokat tartalmaz.
A táblázatban végrehajtott módosítások a következő paraméterektől függnek:
- A táblatípus új vagy meglévő
- A leképezés típusa új vagy meglévő
Táblatípus | Leképezés típusa | Elérhető módosítások |
---|---|---|
Új táblázat | Új leképezés | Oszlop átnevezése, adattípus módosítása, adatforrás módosítása, átalakítás leképezése, oszlop hozzáadása, oszlop törlése |
Meglévő tábla | Új leképezés | Oszlop hozzáadása (amelyen módosíthatja az adattípust, átnevezheti és frissítheti) |
Meglévő tábla | Meglévő leképezés | Nincs |
Átalakítások leképezése
Egyes adatformátum-leképezések (Parquet, JSON és Avro) támogatják az egyszerű betöltési idejű átalakításokat. A leképezési átalakítások alkalmazásához hozzon létre vagy frissítsen egy oszlopot az Oszlopok szerkesztése ablakban.
A leképezési átalakítások egy sztring vagy datetime típusú oszlopon hajthatók végre, és a forrás adattípusa int vagy long. A támogatott leképezési átalakítások a következők:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Speciális beállítások adattípus alapján
Táblázatos (CSV, TSV, PSV):
Ha táblázatos formátumokat használ egy meglévő táblában, válassza azAktuális táblaséma megőrzésespeciális> lehetőséget. A táblázatos adatok nem feltétlenül tartalmazzák a forrásadatok meglévő oszlopokra való leképezéséhez használt oszlopneveket. Ha ez a beállítás be van jelölve, a leképezés sorrendben történik, és a táblaséma változatlan marad. Ha ez a beállítás nincs bejelölve, a rendszer az adatstruktúrától függetlenül új oszlopokat hoz létre a bejövő adatokhoz.
Ha az első sort oszlopnévként szeretné használni, válassza a Speciális>első sor oszlopfejlécként lehetőséget.
JSON:
A JSON-adatok oszlopelosztásának meghatározásához válassza a Speciális>beágyazott szintek lehetőséget 1 és 100 között.
Ha az AdvancedIgnore data format errors (Speciális > adatformátum-hibák figyelmen kívül hagyása) lehetőséget választja, az adatok JSON formátumban lesznek betöltve. Ha bejelöletlenül hagyja ezt a jelölőnégyzetet, az adatok többjsonos formátumban lesznek betöltve.
Összefoglalás
Az Adat-előkészítés ablakban mind a három lépés zöld pipával van megjelölve, amikor az adatbetöltés sikeresen befejeződik. Megtekintheti az egyes lépésekhez használt parancsokat, vagy kiválaszthat egy kártyát a betöltött adatok lekérdezéséhez, megjelenítéséhez vagy elvetéséhez.
Eseményközpont adatkapcsolatának eltávolítása
Távolítsa el az adatkapcsolatot a Azure Portal a Portál lapon leírtak szerint.
Kapcsolódó tartalom
- Ellenőrizze a kapcsolatot az Event Hub mintaüzenet-alkalmazással
- Adatok lekérdezése a webes felhasználói felületen