Az Azure Data Explorer működése
Ebben a leckében a rendszer fő összetevőinek megvitatásával tekintjük át, hogyan működik az Azure Data Explorer a színfalak mögött. Ezután megismerheti, hogyan használhatja a szolgáltatást egy gyakori munkafolyamat feltárásával:
- Adatok betöltése
- Kusto Query Language
- Adatvizualizáció
Ez a tudás segít eldönteni, hogy az Azure Data Explorer megfelel-e az adatok igényeinek.
Főbb összetevők
Az Azure Data Explorer-fürtök elvégzik az adatok betöltését, feldolgozását és lekérdezését. A fürtök az igényeinek megfelelően automatikusan skálázhatók. Az Azure Data Explorer az Azure Storage-on is tárolja az adatokat, és az optimális lekérdezési teljesítmény elérése érdekében gyorsítótárazza ezeket az adatokat a fürt számítási csomópontjain.
Mi található egy Azure Data Explorer-fürtben?
Minden Azure Data Explorer-fürt legfeljebb 10 000 adatbázist és akár 10 000 táblát is tartalmazhat. Az egyes táblákban lévő adatok adatszilánkokban, más néven kiterjedésekben tárolódnak. A rendszer automatikusan indexeli és particionált minden adatot a betöltési idő alapján. A relációs adatbázistól eltérően nincsenek elsődleges idegenkulcs-korlátozások vagy egyéb korlátozások, például az egyediség. Ez a kialakítás azt jelenti, hogy nagy mennyiségű különböző adatot tárolhat. A tárolás módja miatt pedig gyors hozzáférést kap a lekérdezéshez.
Az adatbázisok logikai struktúrája sok más relációs adatbázishoz hasonló. Az Azure Data Explorer-adatbázisok a következőket tartalmazhatják:
- Táblák: Oszlopok készletéből áll. Minden oszlop kilenc különböző adattípus egyikével rendelkezik.
- Külső táblák: Olyan táblák, amelyek mögöttes tárolója más helyeken, például az Azure Data Lake-ben található.
Az általános munkafolyamat megismerése
Általánosságban elmondható, hogy az Azure Data Explorer használatakor a következő munkafolyamaton kell végighaladnia: Először betölti az adatokat a rendszerbe. Ezután elemezheti az adatokat. Ezután az elemzés eredményeit jeleníti meg. Bármikor kapcsolatba léphet az adatkezelési funkciókkal is. Ez az Azure Data Explorerrel végzett munka a fürttel való interakción keresztül történik. Ezeket az erőforrásokat a webes felhasználói felületen vagy SDK-k használatával érheti el.
Hogyan lekérni az adataimat az Azure Data Explorerbe?
Az adatbetöltés az a folyamat, amellyel egy vagy több forrásból származó adatrekordokat tölthet be egy táblába az Azure Data Explorerben. A további adatkezelés magában foglalja a séma egyeztetését, rendszerezését, indexelését, kódolását és tömörítését. A Data Manager ezután véglegesíti az adatbetöltést a motorhoz, ahol az elérhető a lekérdezéshez.
A natív webes felhasználói felület varázsló mellett különböző betöltési eszközök is elérhetők. Beleértve a felügyelt folyamatokat, az Event Gridet, az IoT Hubot és az Azure Data Factoryt. Használhat összekötőket és beépülő modulokat, például a Logstash beépülő modult, a Kafka-összekötőt, a Power Automate-t és az Apache Spark-összekötőt. A programozott betöltést SDK-k vagy LightIngest használatával is használhatja.
Az adatok kétféle módban betölthetők: kötegelés vagy streamelés. A kötegelési betöltés a nagy betöltési sebességre és a gyors lekérdezési eredményekre van optimalizálva. A streamelés közel valós idejű késést tesz lehetővé kis adathalmazok esetén táblánként.
Hogyan elemezni az adataimat?
Az Azure Data Explorer a védett Kusto lekérdezésnyelv (KQL) használatával elemzi az adatokat. Széles körben használják a Microsoftban (Azure Monitor – Log Analytics és Alkalmazás Elemzések, Microsoft Sentinel és Microsoft Defender XDR). A KQL gyors, változatos, big data-feltárásra van optimalizálva. A lekérdezések táblákra, nézetekre, függvényekre és egyéb táblázatos kifejezésekre hivatkoznak. Különböző adatbázisokban vagy fürtökben lévő táblákat is beleértve. A lekérdezések a webes felhasználói felületen, a különböző lekérdezési eszközökkel vagy az Azure Data Explorer SDK-k egyikével futtathatók.
Hogyan működik a Kusto lekérdezésnyelv?
Kusto lekérdezésnyelv kifejező, intuitív és rendkívül hatékony lekérdezési nyelv. Zökkenőmentes átmenetet biztosít az egyszerű egysorosról az összetett adatfeldolgozási szkriptekre, és támogatja a strukturált, félig strukturált és strukturálatlan (szöveges keresés) adatok lekérdezését. A lekérdezési nyelvi operátorok és függvények (aggregáció, szűrés, idősorfüggvények, térinformatikai függvények, illesztések, egyesítések stb.) széles választéka érhető el a nyelven. A KQL támogatja a fürtök közötti és adatbázisközi lekérdezéseket, és elemzési (json, XML stb.) szempontból gazdag. Emellett a nyelv natív módon támogatja a speciális elemzéseket.
Hogyan jeleníthetem meg a lekérdezés eredményeit?
Az Azure Data Explorer webes felhasználói felülete a big data szem előtt tartásával lett kialakítva, lehetővé téve a lekérdezések futtatását és irányítópultok készítését. Legfeljebb 500 K rekord és több ezer oszlop megjelenítését támogatja. Rendkívül méretezhető és funkciókkal gazdag, amely segít gyors elemzéseket készíteni az adatokból. Az Azure Data Explorer-irányítópultokon az adatok különböző vizuális megjelenítését is használhatja. Az eredményeket natív összekötőkkel is megjelenítheti a ma elérhető vezető vizualizációs szolgáltatásokban, például a Power BI-ban és a Grafana-ban. Az Azure Data Explorer ODBC- és JDBC-összekötő-támogatással is rendelkezik olyan eszközökhöz, mint a Tableau és a Qlik.
Hogyan kezelni az adataimat?
Rendszergazda különböző karbantartási és szabályzati feladatokat szeretnének végrehajtani az Azure Data Explorer-fürtöiken, a Control parancsok pedig lehetővé teszik számukra ezt. A Control parancsokkal új fürtöket vagy adatbázisokat hozhatnak létre, adatkapcsolatokat létesíthetnek, automatikus skálázást végezhetnek, és módosíthatják a fürtkonfigurációkat. Emellett szabályozhatják és módosíthatják az entitásokat, a metaadat-objektumokat, az engedélyeket és a biztonsági szabályzatokat. Emellett módosíthatják a materializált nézeteket (más táblák folyamatosan frissített szűrt nézeteit), a függvényeket (a tárolt függvényeket és a felhasználó által definiált függvényeket), valamint a frissítési szabályzatot (a betöltés után aktivált függvényeket).
A vezérlőparancsok közvetlenül a motoron futnak a WebUI, az Azure Portal, a különböző lekérdezési eszközök vagy az Azure Data Explorer SDK-k egyikével.