Mi az az Azure Data Explorer?

  • Cikk

Az Azure Data Explorer egy teljes mértékben felügyelt, nagy teljesítményű big data-elemzési platform, amely megkönnyíti a nagy mennyiségű adat közel valós idejű elemzését. Az Azure Data Explorer eszközkészlet egy végpontok közötti megoldást kínál az adatbetöltéshez, a lekérdezéshez, a vizualizációhoz és a felügyelethez.

A strukturált, részben strukturált és strukturálatlan adatok idősoronkénti elemzésével és a Machine Learning használatával az Azure Data Explorer egyszerűvé teszi a kulcsfontosságú megállapítások, a kihasználatlan minták és trendek kinyerését, valamint az előrejelzési modellek létrehozását. Az Azure Data Explorer hagyományos relációs modellt használ, amely szigorúan típusos sémákkal rendelkező táblákba rendezi az adatokat. A táblák adatbázisokban vannak tárolva, és a fürtök több adatbázist is kezelhetnek. Az Azure Data Explorer méretezhető, biztonságos, robusztus és nagyvállalati használatra kész, és hasznos a naplóelemzéshez, az idősorozat-elemzéshez, az IoT-hez és az általános célú feltáró elemzésekhez.

Az Azure Data Explorer képességeit a lekérdezési nyelvre épülő egyéb szolgáltatások is bővítik: Kusto lekérdezésnyelv (KQL). Ezek közé a szolgáltatások közé tartoznak az Azure Monitor-naplók, azApplication Insights, a Time Series Insights és a Végponthoz készült Microsoft Defender.

Mikor érdemes az Azure Data Explorer használni?

Az alábbi kérdések segítségével eldöntheti, hogy az Azure Data Explorer megfelel-e a használati esetnek:

  • Interaktív elemzés: Az interaktív elemzés része a megoldásnak? Például aggregáció, korreláció vagy anomáliadetektálás.
  • Variety, Velocity, Volume: A séma változatos? Nagy mennyiségű adatot kell közel valós időben betöltenie?
  • Adatszervezés: Elemezni szeretné a nyers adatokat? Például nem teljesen válogatott star sémát.
  • Egyidejű lekérdezés: Több felhasználó vagy folyamat is használja az Azure Data Explorer?
  • Buildelés és vásárlás: Tervezi az adatplatform testreszabását?

Az Azure Data Explorer ideális az interaktív elemzési képességek nagy sebességű, változatos nyers adatokon keresztüli engedélyezéséhez. Az alábbi döntési fával eldöntheti, hogy az Azure Data Explorer megfelel-e Önnek:

Ez a rendszerkép egy Azure-Data Explorer döntési fa sémarendszerképe.

Mitől egyedi az Azure Data Explorer?

Adatsebesség, -változatosság és -mennyiség

Az Azure Data Explorer segítségével percek alatt több terabájtnyi adatot is betölthet az üzenetsorba helyezett betöltéssel vagy streamelési betöltéssel. Lekérdezhet petabájtnyi adatot, és az eredményeket ezredmásodpercben és másodpercben adja vissza. Az Azure Data Explorer nagy sebességet (másodpercenként több millió eseményt), alacsony késést (másodpercet) és lineáris skálázást biztosít a nyers adatokhoz. Az adatok betöltése különböző formátumokban és struktúrákban, különböző folyamatokból és forrásokból áramlik.

Felhasználóbarát lekérdezési nyelv

Az Azure Data Explorer lekérdezése a Kusto lekérdezésnyelv (KQL) használatával, amely egy nyílt forráskódú nyelv, amelyet eredetileg a csapat talált ki. A nyelv egyszerűen érthető és tanul, és rendkívül hatékony. Használhat egyszerű operátorokat és fejlett elemzéseket. Az Azure Data Explorer a T-SQL-t is támogatja.

Bővített analitika

Az Azure Data Explorer számos funkcióval használható az idősorok elemzéséhez, beleértve az idősorok hozzáadását és kivonását, a szűrést, a regressziót, a szezonalitás észlelését, a térinformatikai elemzést, az anomáliadetektálást, a vizsgálatot és az előrejelzést. Az idősorfüggvények másodpercek alatt több ezer idősor feldolgozására vannak optimalizálva. A minták észlelését megkönnyítik a fürt beépülő moduljai, amelyek képesek diagnosztizálni az anomáliákat, és alapvető okelemzést végezni. Az Azure Data Explorer képességeit úgy is kiterjesztheti, hogy Python-kódot ágyaz be KQL-lekérdezésekbe.

Egyszerűen használható varázsló

A betöltési varázsló megkönnyíti, gyorsabbá és intuitívabbá teszi az adatbetöltési folyamatot. Az Azure Data Explorer webes felhasználói felülete intuitív és irányított felületet biztosít, amellyel gyorsan megkezdheti az adatok betöltését, adatbázistáblák és leképezési struktúrák létrehozását. Lehetővé teszi az egyszeri vagy folyamatos betöltést különböző forrásokból és különböző adatformátumokban. A táblázatleképezések és -sémák automatikusan javasoltak, és könnyen módosíthatók.

Sokoldalú adatvizualizáció

Az adatvizualizáció segít a fontos megállapítások megszerzésében. Az Azure Data Explorer beépített vizualizációkat és irányítópultokat kínál, különböző diagramok és vizualizációk támogatásával. Natív integrációval rendelkezik a Power BI-val, natív összekötőkkel a Grafana, a Kibana és a Databricks számára, ODBC-támogatással a Tableau, a Sisense, a Qlik és egyebek esetében.

Automatikus betöltés, feldolgozás és exportálás

Az Azure Data Explorer támogatja a kiszolgálóoldali tárolt függvényeket, a folyamatos betöltést és az Azure Data Lake Store-ba történő folyamatos exportálást. Emellett támogatja a betöltési időleképezési átalakításokat a kiszolgálóoldalon, frissíti a szabályzatokat és előre lefordított ütemezett összesítéseket materializált nézetekkel.

Azure Data Explorer-folyamat

Az alábbi diagram az Azure Data Explorerrel történő munkavégzés különböző területeit mutatja be.

Azure Data Explorer flow.

Általánosságban elmondható, hogy az Azure Data Explorer használatakor a következő munkafolyamatot fogja végigvezetni:

Megjegyzés

Az Azure Data Explorer-erőforrásokat az Azure Data Explorer webes felhasználói felületén vagy SDK-k használatával érheti el.

  1. Adatbázis létrehozása: Hozzon létre egy fürtöt, majd hozzon létre egy vagy több adatbázist a fürtben. Minden Azure Data Explorer-fürt legfeljebb 10 000 adatbázist és 10 000 táblát tartalmazhat. Az egyes táblákban lévő adatok adatszilánkokban, más néven "kiterjedésekben" tárolódnak. A rendszer automatikusan indexeli és particionálja az adatokat a betöltési idő alapján. Ez azt jelenti, hogy sok különböző adatot tárolhat, és a tárolási módjuk miatt gyors hozzáférést kap a lekérdezéshez. Rövid útmutató: Azure Data Explorer-fürt és -adatbázis létrehozása

  2. Adatok betöltése: töltsön be adatokat az adatbázistáblákba, így futtathat rajtuk lekérdezéseket. Az Azure Data Explorer számos betöltési módszert támogat, amelyek mindegyike saját célforgatókönyvekkel rendelkezik. Ezek a módszerek közé tartoznak a betöltési eszközök, a különböző szolgáltatások összekötői és beépülő moduljai, a felügyelt folyamatok, az SDK-k használatával végzett programozott betöltés és a betöltéshez való közvetlen hozzáférés. Ismerkedés a betöltési varázslóval.

  3. Lekérdezési adatbázis: Az Azure Data Explorer a Kusto lekérdezésnyelv használja, amely kifejező, intuitív és rendkívül hatékony lekérdezési nyelv. Zökkenőmentes átmenetet biztosít az egyszerű egysorosról az összetett adatfeldolgozási szkriptekre, és támogatja a strukturált, részben strukturált és strukturálatlan (szöveges keresés) adatok lekérdezését. A lekérdezési nyelv operátorai és függvényei (összesítés, szűrés, idősorfüggvények, térinformatikai függvények, illesztések, egyesítések stb.) széles választéka áll rendelkezésre a nyelven. A KQL támogatja a fürtök közötti és az adatbázisközi lekérdezéseket, és elemzési (json, XML stb.) szempontból gazdag. A nyelv natív módon támogatja a fejlett elemzéseket is.

    A webalkalmazás használatával lekérdezéseket és eredményeket futtathat, tekinthet át és oszthat meg. A lekérdezéseket programozott módon (SDK használatával) vagy REST API-végpontra is küldheti. Ha ismeri az SQL-t, ismerkedjen meg az SQL-ről a Kusto-ra vonatkozó hasznos tanácsokkal. Rövid útmutató: Adatok lekérdezése az Azure Data Explorer webes felhasználói felületén

  4. Eredmények megjelenítése: Használja az adatok különböző vizualizációs megjelenítését a natív Azure Data Explorer-irányítópultokon. Az eredményeket összekötőkkel is megjelenítheti néhány vezető vizualizációs szolgáltatásban, például a Power BI-ban és a Grafana-ban. Az Azure Data Explorer ODBC- és JDBC-összekötő-támogatással is rendelkezik olyan eszközökhöz, mint a Tableau és a Sisense.

Visszajelzés küldése

Örömmel várjuk visszajelzését az Azure Data Explorer és a Kusto lekérdezésnyelv a következő címen:

Kapcsolódó tartalom