Az Azure Data Explorer működése

Az Azure Data Explorer páratlan teljesítményt nyújt a telemetriai adatok, naplók, események, nyomkövetések és idősoradatok betöltéséhez és lekérdezéséhez. Optimalizált tárolási formátumokat, indexeket tartalmaz, és fejlett adatstatisztikákat használ a hatékony lekérdezéstervezéshez és az igény szerint lefordított lekérdezés-végrehajtáshoz.

Tárolás és számítás

Az Azure Data Explorer elkülöníti a tárolási és számítási erőforrásokat. Az állandó adatok Azure Blob Storage találhatók, míg a számítási erőforrások ideiglenes adatokat tárolhatnak, vagy gyorsítótárként szolgálhatnak az állandó tároláshoz.

Ez az elkülönítés a következő előnyöket biztosítja:

• A tárolási és számítási erőforrások független felskálázása.
• Akadálymentesség azonos adatokhoz több számítási fürtön. További információ: Adatmegosztás.
• Termékváltozat optimalizálása. További információ: Termékváltozat kiválasztása a fürthöz.

Adattárolás

Az Azure Data Explorer az összes betöltött adatot mértékekre vagy adatszilánkokra particionálja, amelyek a céltábla vízszintes szeletei. A mértékek akár egyetlen rekordtól is kezdődhetnek. Ahogy az adatok felhalmozódnak a táblában, az Azure Data Explorer automatikusan egyesíti a mértékeket, amíg azok több millió rekordot nem foglalnak magukba. Minden mérték kódolása és indexelése más mértéktől függetlenül történik. Ez a funkció hozzájárul a betöltési átviteli sebesség lineáris skálázásához.

A mértékek egyenletesen oszlanak el a fürtcsomópontok között, ahol a helyi SSD-n és a memóriában is gyorsítótárazva vannak. Ez az elosztás növeli a nagy mértékben elosztott és párhuzamos lekérdezések előkészítésének és végrehajtásának kapacitását.

Az adattárolással kapcsolatos további információkért lásd: A mértékek áttekintése.

Megjegyzés

Az Azure Data Explorer emellett megőrzi az alapvető metaadatokat, például a táblasémákat és a szabályzatobjektumokat. A szabályzatok listáját a Szabályzatok áttekintése című témakörben találja.

Adatgyorsítótár

Az Azure Data Explorer többhierarchiás adatgyorsítótár-rendszerrel rendelkezik, hogy a legrelevánsabb adatok a lehető legközelebb legyenek gyorsítótárazva a processzorhoz. A gyorsítótárrendszer a mértékek nem módosíthatóságától függ, és teljes mértékben tömörített adatokkal működik. A lekérdezési teljesítmény javítása érdekében az adatok még a RAM-ban is tömörítve maradnak, és csak akkor lesznek kibontva, ha egy lekérdezéshez szükség van rá.

További információ a gyorsítótárazással kapcsolatban: Gyorsítótárszabályzat.

Szövegindexelés

Az Azure Data Explorer úgy lett kialakítva, hogy hatékonyan indexelje a szabad szöveges (sztring) és JSON-szerű (dinamikus) oszlopokat az adatok betöltésekor. Az indexek olyan részletességi szintet tartanak fenn, amely lehetővé teszi a lekérdezés egyes részeinek kiértékelését az index alapján az adatok vizsgálata nélkül.

A terjedelmek folyamatos, egyesítéssel történő optimalizálása javítja a tömörítést és az indexelést, így hatékony tárolást és alacsony lekérdezési késést biztosít. Ha a mértékek elérik a kívánt méretet, a rendszer csak az indexeket egyesíti a lekérdezési teljesítmény növelése érdekében a hatékonyság veszélyeztetése nélkül.

A mértékek és az indexek egyesítésével kapcsolatos további információkért lásd: Szabályzat egyesítése.

Sortár

Az Azure Data Explorer egy sortároló nevű köztes tárolási megoldást kínál. A sortároló lehetővé teszi a kis mennyiségű adat hatékony bevitelét, és biztosítja, hogy ezek az adatok azonnal elérhetők legyen a lekérdezéshez. Ha engedélyezi a streambetöltést a fürtön, az adatok kezdetben sortárba kerülnek, majd az oszloptárolókba kerülnek.

További információ: Kötegelés és streambetöltés.

Oszloptömörítés

Az Azure Data Explorer tömörített állapotban tartja fenn az adatokat, csökkentve az adatok tárolásához és feldolgozásához szükséges memória mennyiségét. Ez a viselkedés gyorsabb lekérdezési teljesítményt és a rendszererőforrások hatékonyabb használatát eredményezi.

Az Azure Data Explorer elkerüli a vertikális tömörítést, amely magában foglalja az adatok rendezését a tömörítés javítása érdekében, mivel a szabadszöveges vagy félig strukturált adatforgatókönyvekben magas processzorköltséggel jár. Ehelyett megadhatja a domináns lekérdezési mintákkal rendelkező forgatókönyvek előnyben részesített adatrendezési sorrendjét. Ez a kompromisszum rangsorolja a lekérdezések gyors rendelkezésre állását.

További információ az adatrendezési sorrend megadásáról: Sorrendezési szabályzat.

Elosztott adat lekérdezés

Az Azure Data Explorer elosztott adat lekérdezési technológiát használ a nagy strukturálatlan adathalmazok gyors alkalmi elemzéséhez. A technológia fő jellemzői a következők:

• A lekérdezés által létrehozott ideiglenes adatok összesített RAM-ban lesznek tárolva
• A releváns mértékek egy lekérdezésterven vannak megjelölve, így pillanatkép-elkülönítést biztosítanak
• A gyors és hatékony lekérdezések rangsorolása rövid alapértelmezett időtúllépésekkel
• Fürtök közötti adatcserét minimalizáló fürtök közötti lekérdezések natív támogatása
• A lekérdezések igény szerinti fordítása rendkívül hatékony gépi kódba történik, minden mértékből származó adatstatisztikák használatával, és az oszlop kódolási jellemzőire szabva

Megjegyzés

Az Azure Data Explorer az Azure Data Explorer-hez készült Kusto lekérdezésnyelv (KQL) használatához készült. Emellett a T-SQL is támogatott.

Kapcsolódó tartalom

• Azure Data Explorer-fürt és -adatbázis létrehozása