Co je Azure Data Explorer?

  • Článek

Azure Data Explorer je plně spravovaná, vysoce výkonná platforma pro analýzu velkých objemů dat, která usnadňuje analýzu velkých objemů dat téměř v reálném čase. Sada nástrojů Azure Data Explorer poskytuje ucelené řešení pro příjem dat, dotazování, vizualizaci a správu dat.

Díky analýze strukturovaných, částečně strukturovaných a nestrukturovaných dat napříč časovými řadami a použití služby Machine Learning usnadňuje Azure Data Explorer extrakci klíčových přehledů, zjišťování vzorů a trendů a vytváření modelů prognózování. Azure Data Explorer používá tradiční relační model a organizuje data do tabulek se schématy silného typu. Tabulky se ukládají v rámci databází a cluster může spravovat více databází. Azure Data Explorer je škálovatelná, zabezpečená, robustní a připravená pro podniky a je užitečná pro analýzy protokolů, analýzy časových řad, IoT a průzkumné analýzy pro obecné účely.

Možnosti azure Data Explorer jsou rozšířené o další služby založené na jeho dotazovacím jazyce: dotazovací jazyk Kusto (KQL). Mezi tyto služby patří protokoly Azure Monitoru, Application Insights, Time Series Insights a Microsoft Defender for Endpoint.

Kdy byste měli použít Azure Data Explorer?

Následující otázky vám pomůžou rozhodnout, jestli je Azure Data Explorer pro váš případ použití nejvhodnější:

  • Interaktivní analýza: Je interaktivní analýza součástí řešení? Například agregace, korelace nebo detekce anomálií.
  • Rozmanitost, rychlost, objem: Je vaše schéma různorodé? Potřebujete ingestovat obrovské objemy dat téměř v reálném čase?
  • Organizace dat: Chcete analyzovat nezpracovaná data? Například ne plně kurátorované star schématu.
  • Souběžnost dotazů: Bude Azure Data Explorer používat více uživatelů nebo procesů?
  • Build vs. Buy: Plánujete přizpůsobení datové platformy?

Azure Data Explorer je ideální k povolení interaktivních analytických funkcí pro vysokorychlostní různá nezpracovaná data. Následující rozhodovací strom vám pomůže rozhodnout se, jestli je pro vás Azure Data Explorer nejvhodnější:

Tento obrázek představuje schematický obrázek pracovního postupu rozhodovacího stromu Azure Data Explorer.

Čím je Azure Data Explorer jedinečný?

Rychlost, rozmanitost a objem dat

S Azure Data Explorer můžete ingestovat terabajty dat v řádu minut prostřednictvím příjmu dat ve frontě nebo příjmu dat streamování. Můžete dotazovat petabajty dat s výsledky vrácenými během milisekund až sekund. Azure Data Explorer poskytuje vysokou rychlost (miliony událostí za sekundu), nízkou latenci (sekundy) a lineární škálování příjmu nezpracovaných dat. Ingestujte data v různých formátech a strukturách a tok z různých kanálů a zdrojů.

Uživatelsky přívětivý dotazovací jazyk

Dotazujte azure Data Explorer pomocí dotazovací jazyk Kusto (KQL), opensourcového jazyka, který tým původně vymyslel. Jazyk je jednoduchý na pochopení a učení a je vysoce produktivní. Můžete použít jednoduché operátory a pokročilou analýzu. Azure Data Explorer podporuje také T-SQL.

Pokročilé analýzy

Azure Data Explorer můžete použít k analýze časových řad s velkou sadou funkcí, mezi které patří: sčítání a odčítání časových řad, filtrování, regrese, detekce sezónnosti, geoprostorová analýza, detekce anomálií, prohledávání a prognózování. Funkce časových řad jsou optimalizované pro zpracování tisíců časových řad v sekundách. Detekce vzorů je snadná díky clusterovým modulům plug-in, které můžou diagnostikovat anomálie a analyzovat původní příčiny. Možnosti Azure Data Explorer můžete také rozšířit vložením kódu Pythonu do dotazů KQL.

Snadno použitelný průvodce

Průvodce příjmem dat usnadňuje, zrychluje a intuitivně zpracovává příjem dat. Webové uživatelské rozhraní Azure Data Explorer poskytuje intuitivní a řízené prostředí, které vám pomůže rychle začít ingestovat data, vytvářet databázové tabulky a mapovat struktury. Umožňuje jednorázový nebo průběžný příjem dat z různých zdrojů a v různých datových formátech. Mapování tabulek a schémata se navrhují automaticky a snadno se upravují.

Univerzální vizualizace dat

Vizualizace dat vám pomůže získat důležité přehledy. Azure Data Explorer nabízí integrované vizualizace a řídicí panely s podporou různých grafů a vizualizací. Má nativní integraci s Power BI, nativní konektory pro Grafana, Kibana a Databricks, podporu ODBC pro Tableau, Sisense, Qlik a další.

Automatické ingestování, zpracování a export

Azure Data Explorer podporuje uložené funkce na straně serveru, průběžné ingestování a průběžný export do Azure Data Lake Store. Podporuje také transformace mapování času příjmu dat na straně serveru, aktualizace zásad a předem naplánované agregace s materializovanými zobrazeními.

Tok Azure Data Exploreru

Následující diagram znázorňuje různé aspekty práce s Azure Data Explorerem.

Tok Data Explorer Azure.

Obecně řečeno, při interakci s Azure Data Explorer budete procházet následující pracovní postup:

Poznámka

K prostředkům Azure Data Explorer můžete přistupovat buď ve webovém uživatelském rozhraní Azure Data Explorer, nebo pomocí sad SDK.

  1. Vytvoření databáze: Vytvoříte cluster a v něm pak jednu nebo více databází. Každý cluster Azure Data Explorer může obsahovat až 10 000 databází a každou databázi až 10 000 tabulek. Data v každé tabulce jsou uložená v horizontálních oddílech dat označovaných také jako "rozsahy". Všechna data se automaticky indexují a rozdělují na základě času příjmu dat. To znamená, že můžete ukládat velké množství různých dat a díky způsobu jejich ukládání získáte rychlý přístup k jejich dotazování. Rychlý start: Vytvoření clusteru a databáze Azure Data Exploreru

  2. Ingestování dat: Načtete data do databázových tabulek, abyste se na ně mohli dotazovat spouštěním dotazů. Azure Data Explorer podporuje několik metod příjmu dat, z nichž každá má vlastní cílové scénáře. Mezi tyto metody patří nástroje pro příjem dat, konektory a moduly plug-in pro různé služby, spravované kanály, programový příjem dat pomocí sad SDK a přímý přístup k příjmu dat. Začněte s průvodcem příjmem dat.

  3. Dotazování databáze: Azure Data Explorer používá dotazovací jazyk Kusto, což je výrazový, intuitivní a vysoce produktivní dotazovací jazyk. Nabízí plynulý přechod z jednoduchých jednoduchých jednoduchých linerů na složité skripty pro zpracování dat a podporuje dotazování strukturovaných, částečně strukturovaných a nestrukturovaných dat (vyhledávání textu). V jazyce existuje široká škála operátorů a funkcí dotazovacího jazyka (agregace, filtrování, funkce časových řad, geoprostorové funkce, spojení, sjednocení a další). KQL podporuje dotazy mezi clustery a mezidatabázovými dotazy a má bohaté funkce z hlediska analýzy (JSON, XML a dalších). Jazyk také nativně podporuje pokročilou analýzu.

    Pomocí webové aplikace můžete spouštět, kontrolovat a sdílet dotazy a výsledky. Dotazy můžete také odesílat prostřednictvím kódu programu (pomocí sady SDK) nebo do koncového bodu rozhraní REST API. Pokud znáte SQL, začněte s tahákem SQL do Kusto. Rychlý start: Dotazování dat ve webovém uživatelském rozhraní Azure Data Explorer

  4. Vizualizace výsledků: Použijte různá vizuální zobrazení dat v nativních řídicích panelech Azure Data Explorer. Výsledky můžete také zobrazit pomocí konektorů pro některé z předních vizualizačních služeb, jako jsou Power BI a Grafana. Azure Data Explorer má také podporu konektorů ODBC a JDBC pro nástroje, jako jsou Tableau a Sisense.

Jak poskytnout zpětnou vazbu

S radostí bychom slyšeli vaši zpětnou vazbu k Azure Data Explorer a dotazovací jazyk Kusto na adrese:

Související obsah