Sdílet prostřednictvím

Co je Azure Synapse Data Explorer? (Ukázka)

Důležité

Průzkumník dat Azure Synapse Analytics (Preview) bude vyřazen 7. října 2025. Po tomto datu se úlohy spuštěné v Průzkumníku dat Synapse odstraní a související data aplikace budou ztracena. Důrazně doporučujeme migraci do systému Eventhouse v Microsoft Fabric.

Program Microsoft Cloud Migration Factory (CMF) je navržený tak, aby zákazníkům pomohl s migrací na Fabric. Program nabízí zákazníkům praktické klávesové prostředky bez poplatků. Tyto zdroje jsou přiřazeny po dobu 6 až 8 týdnů s předdefinovaným a odsouhlaseným rozsahem. Nominace zákazníků jsou přijímány od týmu účtů Microsoft nebo přímo odesláním žádosti o pomoc týmu CMF.

Azure Synapse Data Explorer poskytuje zákazníkům interaktivní prostředí dotazů k odemknutí přehledů z dat protokolu a telemetrie. Pro doplnění stávajících modulů modulu runtime analýzy SQL a Apache Sparku je analytický modul runtime Data Exploreru optimalizovaný pro efektivní analýzu protokolů pomocí výkonné technologie indexování, která automaticky indexují bezplatná a částečně strukturovaná data běžně používaná v telemetrických datech.

Diagram znázorňující architekturu Azure Synapse

Další informace najdete v následujícím videu:

Co dělá Azure Synapse Data Explorer jedinečný?

  • Snadný příjem dat – Průzkumník dat nabízí integrované integrace pro bez kódu nebo nízký kód, příjem dat s vysokou propustností a ukládání dat do mezipaměti ze zdrojů v reálném čase. Data se dají ingestovat ze zdrojů, jako jsou Azure Event Hubs, Kafka, Azure Data Lake, opensourcoví agenti, jako jsou Fluentd/Fluent Bit, a širokou škálu cloudových a místních zdrojů dat.

  • Bez komplexního modelování dat – s Průzkumníkem dat není potřeba vytvářet složité datové modely a není nutné vytvářet složité skriptování pro transformaci dat před jejich využitím.

  • Žádná údržba indexu – úlohy údržby nejsou potřeba k optimalizaci dat pro výkon dotazů a nepotřebují údržbu indexů. V Průzkumníku dat jsou všechna nezpracovaná data dostupná okamžitě a umožňují spouštět vysoce výkonné a vysoce souběžné dotazy na streamovaná a trvalá data. Pomocí těchto dotazů můžete vytvářet řídicí panely a výstrahy téměř v reálném čase a připojovat provozní analytická data se zbytkem platformy pro analýzu dat.

  • Demokratizace analýzy dat – Průzkumník dat demokratizuje samoobslužné analýzy velkých objemů dat pomocí intuitivního dotazovacího jazyka Kusto (KQL), který poskytuje výraznost a výkon SQL s jednoduchostí Excelu. KQL je vysoce optimalizovaná pro zkoumání nezpracovaných telemetrických dat a dat časových řad díky využití technologie indexování textu v nejlepší třídě v Průzkumníku dat pro efektivní vyhledávání volného textu a regulárního výrazu a komplexní parsování funkcí pro dotazování trasování a textových dat a částečně strukturovaných dat JSON včetně polí a vnořených struktur. KQL nabízí pokročilou podporu časových řad pro vytváření, manipulaci a analýzu více časových řad s podporou provádění v modulu v Pythonu pro bodování modelů.

  • Prověřená technologie v petabajtovém měřítku – Průzkumník dat je distribuovaný systém s výpočetními prostředky a úložištěm, které se dá škálovat nezávisle a umožňuje analýzu gigabajtů nebo petabajtů dat.

  • Integrovaná – Azure Synapse Analytics poskytuje interoperabilitu dat mezi Průzkumníkem dat, Apache Sparkem a moduly SQL, které umožňují datovým inženýrům, datovým vědcům a datovým analytikům snadno a bezpečně přistupovat ke stejným datům v datovém jezeře a spolupracovat na stejných datech.

Kdy použít Azure Synapse Data Explorer?

Průzkumník dat můžete použít jako datovou platformu pro vytváření analýz protokolů téměř v reálném čase a analytických řešení IoT k:

  • Sloučit a korelovat data protokolů a událostí napříč místními, cloudovými a externími zdroji dat.

  • Urychlete svou cestu k AI Ops (rozpoznávání vzorů, detekce anomálií, prognózování a další).

  • Nahraďte řešení prohledávání protokolů založená na infrastruktuře, abyste ušetřili náklady a zvýšili produktivitu.

  • Sestavte analytická řešení IoT pro vaše data IoT.

  • Vytvářejte analytická řešení SaaS, která nabízejí služby interním a externím zákazníkům.

Architektura fondu Průzkumníka dat

Clustery Průzkumníka dat implementují architekturu horizontální škálovatelnosti oddělením výpočetních zdrojů a úložných zdrojů. To umožňuje nezávisle škálovat jednotlivé prostředky a například spouštět na stejných datech několik výpočetních prostředků jen pro čtení. Fondy Průzkumníka dat se skládají ze sady výpočetních prostředků, na kterých běží modul, který zodpovídá za automatické indexování, komprimaci, ukládání do mezipaměti a obsluhu distribuovaných dotazů. Mají také druhou sadu výpočetních prostředků, na kterých běží služba pro správu dat zodpovědná za systémové úlohy na pozadí a spravovaný a zařazený příjem dat do fronty. Všechna data se ukládají na účty spravovaného blob úložiště s použitím komprimovaného sloupcového formátu.

Fondy Průzkumníka dat podporují bohatý ekosystém pro příjem dat pomocí konektorů, sad SDK, rozhraní REST API a dalších spravovaných funkcí. Nabízí různé způsoby, jak využívat data pro ad hoc dotazy, sestavy, řídicí panely, výstrahy, rozhraní REST API a sady SDK.

Architektura fondů Průzkumníka dat

Existuje mnoho jedinečných funkcí, díky kterým jsou Data Explore nejlepším analytickým modulem pro analýzy protokolů a časových řad v Azure.

Následující části zvýrazňují klíčové rozdíly.

Indexování bezplatných a částečně strukturovaných dat umožňuje téměř v reálném čase vysoký výkon a vysoké souběžné dotazy.

Průzkumník dat indexuje částečně strukturovaná data (JSON) a nestrukturovaná data (volný text), díky čemuž se s tímto typem dat dobře provádějí dotazy. Ve výchozím nastavení se každé pole indexuje během příjmu dat s možností použití zásad kódování nízké úrovně k vyladění nebo zakázání indexu pro konkrétní pole. Rozsah indexu je jeden horizontální oddíl dat.

Implementace indexu závisí na typu pole následujícím způsobem:

Typ pole Implementace indexování
Řetězec Modul vytvoří invertovaný index termínů pro hodnoty řetězcového sloupce. Každá řetězcová hodnota se analyzuje a rozdělí do normalizovaných termínů a pro každý termín se zaznamená uspořádaný seznam logických pozic obsahujících pořadové znaky. Výsledný seřazený seznam termínů a jejich přidružených pozic se uloží jako neměnný B-strom.
Číslo
Datum a čas
Časový rozsah		 Modul vytvoří jednoduchý index pro předávání na základě rozsahu. Index zaznamenává minimální/maximální hodnoty pro každý blok, pro skupinu bloků a pro celý sloupec v rámci horizontálního oddílu dat.
dynamické Proces příjmu dat vyčíslí všechny "atomické" prvky v rámci dynamické hodnoty, jako jsou názvy vlastností, hodnoty a maticové prvky, a předá je tvůrci indexů. Dynamická pole mají stejný invertovaný index termínů jako pole řetězců.

Tyto efektivní funkce indexování umožňují službě Data Explore zpřístupnit data téměř v reálném čase pro vysoce výkonné a vysoce souběžné dotazy. Systém automaticky optimalizuje horizontální oddíly dat pro další zvýšení výkonu.

Jazyk dotazů Kusto

KQL má velkou a rostoucí komunitu s rychlým přijetím služby Azure Monitor Log Analytics a Application Insights, Microsoft Sentinelu, Azure Data Exploreru a dalších nabídek Microsoftu. Jazyk je dobře navržený pomocí snadno čitelné syntaxe a poskytuje hladký přechod z jednoduchých dotazů na zpracování dat. To umožňuje Průzkumníku dat poskytovat bohatou podporu IntelliSense a bohatou sadu jazykových konstruktorů a integrovaných funkcí pro agregace, časové řady a analýzy uživatelů, které nejsou v SQL k dispozici pro rychlé zkoumání telemetrických dat.

Další kroky