Co je Azure Synapse Data Explorer? (Ukázka)

Důležité

Průzkumník dat Azure Synapse Analytics (Preview) bude vyřazen 7. října 2025. Po tomto datu se úlohy spuštěné v Průzkumníku dat Synapse odstraní a související data aplikace budou ztracena. Důrazně doporučujeme migraci do systému Eventhouse v Microsoft Fabric.

Program Microsoft Cloud Migration Factory (CMF) je navržený tak, aby zákazníkům pomohl s migrací na Fabric. Program nabízí zákazníkům praktické klávesové prostředky bez poplatků. Tyto zdroje jsou přiřazeny po dobu 6 až 8 týdnů s předdefinovaným a odsouhlaseným rozsahem. Nominace zákazníků jsou přijímány od týmu účtů Microsoft nebo přímo odesláním žádosti o pomoc týmu CMF.

Azure Synapse Data Explorer poskytuje zákazníkům interaktivní prostředí dotazů k odemknutí přehledů z dat protokolu a telemetrie. Pro doplnění stávajících modulů runtime analýzy SQL a Apache Spark je analytický modul runtime Data Explorer optimalizovaný pro efektivní analýzu protokolů pomocí výkonné technologie indexování, která automaticky indexuje volný text a částečně strukturovaná data běžně nacházená v telemetrických datech.

Další informace najdete v následujícím videu:

Co dělá Azure Synapse Data Explorer jedinečný?

• Snadný příjem dat – Průzkumník dat nabízí integrované integrace pro bez kódu nebo nízký kód, příjem dat s vysokou propustností a ukládání dat do mezipaměti ze zdrojů v reálném čase. Data se dají ingestovat ze zdrojů, jako jsou Azure Event Hubs, Kafka, Azure Data Lake, opensourcoví agenti, jako jsou Fluentd/Fluent Bit, a širokou škálu cloudových a místních zdrojů dat.

• Bez komplexního modelování dat – s Průzkumníkem dat není potřeba vytvářet složité datové modely a není nutné vytvářet složité skriptování pro transformaci dat před jejich využitím.

• Žádná údržba indexu – úlohy údržby nejsou potřeba k optimalizaci dat pro výkon dotazů a nepotřebují údržbu indexů. V Průzkumníku dat jsou všechna nezpracovaná data dostupná okamžitě a umožňují spouštět vysoce výkonné a vysoce souběžné dotazy na streamovaná a trvalá data. Pomocí těchto dotazů můžete vytvářet řídicí panely a výstrahy téměř v reálném čase a připojovat provozní analytická data se zbytkem platformy pro analýzu dat.

• Demokratizace analýzy dat – Průzkumník dat demokratizuje samoobslužné analýzy velkých objemů dat pomocí intuitivního dotazovacího jazyka Kusto (KQL), který poskytuje výraznost a výkon SQL s jednoduchostí Excelu. KQL je vysoce optimalizované pro zkoumání nezpracovaných telemetrických dat a dat časových řad díky využití nejmodernější technologie indexování textu v Data Exploreru pro efektivní vyhledávání volného textu a regulárních výrazů a komplexní možnosti parsování pro dotazování trasových a textových dat a polo-strukturovaných dat JSON, včetně polí a vnořených struktur. KQL nabízí pokročilou podporu časových řad pro vytváření, manipulaci a analýzu více časových řad s podporou provádění v modulu v Pythonu pro bodování modelů.

• Prověřená technologie v petabajtovém měřítku – Průzkumník dat je distribuovaný systém s výpočetními prostředky a úložištěm, které se dá škálovat nezávisle a umožňuje analýzu gigabajtů nebo petabajtů dat.

• Integrovaná – Azure Synapse Analytics poskytuje interoperabilitu dat mezi Průzkumníkem dat, Apache Sparkem a moduly SQL, které umožňují datovým inženýrům, datovým vědcům a datovým analytikům snadno a bezpečně přistupovat ke stejným datům v datovém jezeře a spolupracovat na stejných datech.

Kdy použít Azure Synapse Data Explorer?

Průzkumník dat můžete použít jako datovou platformu pro vytváření analýz protokolů téměř v reálném čase a analytických řešení IoT k:

• Konsolidujte a korelujte data protokolů a událostí napříč místními, cloudovými a externími zdroji dat.

• Urychlete svou cestu k AI Ops (rozpoznávání vzorů, detekce anomálií, prognózování a další).

• Nahraďte řešení prohledávání protokolů založená na infrastruktuře, abyste ušetřili náklady a zvýšili produktivitu.

• Sestavte analytická řešení IoT pro vaše data IoT.

• Vytvářejte analytická řešení SaaS, která nabízejí služby interním a externím zákazníkům.

Architektura fondu Data Explorer

Fondy Průzkumníka dat implementují architekturu horizontálního škálování oddělením výpočetních prostředků a prostředků úložiště. To umožňuje nezávisle škálovat jednotlivé prostředky a například spouštět na stejných datech několik výpočetních prostředků jen pro čtení. Fondy Průzkumníka dat se skládají ze sady výpočetních prostředků, na kterých běží modul, který zodpovídá za automatické indexování, komprimaci, ukládání do mezipaměti a obsluhu distribuovaných dotazů. Mají také druhou sadu výpočetních prostředků, na kterých běží služba pro správu dat zodpovědná za systémové úlohy na pozadí a zpracování a zařazování přijatých dat do fronty. Všechna data se uchovávají ve spravovaných účtech blob úložišť pomocí komprimovaného sloupcového formátu.

Fondy Průzkumníka dat podporují bohatý ekosystém pro příjem dat pomocí konektorů, sad SDK, rozhraní REST API a dalších spravovaných funkcí. Nabízí různé způsoby, jak využívat data pro ad hoc dotazy, sestavy, řídicí panely, výstrahy, rozhraní REST API a sady SDK.

Existuje mnoho jedinečných funkcí, díky kterým jsou Data Explore nejlepším analytickým modulem pro analýzy protokolů a časových řad v Azure.

Následující části zvýrazňují klíčové rozdíly.

Indexování bezplatných a částečně strukturovaných dat umožňuje téměř v reálném čase vysoký výkon a vysoké souběžné dotazy.

Průzkumník dat indexuje částečně strukturovaná data (JSON) a nestrukturovaná data (volný text), díky čemuž se s tímto typem dat dobře provádějí dotazy. Ve výchozím nastavení se každé pole indexuje během příjmu dat s možností použití zásad kódování nízké úrovně k vyladění nebo zakázání indexu pro konkrétní pole. Rozsah indexu je jeden horizontální oddíl dat.

Implementace indexu závisí na typu pole následujícím způsobem:

Typ pole	Implementace indexování
Řetězec	Modul vytvoří invertovaný index termínů pro hodnoty řetězcového sloupce. Každá řetězcová hodnota se analyzuje a rozdělí do normalizovaných termínů a pro každý termín se zaznamená uspořádaný seznam logických pozic obsahujících pořadové znaky. Výsledný seřazený seznam termínů a jejich přidružených pozic se uloží jako neměnný B-strom.
Číselný DateTime TimeSpan	Stroj vytvoří jednoduchý dopředný index založený na rozsahu. Index zaznamenává minimální/maximální hodnoty pro každý blok, pro skupinu bloků a pro celý sloupec v rámci horizontálního oddílu dat.
dynamické	Proces příjmu dat vyčíslí všechny "atomické" prvky v rámci dynamické hodnoty, jako jsou názvy vlastností, hodnoty a maticové prvky, a předá je tvůrci indexů. Dynamická pole mají stejný invertovaný index termínů jako pole řetězců.

Tyto efektivní funkce indexování umožňují službě Data Explore zpřístupnit data téměř v reálném čase pro vysoce výkonné a vysoce souběžné dotazy. Systém automaticky optimalizuje horizontální oddíly dat pro další zvýšení výkonu.

dotazovací jazyk Kusto

KQL má velkou a rostoucí komunitu s rychlým přijetím služby Azure Monitor Log Analytics a Application Insights, Microsoft Sentinelu, Azure Data Exploreru a dalších nabídek Microsoftu. Jazyk je dobře navržený pomocí snadno čitelné syntaxe a poskytuje hladký přechod z jednoduchých dotazů na zpracování dat. To umožňuje Průzkumníku dat poskytovat bohatou podporu IntelliSense a bohatou sadu jazykových konstruktorů a integrovaných funkcí pro agregace, časové řady a analýzy uživatelů, které nejsou v SQL k dispozici pro rychlé zkoumání telemetrických dat.

Další kroky

• Vytvořit skupinu Průzkumníka dat v Synapse Studio
• Vytvoření fondu průzkumníka dat pomocí Azure portálu (Preview)