Upravit

Analýzy velkých objemů dat s využitím Azure Data Exploreru

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Návrhy řešení

Tento článek je nápadem na řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu na GitHubu.

Tento nápad na řešení ukazuje analýzu velkých objemů dat z různých zdrojů.

Apache® a Apache Kafka® jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo jiných zemích. Použití těchto značek nevyvozuje žádné doporučení ze strany The Apache Software Foundation.

Architektura

Diagram znázorňující analýzu velkých objemů dat pomocí Azure Data Explorer

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Do Azure Data Explorer z různých zdrojů je možné ingestovat nezpracovaná strukturovaná, částečně strukturovaná a nestrukturovaná data (volný text), například jakýkoli typ protokolů, obchodních událostí a uživatelských aktivit.
  2. Ingestování dat do Azure Data Explorer s nízkou latencí a vysokou propustností pomocí jejích konektorů pro Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka atd. Případně můžete ingestovat data prostřednictvím služby Azure Storage (blob nebo ADLS Gen2), která používá Azure Event Grid a aktivuje kanál příjmu dat do Azure Data Explorer. Můžete také průběžně exportovat data do Azure Storage v komprimovaném, děleném formátu parquet a bezproblémově se na tato data dotazovat, jak je podrobně popsáno v přehledu průběžného exportu dat.
  3. Exportujte předem agregovaná data z Azure Data Explorer do Azure Storage a pak je ingestujte do Synapse Analytics, abyste mohli vytvářet datové modely a sestavy.
  4. Využijte nativní funkce Azure Data Explorer ke zpracování, agregaci a analýze dat. Pokud chcete získat přehledy rychlostí blesku, sestavte téměř v reálném čase analytické řídicí panely pomocí řídicích panelů Azure Data Explorer, Power BI, Grafany nebo jiných nástrojů. Pomocí Azure Synapse Analytics můžete vytvořit moderní datový sklad a zkombinovat ho s daty Azure Data Explorer a generovat sestavy BI na kurátorovaných a agregovaných datových modelech.
  5. Azure Data Explorer poskytuje nativní pokročilé analytické funkce pro analýzu časových řad, rozpoznávání vzorů, detekci anomálií a prognózy a strojové učení. Azure Data Explorer je také dobře integrovaný se službami ML, jako jsou Databricks a Azure Machine Learning. Tato integrace umožňuje vytvářet modely pomocí jiných nástrojů a služeb a exportovat modely ML do Azure Data Explorer pro vyhodnocování dat.

Komponenty

  • Azure Event Hubs: Plně spravovaná služba pro příjem dat v reálném čase, která je jednoduchá, důvěryhodná a škálovatelná.
  • Azure IoT Hub: Spravovaná služba umožňující obousměrnou komunikaci mezi zařízeními IoT a Azure.
  • Kafka ve službě HDInsight: Snadná a nákladově efektivní služba na podnikové úrovni pro open source analýzy s využitím Apache Kafka.
  • Azure Data Explorer: Rychlá, plně spravovaná a vysoce škálovatelná služba analýzy dat pro analýzu velkých objemů dat streamovaných z aplikací, webů, zařízení IoT a dalších dat v reálném čase.
  • Řídicí panely Azure Data Explorer: Nativně exportujte dotazy Kusto, které byly prozkoumány ve webovém uživatelském rozhraní, do optimalizovaných řídicích panelů.
  • Azure Synapse Analytics: Analytická služba, která spojuje sklady podnikových dat a analýzy velkých objemů dat.

Podrobnosti scénáře

Potenciální případy použití

Toto řešení ukazuje, jak se azure Data Explorer a Azure Synapse Analytics vzájemně doplňují pro analýzy téměř v reálném čase a moderní případy použití datových skladů.

Toto řešení už používají zákazníci Microsoftu. Například singapurské společnosti ride-hailing, Grab, implementovaly analýzy v reálném čase na obrovské množství dat shromážděných ze svých taxislužby a služeb rozvozu jídla a aplikací obchodních partnerů. Tým z Grabu představil své řešení na MS Ignite v tomto videu (od 20:30). Pomocí tohoto vzoru zpracoval Grab více než bilión událostí za den.

Toto řešení je optimalizované pro maloobchod.

Přispěvatelé

Tento článek spravuje Microsoft. Původně ji napsali následující přispěvatelé.

Hlavní autor:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky