Analýzy dat v reálném čase pomocí služby Azure Service Bus a Azure Data Exploreru

Tento článek popisuje, jak pomocí Azure Data Exploreru a Služby Azure Service Bus vylepšit stávající architekturu zprostředkovatele zpráv pomocí analýzy téměř v reálném čase. Je určen pro správce IT, cloudové architekty a provozní a monitorovací týmy.

Architektura

Stáhněte si soubor aplikace Visio s touto architekturou.

Logo Grafana je ochranná známka společnosti Raintank, Inc., dba Grafana Labs. Použití této značky nevyžaduje žádné doporučení.

Diagram znázorňuje dvě cesty k datům. Hlavní cestou, která je reprezentována plnými spojnicemi a poli 1 až 5, je příjem dat z různých zdrojů do sběrnice Service Bus, kde je zpracován úlohou analýzy datových proudů a uložena v databázi SQL. Druhá cesta, která je reprezentovaná tečkovanými čárami a poli, ukazuje tok dat ze služby Service Bus do clusteru Azure Data Exploreru, kde je možné je dotazovat a analyzovat prostřednictvím dotazovací jazyk Kusto (KQL).

Service Bus se používá k implementaci modelu vyrovnávání zatížení na základě fronty pro transakční aplikaci.

Azure Data Explorer se používá ke spouštění analýz téměř v reálném čase a k zveřejnění dat prostřednictvím rozhraní API nebo přímých dotazů, jako jsou například Power BI, Azure Managed Grafana nebo řídicí panely Azure Data Exploreru.

Tok dat

Zdrojem dat v architektuře je existující aplikace OLTP (Online Transaction Processing). Service Bus se používá k asynchronnímu horizontálnímu navýšení kapacity aplikace.

1. Aplikace OLTP (zdroj dat), hostovaná ve službě Aplikace Azure Service, odesílá data do služby Service Bus.

2. Toky dat ze služby Service Bus ve dvou směrech:

   1. V existujícím toku aplikace OLTP aktivuje aplikaci funkcí pro ukládání dat ve službě Azure SQL Database, Azure Cosmos DB nebo podobné provozní databázi.

   2. V téměř reálném čase tok analýzy aktivuje tok orchestrace.

3. Tok orchestrace odesílá data do Azure Data Exploreru pro analýzy téměř v reálném čase. Tok může použít:

   • Aplikace funkcí, která k odesílání dat v mikro dávkách používá sady SDK nebo která používá podporu příjmu dat spravovaného streamování, kterou poskytuje Azure Data Explorer, když je nakonfigurovaná pro příjem dat streamování.
   • Služba dotazování, jako je aplikace hostovaná ve službě Azure Kubernetes Service (AKS) nebo virtuálním počítači Azure, která odesílá data do Azure Data Exploreru v mikro dávkách. Tato možnost nevyžaduje konfiguraci příjmu streamovaných dat Azure Data Exploreru.

4. Azure Data Explorer zpracovává data pomocí mapování schématu a zásad aktualizací a zpřístupňuje je prostřednictvím rozhraní API, sady SDK nebo konektoru pro interaktivní analýzy nebo vytváření sestav. Volitelně může Azure Data Explorer také ingestovat nebo odkazovat data z jiných zdrojů dat, jako je SQL Database nebo Azure Data Lake Storage.

5. Aplikace, vlastní služby nebo služby generování sestav, jako jsou řídicí panely Azure Data Exploreru, Power BI a Azure Managed Grafana, můžou dotazovat data v Azure Data Exploreru téměř v reálném čase.

Komponenty

• App Service umožňuje vytvářet a hostovat webové aplikace, mobilní back-endy a rozhraní RESTful API v programovacím jazyce podle vašeho výběru bez nutnosti spravovat infrastrukturu.
• Service Bus poskytuje spolehlivé cloudové zasílání zpráv jako službu.
• SQL Database je plně spravovaná databáze SQL, která je vytvořená pro cloud. Poskytuje automatické aktualizace, zřizování, škálování a zálohování.
• Azure Cosmos DB je globálně distribuovaná vícemodelová databáze pro aplikace libovolného škálování.
• Azure Functions je bezserverová výpočetní platforma řízená událostmi. Pomocí služby Functions můžete nasazovat a pracovat ve velkém měřítku v cloudu a používat triggery a vazby k integraci služeb.
• AKS je vysoce dostupná, vysoce zabezpečená a plně spravovaná služba Kubernetes pro úlohy aplikací a mikroslužeb.
• Azure Data Explorer je rychlá, plně spravovaná a vysoce škálovatelná služba pro analýzu dat v reálném čase pro analýzu velkých objemů dat, která proudí z aplikací, webů, zařízení IoT a dalších.
• Data Lake Storage, která je založená na azure Blob Storage, poskytuje široce škálovatelné funkce data lake.
• Power BI vám může pomoct přeměnit data na koherentní, vizuálně imerzivní interaktivní přehledy.
• Azure Managed Grafana je plně spravovaná služba, která umožňuje nasadit Grafana bez nutnosti věnovat čas konfiguraci.

Podrobnosti scénáře

Analýza v reálném čase je proces analýzy dat, jakmile se vygeneruje, abyste získali přehled o aktuálním stavu systému. Organizace stále častěji přijímají analýzy v reálném čase, aby získaly konkurenční výhodu. Analýza téměř v reálném čase je variantou analýzy v reálném čase, která poskytuje přehledy v řádu sekund nebo minut generování dat.

Tyto procesy umožňují organizacím rychleji získávat přehledy, dělat lepší rozhodnutí a efektivně reagovat na měnící se podmínky. Analýzy téměř v reálném čase je možné použít na různé domény, jako je elektronické obchodování, zdravotnictví, výroba a finance. Například společnost elektronického obchodování může používat analýzy téměř v reálném čase k monitorování chování zákazníků, optimalizaci cen a přizpůsobení doporučení.

Mnoho organizací implementuje analýzy téměř v reálném čase v existujících řešeních. Tato myšlenka řešení ukazuje, jak do existující architektury založené na zprostředkovateli zpráv přidat analýzu téměř v reálném čase a která je součástí provozní aplikace OLTP.

OLTP je zkratka pro online zpracování transakcí. Jedná se o typ zpracování dat, který spravuje aplikace orientované na transakce, obvykle pro zadávání a načítání dat v prostředí v reálném čase. Systémy OLTP jsou navržené tak, aby zpracovávaly malé, rychlé transakce, které jsou často finanční povahy, jako jsou bankovní transakce nebo nákupy kreditních karet.

Potenciální případy použití

Tady je několik případů použití, které ilustrují výhody analýzy téměř v reálném čase:

• Poskytovatelé zdravotní péče mohou sledovat výsledky pacientů, zjišťovat anomálie a zlepšit kvalitu péče.
• Výrobní společnosti mohou optimalizovat výrobu, snižovat plýtvání a bránit výpadkům.
• Finanční instituce můžou monitorovat transakce, zjišťovat podvody, spravovat rizika a zajišťovat dodržování předpisů.
• Obchodní společnosti můžou monitorovat kampaně a získávat přehledy o podpoře propagace.
• Společnosti mohou monitorovat, optimalizovat, analyzovat a předpovídat dodavatelské řetězce.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

• Shlomo Sagir | Vedoucí vývojář obsahu

Další přispěvatel:

• Mick Alberts | Technický spisovatel

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

• Ukázky služby Azure Service Bus
• Ukázky příjmu dat v Azure Data Exploreru

Související prostředky

• Zpracování dat lakehouse téměř v reálném čase
• Analýza velkých objemů dat v reálném čase
• Vytváření přizpůsobených marketingových řešení téměř v reálném čase