Upravit

Streamování dat pomocí AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Nápady na řešení

Tento článek je myšlenkou řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu k GitHubu.

Tento článek představuje řešení pro rychlé zpracování a analýzu velkého objemu streamovaných dat ze zařízení pomocí služby Azure Kubernetes Service (AKS).

Apache®, Apache Kafka a Apache Spark jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Architektura

Diagram architektury znázorňující, jak se ingestují, zpracovávají a analyzují streamovaná data ze zařízení

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Senzory generují data a streamují je do služby Azure API Management.
  2. Cluster AKS spouští mikroslužby nasazené jako kontejnery za sítí služeb. Kontejnery se sestavují pomocí procesu DevOps a ukládají se ve službě Azure Container Registry.
  3. Služba ingestování ukládá data ve službě Azure Cosmos DB.
  4. Služba analýzy asynchronně přijímá data a streamuje je do Apache Kafka a Azure HDInsight.
  5. Datoví vědci používají modely strojového učení a platformu Splunk k analýze dat.
  6. Služba zpracování zpracovává data a ukládá výsledek ve službě Azure Database for PostgreSQL. Služba také ukládá data do mezipaměti ve službě Azure Cache for Redis.
  7. Webová aplikace, která běží ve službě Aplikace Azure Service, vytváří vizualizace výsledků.

Komponenty

Řešení používá následující klíčové technologie:

Podrobnosti scénáře

Toto řešení je vhodné pro scénář, který zahrnuje miliony datových bodů, kde zdroje dat zahrnují zařízení Internetu věcí (IoT), senzory a vozidla. V takové situaci je zpracování velkého objemu dat jedním z výzev. Rychlá analýza dat je dalším náročným úkolem, protože organizace se snaží získat přehled o složitých scénářích.

Kontejnerizované mikroslužby v AKS tvoří klíčovou součást řešení. Tyto samostatné služby ingestují a zpracovávají datový proud v reálném čase. Škálují se také podle potřeby. Přenositelnost kontejnerů umožňuje službám spouštět v různých prostředích a zpracovávat data z více zdrojů. K vývoji a nasazení mikroslužeb se používají DevOps a kontinuální integrace/průběžné doručování (CI/CD). Tyto přístupy zkracují vývojový cyklus.

K ukládání přijatých dat používá řešení službu Azure Cosmos DB. Tato databáze elasticky škáluje propustnost a úložiště, což z něj dělá dobrou volbu pro velké objemy dat.

Řešení také používá Kafka. Tato platforma streamování s nízkou latencí zpracovává datové kanály v reálném čase s extrémně vysokou rychlostí.

Další klíčovou komponentou řešení je HDInsight, což je spravovaná opensourcová cloudová analytická služba. HDInsight zjednodušuje spouštění architektur pro velké objemy dat ve velkém objemu a rychlosti při používání Apache Sparku v Azure. Splunk pomáhá v procesu analýzy dat. Tato platforma vytváří vizualizace z dat v reálném čase a poskytuje business intelligence.

Potenciální případy použití

Toto řešení má následující výhody:

  • Bezpečnost vozidel, zejména v automobilovém průmyslu
  • Zákaznická služba v maloobchodě a dalších odvětvích
  • Cloudová řešení pro zdravotnictví
  • Finanční technologie řešení v finančním odvětví

Další kroky

Dokumentace k produktu:

Školicí moduly Microsoftu: