Upravit

Sdílet prostřednictvím

Streamování dat pomocí AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Nápady na řešení

Tento článek popisuje myšlenku řešení. Váš cloudový architekt může pomocí těchto pokynů vizualizovat hlavní komponenty pro typickou implementaci této architektury. Tento článek slouží jako výchozí bod k návrhu dobře navrženého řešení, které odpovídá konkrétním požadavkům vaší úlohy.

Tento článek představuje řešení pro rychlé zpracování a analýzu velkého objemu streamovaných dat ze zařízení pomocí služby Azure Kubernetes Service (AKS).

*Apache®, Apache Kafka a Apache Spark jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation. Splunk je registrovaná ochranná známka společnosti Cisco. *

Architektura

Diagram architektury znázorňující, jak se ingestují, zpracovávají a analyzují streamovaná data ze zařízení

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Senzory generují data a streamují je do služby Azure API Management.
  2. Cluster AKS spouští mikroslužby nasazené jako kontejnery za sítí služeb. Kontejnery se vytvářejí pomocí procesu DevOps. Image kontejneru se ukládají ve službě Azure Container Registry.
  3. Služba ingestování v AKS ukládá data ve službě Azure Cosmos DB.
  4. Služba analýzy v AKS asynchronně přijímá data a streamuje je do Apache Kafka ve službě Azure HDInsight.
  5. Datoví vědci používají modely strojového učení ve službě Azure HDInsights a platformě Splunk k analýze dat.
  6. Služba zpracování v AKS zpracovává data a ukládá výsledky ve službě Azure Database for PostgreSQL. Služba také ukládá data do mezipaměti ve službě Azure Cache for Redis.
  7. Webová aplikace, která běží ve službě Aplikace Azure Service, vytváří vizualizace výsledků.

Komponenty

Řešení používá následující klíčové technologie:

Podrobnosti scénáře

Toto řešení je vhodné pro scénář, který zahrnuje miliony datových bodů, kde zdroje dat zahrnují zařízení Internetu věcí (IoT), senzory a vozidla. V takové situaci je zpracování velkého objemu dat jedním z výzev. Rychlá analýza dat je dalším náročným úkolem, protože organizace se snaží získat přehled o složitých scénářích.

Kontejnerizované mikroslužby v AKS tvoří klíčovou součást řešení. Tyto samostatné služby ingestují a zpracovávají datový proud v reálném čase. Škálují se také podle potřeby. Přenositelnost kontejnerů umožňuje službám spouštět v různých prostředích a zpracovávat data z více zdrojů. K vývoji a nasazení mikroslužeb se používají DevOps a kontinuální integrace/průběžné doručování (CI/CD). Tyto přístupy zkracují vývojový cyklus.

K ukládání přijatých dat používá řešení službu Azure Cosmos DB. Tato databáze elasticky škáluje propustnost a úložiště, což z něj dělá dobrou volbu pro velké objemy dat.

Řešení také používá Apache Kafka. Tato platforma streamování s nízkou latencí zpracovává datové kanály v reálném čase s extrémně vysokou rychlostí.

Další klíčovou součástí řešení je Azure HDInsight, což je spravovaná cloudová služba, která umožňuje efektivně zpracovávat obrovské objemy dat pomocí nejoblíbenějších opensourcových architektur. Azure HDInsight zjednodušuje spouštění architektur pro velké objemy dat ve velkém objemu a rychlosti při používání Apache Sparku v Azure. Splunk pomáhá v procesu analýzy dat. Splunk vytváří vizualizace z dat v reálném čase a poskytuje business intelligence.

Potenciální případy použití

Toto řešení má následující výhody:

  • Bezpečnost vozidel, zejména v automobilovém průmyslu
  • Zákaznická služba v maloobchodě a dalších odvětvích
  • Cloudová řešení pro zdravotnictví
  • Finanční technologie řešení v finančním odvětví

Další kroky

Dokumentace k produktu:

Školicí moduly Microsoftu: