Redigera

Dataströmning med AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Lösningsidéer

Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.

I den här artikeln beskrivs en lösning för att använda Azure Kubernetes Service (AKS) för att snabbt bearbeta och analysera en stor mängd strömmande data från enheter.

Apache®, Apache Kafka och Apache Spark är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Arkitektur

Arkitekturdiagram som visar hur strömmande data från enheter matas in, bearbetas och analyseras.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

  1. Sensorer genererar data och strömmar dem till Azure API Management.
  2. Ett AKS-kluster kör mikrotjänster som distribueras som containrar bakom ett tjänstnät. Containrarna skapas med en DevOps-process och lagras i Azure Container Registry.
  3. En inmatningstjänst lagrar data i Azure Cosmos DB.
  4. Asynkront tar en analystjänst emot data och strömmar dem till Apache Kafka och Azure HDInsight.
  5. Dataforskare använder maskininlärningsmodeller och Splunk-plattformen för att analysera data.
  6. En bearbetningstjänst bearbetar data och lagrar resultatet i Azure Database for PostgreSQL. Tjänsten cachelagrar även data i Azure Cache for Redis.
  7. En webbapp som körs i Azure App Service skapar visualiseringar av resultaten.

Komponenter

Lösningen använder följande viktiga tekniker:

Information om scenario

Den här lösningen passar bra för ett scenario som omfattar miljontals datapunkter, där datakällor inkluderar IoT-enheter (Internet of Things), sensorer och fordon. I en sådan situation är bearbetning av den stora mängden data en utmaning. Att snabbt analysera data är en annan krävande uppgift, eftersom organisationer försöker få insikt i komplexa scenarier.

Containerbaserade mikrotjänster i AKS utgör en viktig del av lösningen. Dessa fristående tjänster matar in och bearbetar dataströmmen i realtid. De skalas också efter behov. Containrarnas portabilitet gör det möjligt för tjänsterna att köras i olika miljöer och bearbeta data från flera källor. För att utveckla och distribuera mikrotjänster används DevOps och kontinuerlig integrering/kontinuerlig leverans (CI/CD). Dessa metoder förkortar utvecklingscykeln.

För att lagra inmatade data använder lösningen Azure Cosmos DB. Den här databasen skalar dataflöde och lagring elastiskt, vilket gör den till ett bra val för stora mängder data.

Lösningen använder också Kafka. Den här strömningsplattformen med låg fördröjning hanterar dataflöden i realtid i extremt höga hastigheter.

En annan viktig lösningskomponent är HDInsight, som är en hanterad molnanalystjänst med öppen källkod. HDInsight förenklar körningen av stordataramverk i stor volym och hastighet när du använder Apache Spark i Azure. Splunk hjälper till i dataanalysprocessen. Den här plattformen skapar visualiseringar från realtidsdata och tillhandahåller business intelligence.

Potentiella användningsfall

Den här lösningen gynnar följande områden:

  • Fordonssäkerhet, särskilt inom fordonsindustrin
  • Kundtjänst inom detaljhandeln och andra branscher
  • Lösningar för sjukvårdsmoln
  • Finansiella tekniklösningar inom finansbranschen

Nästa steg

Produktdokumentation:

Microsofts utbildningsmoduler: