Przesyłanie strumieniowe danych za pomocą usługi AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Pomysły dotyczące rozwiązań

W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.

W tym artykule przedstawiono rozwiązanie dotyczące używania usługi Azure Kubernetes Service (AKS) do szybkiego przetwarzania i analizowania dużej ilości danych przesyłanych strumieniowo z urządzeń.

Apache®, Apache Kafka i Apache Spark są zastrzeżonymi znakami towarowymi lub znakami towarowymi platformy Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.

Architektura

Diagram architektury przedstawiający sposób pozyskiwania, przetwarzania i analizowania danych przesyłanych strumieniowo z urządzeń.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Czujniki generują dane i przesyłają strumieniowo je do usługi Azure API Management.
  2. Klaster usługi AKS uruchamia mikrousługi, które są wdrażane jako kontenery za siatką usług. Kontenery są tworzone przy użyciu procesu DevOps i są przechowywane w usłudze Azure Container Registry.
  3. Usługa pozyskiwania przechowuje dane w usłudze Azure Cosmos DB.
  4. Asynchronicznie usługa analizy odbiera dane i przesyła je strumieniowo do platform Apache Kafka i Azure HDInsight.
  5. Analitycy danych używają modeli uczenia maszynowego i platformy Splunk do analizowania danych.
  6. Usługa przetwarzania przetwarza dane i przechowuje wynik w usłudze Azure Database for PostgreSQL. Usługa buforuje również dane w usłudze Azure Cache for Redis.
  7. Aplikacja internetowa działająca w usłudze aplikacja systemu Azure Service tworzy wizualizacje wyników.

Składniki

Rozwiązanie korzysta z następujących kluczowych technologii:

Szczegóły scenariusza

To rozwiązanie jest dobrym rozwiązaniem w przypadku scenariusza obejmującego miliony punktów danych, w których źródła danych obejmują urządzenia Internetu rzeczy (IoT), czujniki i pojazdy. W takiej sytuacji przetwarzanie dużej ilości danych jest jednym z wyzwań. Szybkie analizowanie danych jest kolejnym wymagającym zadaniem, ponieważ organizacje starają się uzyskać wgląd w złożone scenariusze.

Konteneryzowane mikrousługi w usłudze AKS stanowią kluczową część rozwiązania. Te samoobsługowe usługi pozyskiwania i przetwarzania strumienia danych w czasie rzeczywistym. Są one również skalowane zgodnie z potrzebami. Przenośność kontenerów umożliwia uruchamianie usług w różnych środowiskach i przetwarzanie danych z wielu źródeł. Aby opracowywać i wdrażać mikrousługi, używane są metodyki DevOps i ciągła integracja/ciągłe dostarczanie (CI/CD). Te podejścia skracają cykl programowania.

Aby przechowywać pozyskane dane, rozwiązanie korzysta z usługi Azure Cosmos DB. Ta baza danych elastycznie skaluje przepływność i magazyn, co sprawia, że jest to dobry wybór dla dużych ilości danych.

Rozwiązanie korzysta również z platformy Kafka. Ta platforma przesyłania strumieniowego o małych opóźnieniach obsługuje źródła danych w czasie rzeczywistym z bardzo dużą szybkością.

Innym kluczowym składnikiem rozwiązania jest usługa HDInsight, która jest zarządzaną usługą analizy w chmurze typu open source. Usługa HDInsight upraszcza uruchamianie struktur danych big data w dużej ilości i szybkości podczas korzystania z platformy Apache Spark na platformie Azure. Rozwiązanie Splunk pomaga w procesie analizy danych. Ta platforma tworzy wizualizacje na podstawie danych w czasie rzeczywistym i udostępnia analizę biznesową.

Potencjalne przypadki użycia

To rozwiązanie zapewnia następujące korzyści:

  • Bezpieczeństwo pojazdów, zwłaszcza w przemyśle motoryzacyjnym
  • Obsługa klienta w branży handlu detalicznego i innych branż
  • Rozwiązania w chmurze opieki zdrowotnej
  • Rozwiązania technologii finansowych w branży finansowej

Następne kroki

Dokumentacja produktu:

Moduły szkoleniowe firmy Microsoft: