Analiza IoT za pomocą usług Azure Data Explorer i Azure IoT Hub

Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins
Azure IoT Hub

Pomysły dotyczące rozwiązań

W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.

W tym rozwiązaniu opisano sposób, w jaki Azure Data Explorer zapewnia analizę niemal w czasie rzeczywistym na potrzeby szybkiego przepływu danych przesyłanych strumieniowo z urządzeń i czujników Internetu rzeczy (IoT). Ten przepływ danych jest częścią ogólnego rozwiązania IoT, które integruje obciążenia operacyjne i analityczne z Azure Cosmos DB i Azure Data Explorer.

Jupyter jest znakiem towarowym swojej firmy. Użycie tego znaku nie oznacza poparcia. Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Fundacja Apache Software Foundation nie wspiera ani nie potwierdza użycia tych znaków.

Architektura

Diagram przedstawiający architekturę analizy danych Azure IoT, w której Azure Data Explorer przetwarza dane z Azure IoT Hub, Azure Event Hubs i Apache Kafka.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

Poniższy przepływ danych odpowiada poprzedniemu diagramowi:

  1. Azure Event Hubs, Azure IoT Hub lub Apache Kafka pozyskuje szeroką gamę szybko przepływujących danych przesyłanych strumieniowo, takich jak dzienniki, zdarzenia biznesowe i działania użytkowników.

  2. Azure Functions lub Azure Stream Analytics przetwarza dane niemal w czasie rzeczywistym.

  3. Usługa Azure Cosmos DB przechowuje strumieniowo komunikaty w formacie JSON w celu obsługi aplikacji operacyjnej w czasie rzeczywistym.

  4. Azure Data Explorer pozyskuje dane do analizy przy użyciu swoich łączników dla Event Hubs, IoT Hub lub Kafka, zapewniając małe opóźnienia i wysoką przepływność.

    Alternatywnie można pozyskiwać obiekty blob z Azure Blob Storage lub Azure Data Lake Storage na konto Azure Data Explorer przy użyciu połączenia danych Azure Event Grid.

    Możesz również stale eksportować dane do Azure Storage w skompresowanym i partycjonowanym formacie Apache Parquet oraz bezproblemowo wykonywać zapytania na danych za pomocą Azure Data Explorer. Aby uzyskać więcej informacji, zobacz Ciągłe eksportowanie danych — omówienie.

  5. Aby obsłużyć zarówno przypadki użycia operacyjnego, jak i analitycznego, należy kierować dane do usług Azure Data Explorer i Azure Cosmos DB równolegle lub z usługi Azure Cosmos DB do usługi Azure Data Explorer.

    Transakcje usługi Azure Cosmos DB mogą wyzwalać funkcje usługi Azure Functions za pośrednictwem strumienia zmian. Azure Functions przesyła strumieniowo dane do usługi Event Hubs w celu analizowania ich za pomocą Azure Data Explorer. Alternatywnie, Azure Functions może wywołać Azure Digital Twins za pośrednictwem interfejsu API, który następnie przesyła strumieniowo dane do usługi Event Hubs w celu załadowania danych do Azure Data Explorer.

  6. Następujące interfejsy uzyskują szczegółowe informacje z danych przechowywanych w usłudze Azure Data Explorer:

  7. Azure Data Explorer integruje się z Azure Databricks i Azure Machine Learning w celu zapewnienia usług uczenia maszynowego. Modele uczenia maszynowego można również tworzyć przy użyciu innych narzędzi i usług oraz eksportować je do Azure Data Explorer na potrzeby oceniania danych.

Składniki

Ten pomysł rozwiązania używa następujących składników platformy Azure.

Azure Data Explorer

  • Wykrywanie anomalii i prognozowanie to wbudowana funkcja analizy w usłudze Azure Data Explorer. Wykrywa wartości odstające i przewiduje przyszłe wartości w celu wspierania proaktywnego monitorowania i podejmowania decyzji. W tej architekturze identyfikuje nietypowe wzorce w danych IoT i prognozuje oczekiwane zachowanie w czasie.

  • Diagnostyka anomalii na potrzeby analizy głównej to funkcja KQL, która pomaga zidentyfikować główne przyczyny anomalii. Analizuje wymiary i metryki mające wkład w usprawnienie rozwiązywania problemów. W tej architekturze izoluje źródło anomalii wykrytych w danych urządzenia.

  • Azure Data Explorer to w pełni zarządzana usługa analizy o wysokiej wydajności. Przetwarza duże ilości danych przesyłanych strumieniowo z aplikacji, witryn internetowych i urządzeń IoT niemal w czasie rzeczywistym. W tej architekturze służy jako centralny aparat analityczny do pozyskiwania, wykonywania zapytań i wizualizacji danych IoT.

  • Azure Data Explorer dashboards to funkcja wizualizacji w interfejsie użytkownika w przeglądarce Azure Data Explorer. Za pomocą pulpitów nawigacyjnych Azure Data Explorer można eksportować zapytania Kusto do interaktywnych pulpitów nawigacyjnych w celu eksploracji danych w czasie rzeczywistym. W tej architekturze wyświetlają szczegółowe informacje ze strumieni danych IoT i wyniki wykrywania anomalii.

  • Azure Data Explorer internetowy interfejs użytkownika jest interfejsem opartym na przeglądarce dla klastrów Azure Data Explorer. Obsługuje on użytkowników, którzy piszą, uruchamiają i udostępniają polecenia i zapytania języka KQL. W tej architekturze udostępnia ona obszar roboczy dla analityków do wykonywania zapytań i eksplorowania danych IoT.

  • Analiza szeregów czasowych to wbudowana funkcja w usłudze Azure Data Explorer. Ułatwia to użytkownikom eksplorowanie wzorców czasowych, trendów i sezonowości w danych opartych na czasie. W tej architekturze ujawnia długoterminowe trendy i cykliczne zachowanie w odczytach czujników IoT.

Inne składniki platformy Azure

  • Azure Cosmos DB to w pełni zarządzana, szybka baza danych NoSQL z otwartymi interfejsami API dla dowolnej skali. W tej architekturze przechowuje się dane operacyjne z urządzeń IoT w celu zapewnienia skalowalnego dostępu o niskim opóźnieniu.

  • Azure Digital Twins to platforma do modelowania środowisk fizycznych jako reprezentacji cyfrowych. W tej architekturze utrzymuje modele cyfrowe zasobów połączonych z IoT w celu wspierania analizy przestrzennej i uzyskiwania kontekstowych informacji.

  • IoT Hub umożliwia dwukierunkową komunikację między urządzeniami IoT a chmurą Azure. W tej architekturze pełni rolę centralnego węzła komunikacyjnego dla danych urządzeń i operacji poleceń i sterowania.

  • Event Hubs to w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym. W tej architekturze pozyskuje dane z urządzeń IoT i przesyła je strumieniowo do potoku analizy.

  • Kafka w usłudze HDInsight jest usługą klasy korporacyjnej, która jest opłacalnym rozwiązaniem dla platformy Apache Kafka w Azure. W tej architekturze zapewnia alternatywną sieć szkieletową przesyłania strumieniowego na potrzeby pozyskiwania i dystrybucji danych IoT.

Szczegóły scenariusza

To rozwiązanie korzysta z Azure Data Explorer w celu uzyskania analizy danych IoT niemal w czasie rzeczywistym na szybko przepływających, dużych ilościach danych przesyłanych strumieniowo z szerokiej gamy urządzeń IoT.

Potencjalne przypadki użycia

  • Zarządzanie flotą w celu konserwacji predykcyjnej części pojazdów. To rozwiązanie jest idealne dla przemysłu motoryzacyjnego i transportowego.

  • Zarządzanie obiektami na potrzeby optymalizacji energii i środowiska.

  • Połączenie warunków drogowych w czasie rzeczywistym z danymi pogodowymi dotyczącymi bezpieczniejszej jazdy autonomicznej.

Współautorzy

Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

Inni współautorzy:

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki