Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W tym rozwiązaniu opisano sposób, w jaki usługa Azure Data Explorer zapewnia niemal analizę w czasie rzeczywistym na potrzeby szybkiego przepływu, dużych ilości danych przesyłanych strumieniowo z urządzeń i czujników internetu rzeczy (IoT). Ten przepływ pracy analizy jest częścią ogólnego rozwiązania IoT, które integruje obciążenia operacyjne i analityczne z usługami Azure Cosmos DB i Azure Data Explorer.
Jupyter jest znakiem towarowym swojej firmy. Użycie tego znaku oznacza nie jest dorozumiane. Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
Usługa Azure Event Hubs, usługa Azure IoT Hub lub platforma Kafka pozyskają szeroką gamę szybko przepływujących danych przesyłanych strumieniowo, takich jak dzienniki, zdarzenia biznesowe i działania użytkowników.
Usługa Azure Functions lub Azure Stream Analytics przetwarzają dane niemal w czasie rzeczywistym.
Usługa Azure Cosmos DB przechowuje strumieniowo komunikaty w formacie JSON w celu obsługi aplikacji operacyjnej w czasie rzeczywistym.
Usługa Azure Data Explorer pozyskuje dane na potrzeby analizy przy użyciu łączników usługi Azure Event Hubs, usługi Azure IoT Hub lub platformy Kafka w celu uzyskania małych opóźnień i wysokiej przepływności.
Alternatywnie można pozyskiwać obiekty blob z konta usługi Azure Blob Storage lub Azure Data Lake Storage do usługi Azure Data Explorer przy użyciu połączenia danych usługi Event Grid.
Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym, podzielonym na partycje formacie Apache Parquet i bezproblemowo wykonywać zapytania o dane za pomocą usługi Azure Data Explorer. Aby uzyskać szczegółowe informacje, zobacz Ciągłe eksportowanie danych — omówienie.
Aby obsłużyć zarówno przypadki użycia operacyjnego, jak i analitycznego, dane mogą być kierowane do usług Azure Data Explorer i Azure Cosmos DB równolegle lub z usługi Azure Cosmos DB do usługi Azure Data Explorer.
Transakcje usługi Azure Cosmos DB mogą wyzwalać usługę Azure Functions za pośrednictwem zestawienia zmian. Funkcje będą przesyłać strumieniowo dane do usługi Event Hubs w celu pozyskiwania danych do usługi Azure Data Explorer.
lub
Usługa Azure Functions może wywoływać usługę Azure Digital Twins za pośrednictwem interfejsu API, który następnie przesyła strumieniowo dane do usługi Event Hubs w celu pozyskiwania danych do usługi Azure Data Explorer.
Następujące interfejsy uzyskują szczegółowe informacje z danych przechowywanych w usłudze Azure Data Explorer:
- Aplikacje analizy niestandardowej, które łączą dane z usług Azure Digital Twins i interfejsów API usługi Azure Data Explorer
- Pulpity nawigacyjne analizy niemal w czasie rzeczywistym korzystające z pulpitów nawigacyjnych usługi Azure Data Explorer, usługi Power BI lub narzędzia Grafana
- Alerty i powiadomienia z łącznika usługi Azure Data Explorer dla usługi Azure Logic Apps
- Interfejs użytkownika sieci Web usługi Azure Data Explorer, aplikacja Kusto.Explorer i notesy Jupyter
Usługa Azure Data Explorer integruje się z usługami Azure Databricks i Azure Machine Edukacja w celu zapewnienia usług uczenia maszynowego (ML). Możesz również tworzyć modele uczenia maszynowego przy użyciu innych narzędzi i usług oraz eksportować je do usługi Azure Data Explorer w celu oceniania danych.
Składniki
Ten pomysł rozwiązania korzysta z następujących składników platformy Azure:
Azure Data Explorer
Usługa Azure Data Explorer to szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych big data. Usługa Azure Data Explorer może analizować duże ilości danych przesyłanych strumieniowo z aplikacji, witryn internetowych i urządzeń IoT niemal w czasie rzeczywistym w celu obsługi aplikacji analitycznych i pulpitów nawigacyjnych.
Usługa Azure Data Explorer udostępnia natywną zaawansowaną analizę dla:
- Analiza szeregów czasowych.
- Rozpoznawanie wzorca.
- Wykrywanie anomalii i prognozowanie.
- Uczenie maszynowe (ML).
Internetowy interfejs użytkownika usługi Azure Data Explorer łączy się z klastrami usługi Azure Data Explorer, aby ułatwić pisanie, uruchamianie i udostępnianie język zapytań Kusto poleceń i zapytań. Pulpity nawigacyjne usługi Azure Data Explorer to funkcja w internetowym interfejsie użytkownika eksploratora danych, która natywnie eksportuje zapytania Kusto do zoptymalizowanych pulpitów nawigacyjnych.
Inne składniki platformy Azure
- Azure Cosmos DB to w pełni zarządzana, szybka usługa bazy danych NoSQL na potrzeby nowoczesnego tworzenia aplikacji z otwartymi interfejsami API na dowolną skalę.
- Usługa Azure Digital Twins przechowuje modele cyfrowe środowisk fizycznych, aby ułatwić tworzenie rozwiązań IoT nowej generacji, które modeluje świat rzeczywisty.
- Usługa Azure Event Hubs to w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym.
- Usługa Azure IoT Hub umożliwia dwukierunkową komunikację między urządzeniami IoT i chmurą platformy Azure.
- Usługa Azure Synapse Link dla usługi Azure Cosmos DB działa niemal w czasie rzeczywistym na dane operacyjne w usłudze Azure Cosmos DB bez wpływu na wydajność i koszty obciążeń transakcyjnych. Usługa Synapse Link korzysta z aparatów analitycznych sql Serverless i Spark Pools z obszaru roboczego usługi Azure Synapse.
- Platforma Kafka w usłudze HDInsight to łatwa, ekonomiczna usługa klasy korporacyjnej do analizy typu open source z platformą Apache Kafka.
Szczegóły scenariusza
To rozwiązanie używa usługi Azure Data Explorer do uzyskiwania analizy danych telemetrycznych IoT niemal w czasie rzeczywistym na szybko przepływających, dużych ilościach danych przesyłanych strumieniowo z różnych urządzeń IoT.
Potencjalne przypadki użycia
- Zarządzanie flotą w celu konserwacji predykcyjnej części pojazdów. To rozwiązanie jest idealne dla przemysłu motoryzacyjnego i transportowego.
- Zarządzanie obiektami na potrzeby optymalizacji energii i środowiska.
- Połączenie warunków drogowych w czasie rzeczywistym z danymi pogodowymi dotyczącymi bezpieczniejszej jazdy autonomicznej.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Ornat Spodek | Starszy menedżer zawartości
Następne kroki
- Co to jest usługa Azure Data Explorer?
- Wizualizowanie danych przy użyciu pulpitów nawigacyjnych usługi Azure Data Explorer