Edytuj

Udostępnij za pośrednictwem

Analiza danych big data za pomocą usługi Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Pomysły dotyczące rozwiązań

W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.

Ten pomysł rozwiązania przedstawia analizę danych big data w dużych ilościach danych o wysokiej szybkości z różnych źródeł.

Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.

Architektura

Diagram przedstawiający analizę danych big data za pomocą usługi Azure Data Explorer.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Nieprzetworzone dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane (bez struktury), takie jak dzienniki dowolnego typu, zdarzenia biznesowe i działania użytkownika, mogą być pozyskiwane do usługi Azure Data Explorer z różnych źródeł.
  2. Pozyskiwanie danych do usługi Azure Data Explorer z małym opóźnieniem i wysoką przepływnością przy użyciu łączników dla usług Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka itd. Alternatywnie pozyskiwanie danych za pośrednictwem usługi Azure Storage (Blob lub ADLS Gen2), która używa usługi Azure Event Grid i wyzwala potok pozyskiwania do usługi Azure Data Explorer. Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym formacie parquet podzielonym na partycje i bezproblemowo wykonywać zapytania o te dane zgodnie z opisem w artykule Ciągłe eksportowanie danych — omówienie.
  3. Eksportowanie wstępnie zagregowanych danych z usługi Azure Data Explorer do usługi Azure Storage, a następnie pozyskiwanie danych do usługi Synapse Analytics w celu tworzenia modeli danych i raportów.
  4. Korzystanie z natywnych funkcji usługi Azure Data Explorer do przetwarzania, agregowania i analizowania danych. Aby uzyskać szczegółowe informacje z prędkością błyskawic, twórz pulpity nawigacyjne analizy niemal w czasie rzeczywistym przy użyciu pulpitów nawigacyjnych usługi Azure Data Explorer, usługi Power BI, narzędzia Grafana lub innych narzędzi. Użyj usługi Azure Synapse Analytics, aby utworzyć nowoczesny magazyn danych i połączyć go z danymi usługi Azure Data Explorer w celu generowania raportów analizy biznesowej na podstawie wyselekcjonowanych i zagregowanych modeli danych.
  5. Usługa Azure Data Explorer udostępnia natywne zaawansowane funkcje analizy szeregów czasowych, rozpoznawania wzorców, wykrywania anomalii i prognozowania oraz uczenia maszynowego. Usługa Azure Data Explorer jest również dobrze zintegrowana z usługami uczenia maszynowego, takimi jak Databricks i Azure Machine Learning. Ta integracja umożliwia tworzenie modeli przy użyciu innych narzędzi i usług oraz eksportowanie modeli uczenia maszynowego do usługi Azure Data Explorer na potrzeby oceniania danych.

Składniki

  • Azure Event Hubs: w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta, zaufana i skalowalna.
  • Azure IoT Hub: usługa zarządzana umożliwiająca dwukierunkową komunikację między urządzeniami IoT i platformą Azure.
  • Platforma Kafka w usłudze HDInsight: łatwa, ekonomiczna usługa klasy korporacyjnej na potrzeby analizy typu open source za pomocą platformy Apache Kafka.
  • Azure Data Explorer: szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych na potrzeby analizy danych w czasie rzeczywistym na dużych ilościach danych przesyłanych strumieniowo z aplikacji, witryn internetowych, urządzeń IoT i innych.
  • Pulpity nawigacyjne usługi Azure Data Explorer: natywnie eksportuj zapytania Kusto, które zostały eksplorowane w internetowym interfejsie użytkownika, aby zoptymalizować pulpity nawigacyjne.
  • Azure Synapse Analytics: usługa analizy, która łączy magazynowanie danych przedsiębiorstwa i analizę danych big data.

Szczegóły scenariusza

Potencjalne przypadki użycia

To rozwiązanie ilustruje, jak usługi Azure Data Explorer i Azure Synapse Analytics uzupełniają się nawzajem w przypadku analizy niemal w czasie rzeczywistym i nowoczesnych przypadków użycia magazynowania danych.

To rozwiązanie jest już używane przez klientów firmy Microsoft. Na przykład oparta na singapurze firma ride-hailing, Grab, wdrożyła analizę w czasie rzeczywistym na ogromną ilość danych zebranych z usług taksówkarskich i dostaw żywności, a także aplikacji partnerów handlowych. Zespół z Grab przedstawił swoje rozwiązanie na MS Ignite w tym filmie wideo (20:30 do wewnątrz). Korzystając z tego wzorca, grab przetworzył ponad bilion zdarzeń dziennie.

To rozwiązanie jest zoptymalizowane pod kątem branży handlu detalicznego.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki