Interaktywna analiza za pomocą usługi Azure Data Explorer

Azure Data Explorer
Azure Data Factory
Azure Event Hubs
Azure IoT Hub
Azure Storage

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

Ten pomysł rozwiązania pokazuje, jak korzystać z interaktywnej analizy w usłudze Azure Data Explorer. W tym artykule opisano sposób analizowania ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych danych za pomocą improwizowanych, interaktywnych, szybkich zapytań.

Jupyter jest znakiem towarowym swojej firmy. Użycie tego znaku nie jest dorozumiane. Apache® i Apache Kafka® są zarejestrowanymi znakami towarowymi lub znakami towarowymi programu Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez program Apache Software Foundation.

Architektura

Interaktywna analiza za pomocą usługi Azure Data Explorer.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Nieprzetworzone dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane (bez struktury), takie jak wszelkiego rodzaju dzienniki, zdarzenia biznesowe i działania użytkowników, można pozyskać do usługi Azure Data Explorer z różnych źródeł. Pozyskiwanie danych w trybie przesyłania strumieniowego lub wsadowego przy użyciu różnych metod.
  2. Pozyskiwanie danych do usługi Azure Data Explorer z małym opóźnieniem i wysoką przepływnością przy użyciu łączników dla Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka itd. Zamiast tego pozyskiwanie danych za pośrednictwem usługi Azure Storage (blob lub ADLS Gen2), która używa Azure Event Grid i wyzwala potok pozyskiwania do usługi Azure Data Explorer. Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym formacie parquet podzielonym na partycje i bezproblemowo wykonywać zapytania o te dane zgodnie z opisem w artykule Omówienie ciągłego eksportu danych.
  3. Uruchamiaj zapytania interakcyjne na małych i bardzo dużych ilościach danych przy użyciu natywnych narzędzi platformy Azure Data Explorer lub alternatywnych narzędzi do wyboru. Usługa Azure Data Explorer udostępnia wiele wtyczek i integracji z resztą ekosystemu platformy danych. Użyj dowolnego z następujących narzędzi i integracji:
  4. Wzbogacanie danych uruchomionych zapytań federacyjnych przez połączenie danych z bazy danych SQL i usługi Azure Cosmos DB przy użyciu wtyczek usługi Azure Data Explorer.

Składniki

  • Azure Event Hubs: w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta, zaufana i skalowalna.
  • Azure IoT Hub: Usługa zarządzana umożliwiająca dwukierunkową komunikację między urządzeniami IoT a platformą Azure.
  • Platforma Kafka w usłudze HDInsight: łatwa, ekonomiczna usługa klasy korporacyjnej do analizy typu open source za pomocą platformy Apache Kafka.
  • Azure Data Factory: hybrydowa usługa integracji danych, która upraszcza etL na dużą skalę.
  • Azure Data Explorer: szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych na potrzeby analizy danych w czasie rzeczywistym na dużych ilościach danych przesyłanych strumieniowo z aplikacji, witryn internetowych, urządzeń IoT i nie tylko.
  • Pulpity nawigacyjne usługi Azure Data Explorer: natywnie eksportuj zapytania Kusto, które zostały eksplorowane w internetowym interfejsie użytkownika, aby zoptymalizować pulpity nawigacyjne.
  • Azure Cosmos DB: w pełni zarządzana szybka usługa bazy danych NoSQL na potrzeby nowoczesnego tworzenia aplikacji z otwartymi interfejsami API dla dowolnej skali.
  • Azure SQL DB: Tworzenie aplikacji skalowanych w tempie firmy za pomocą zarządzanego i inteligentnego kodu SQL w chmurze.

Szczegóły scenariusza

Ten pomysł rozwiązania pokazuje, jak używać interaktywnej analizy z platformą Azure Data Explorer do eksplorowania danych za pomocą improwizowanych, interaktywnych i szybkich zapytań za pomocą małych i bardzo dużych ilości danych. Tę eksplorację danych można wykonać przy użyciu natywnych narzędzi platformy Azure Data Explorer lub alternatywnych narzędzi do wyboru. To rozwiązanie koncentruje się na integracji usługi Azure Data Explorer z resztą ekosystemu platformy danych.

Potencjalne przypadki użycia

To rozwiązanie jest używane przez klientów firmy Microsoft do śledzenia aktywności użytkowników, zarządzania profilami użytkowników i scenariuszami segmentacji użytkowników.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Następne kroki

Aby uzyskać więcej informacji, zobacz dokumentację usługi Azure Data Explorer.