Pomysły dotyczące rozwiązań
W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.
Ten pomysł rozwiązania pokazuje, jak używać interaktywnej analizy w usłudze Azure Data Explorer. Opisano w nim, jak można badać dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane za pomocą improwizowanych, interaktywnych, szybkich zapytań.
Jupyter jest znakiem towarowym swojej firmy. Użycie tego znaku oznacza nie jest dorozumiane. Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Nieprzetworzone dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane (dowolny tekst), takie jak dzienniki dowolnego typu, zdarzenia biznesowe i działania użytkowników, mogą być pozyskiwane do usługi Azure Data Explorer z różnych źródeł. Pozyskiwanie danych w trybie przesyłania strumieniowego lub wsadowego przy użyciu różnych metod.
- Pozyskiwanie danych do usługi Azure Data Explorer z małymi opóźnieniami i wysoką przepływnością przy użyciu łączników dla usług Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka itd. Zamiast tego pozyskiwanie danych za pośrednictwem usługi Azure Storage (Blob lub ADLS Gen2), która używa usługi Azure Event Grid i wyzwala potok pozyskiwania do usługi Azure Data Explorer. Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym formacie parquet podzielonym na partycje i bezproblemowo wykonywać zapytania dotyczące tych danych zgodnie z opisem w artykule Ciągłe eksportowanie danych — omówienie.
- Uruchamiaj zapytania interakcyjne na małych i bardzo dużych ilościach danych przy użyciu natywnych narzędzi usługi Azure Data Explorer lub alternatywnych narzędzi. Usługa Azure Data Explorer udostępnia wiele wtyczek i integracji z resztą ekosystemu platformy danych. Użyj dowolnego z następujących narzędzi i integracji:
- W przypadku interaktywnej analizy użyj internetowego interfejsu użytkownika usługi Azure Data Explorer, klienta internetowego dla usługi Azure Data Explorer lub kusto.Explorer, zaawansowanego klienta systemu Windows dla usługi Azure Data Explorer.
- Aby nawiązać połączenie z klastrem usługi Azure Data Explorer, użyj notesów Jupyter, łącznika Spark, dowolnego klienta SQL zgodnego z protokołem TDS oraz połączeń JDBC i ODBC.
- Aby utworzyć nowe aplikacje lub zintegrować je z istniejącymi aplikacjami lub strukturami, użyj interfejsów API REST i zestawów SDK usługi Azure Data Explorer dostępnych w różnych językach.
- Twórz pulpity nawigacyjne analizy niemal w czasie rzeczywistym przy użyciu pulpitów nawigacyjnych usługi Azure Data Explorer, usługi Power BI lub narzędzia Grafana.
- Wzbogacanie danych uruchomionych zapytań federacyjnych przez połączenie danych z bazy danych SQL i usługi Azure Cosmos DB przy użyciu wtyczek usługi Azure Data Explorer.
Składniki
- Azure Event Hubs: w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta, zaufana i skalowalna.
- Azure IoT Hub: usługa zarządzana umożliwiająca dwukierunkową komunikację między urządzeniami IoT i platformą Azure.
- Platforma Kafka w usłudze HDInsight: łatwa, ekonomiczna usługa klasy korporacyjnej do analizy typu open source przy użyciu platformy Apache Kafka.
- Azure Data Factory: hybrydowa usługa integracji danych, która upraszcza proces ETL na dużą skalę.
- Azure Data Explorer: szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych na potrzeby analizy danych w czasie rzeczywistym na dużych ilościach danych przesyłanych strumieniowo z aplikacji, witryn internetowych, urządzeń IoT i innych.
- Pulpity nawigacyjne usługi Azure Data Explorer: natywnie eksportuj zapytania Kusto, które zostały eksplorowane w internetowym interfejsie użytkownika, aby zoptymalizować pulpity nawigacyjne.
- Azure Cosmos DB: w pełni zarządzana szybka usługa bazy danych NoSQL na potrzeby nowoczesnego tworzenia aplikacji z otwartymi interfejsami API na dowolną skalę.
- Azure SQL DB: tworzenie aplikacji skalowanych w tempie firmy za pomocą zarządzanej i inteligentnej bazy danych SQL w chmurze.
Szczegóły scenariusza
Ten pomysł rozwiązania pokazuje, jak korzystać z interaktywnej analizy w usłudze Azure Data Explorer w celu eksplorowania danych z improwizowanymi, interaktywnymi i szybkimi zapytaniami w bardzo małych i bardzo dużych ilościach danych. Tę eksplorację danych można wykonać przy użyciu natywnych narzędzi usługi Azure Data Explorer lub alternatywnych narzędzi. To rozwiązanie koncentruje się na integracji usługi Azure Data Explorer z resztą ekosystemu platformy danych.
Potencjalne przypadki użycia
To rozwiązanie jest używane przez klientów firmy Microsoft do śledzenia aktywności użytkowników, zarządzania profilami użytkowników i scenariuszami segmentacji użytkowników.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Ornat Spodek | Starszy menedżer zawartości
Następne kroki
Aby uzyskać więcej informacji, zobacz dokumentację usługi Azure Data Explorer.