Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
Ten pomysł rozwiązania pokazuje, jak korzystać z interaktywnej analizy w usłudze Azure Data Explorer. W tym artykule opisano sposób analizowania ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych danych za pomocą improwizowanych, interaktywnych, szybkich zapytań.
Jupyter jest znakiem towarowym swojej firmy. Użycie tego znaku nie jest dorozumiane. Apache® i Apache Kafka® są zarejestrowanymi znakami towarowymi lub znakami towarowymi programu Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez program Apache Software Foundation.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Nieprzetworzone dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane (bez struktury), takie jak wszelkiego rodzaju dzienniki, zdarzenia biznesowe i działania użytkowników, można pozyskać do usługi Azure Data Explorer z różnych źródeł. Pozyskiwanie danych w trybie przesyłania strumieniowego lub wsadowego przy użyciu różnych metod.
- Pozyskiwanie danych do usługi Azure Data Explorer z małym opóźnieniem i wysoką przepływnością przy użyciu łączników dla Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka itd. Zamiast tego pozyskiwanie danych za pośrednictwem usługi Azure Storage (blob lub ADLS Gen2), która używa Azure Event Grid i wyzwala potok pozyskiwania do usługi Azure Data Explorer. Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym formacie parquet podzielonym na partycje i bezproblemowo wykonywać zapytania o te dane zgodnie z opisem w artykule Omówienie ciągłego eksportu danych.
- Uruchamiaj zapytania interakcyjne na małych i bardzo dużych ilościach danych przy użyciu natywnych narzędzi platformy Azure Data Explorer lub alternatywnych narzędzi do wyboru. Usługa Azure Data Explorer udostępnia wiele wtyczek i integracji z resztą ekosystemu platformy danych. Użyj dowolnego z następujących narzędzi i integracji:
- W przypadku interaktywnej analizy użyj internetowego interfejsu użytkownika usługi Azure Data Explorer, klienta internetowego dla usługi Azure Data Explorer lub Kusto.Explorer, zaawansowanego klienta systemu Windows dla usługi Azure Data Explorer.
- Aby nawiązać połączenie z klastrem usługi Azure Data Explorer, użyj notesów Jupyter, łącznika Spark, dowolnego klienta SQL zgodnego ze standardem TDS oraz połączeń JDBC i ODBC.
- Aby tworzyć nowe aplikacje lub integrować się z istniejącymi aplikacjami lub strukturami, użyj interfejsów API REST i zestawów SDK usługi Azure Data Explorer dostępnych w różnych językach.
- Twórz pulpity nawigacyjne analizy niemal w czasie rzeczywistym przy użyciu pulpitów nawigacyjnych usługi Azure Data Explorer, usługi Power BI lub narzędzia Grafana.
- Wzbogacanie danych uruchomionych zapytań federacyjnych przez połączenie danych z bazy danych SQL i usługi Azure Cosmos DB przy użyciu wtyczek usługi Azure Data Explorer.
Składniki
- Azure Event Hubs: w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta, zaufana i skalowalna.
- Azure IoT Hub: Usługa zarządzana umożliwiająca dwukierunkową komunikację między urządzeniami IoT a platformą Azure.
- Platforma Kafka w usłudze HDInsight: łatwa, ekonomiczna usługa klasy korporacyjnej do analizy typu open source za pomocą platformy Apache Kafka.
- Azure Data Factory: hybrydowa usługa integracji danych, która upraszcza etL na dużą skalę.
- Azure Data Explorer: szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych na potrzeby analizy danych w czasie rzeczywistym na dużych ilościach danych przesyłanych strumieniowo z aplikacji, witryn internetowych, urządzeń IoT i nie tylko.
- Pulpity nawigacyjne usługi Azure Data Explorer: natywnie eksportuj zapytania Kusto, które zostały eksplorowane w internetowym interfejsie użytkownika, aby zoptymalizować pulpity nawigacyjne.
- Azure Cosmos DB: w pełni zarządzana szybka usługa bazy danych NoSQL na potrzeby nowoczesnego tworzenia aplikacji z otwartymi interfejsami API dla dowolnej skali.
- Azure SQL DB: Tworzenie aplikacji skalowanych w tempie firmy za pomocą zarządzanego i inteligentnego kodu SQL w chmurze.
Szczegóły scenariusza
Ten pomysł rozwiązania pokazuje, jak używać interaktywnej analizy z platformą Azure Data Explorer do eksplorowania danych za pomocą improwizowanych, interaktywnych i szybkich zapytań za pomocą małych i bardzo dużych ilości danych. Tę eksplorację danych można wykonać przy użyciu natywnych narzędzi platformy Azure Data Explorer lub alternatywnych narzędzi do wyboru. To rozwiązanie koncentruje się na integracji usługi Azure Data Explorer z resztą ekosystemu platformy danych.
Potencjalne przypadki użycia
To rozwiązanie jest używane przez klientów firmy Microsoft do śledzenia aktywności użytkowników, zarządzania profilami użytkowników i scenariuszami segmentacji użytkowników.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Ornat Spodek | Starszy menedżer zawartości
Następne kroki
Aby uzyskać więcej informacji, zobacz dokumentację usługi Azure Data Explorer.