Co to jest usługa Azure Data Explorer?

Azure Data Explorer to w pełni zarządzana, wysokiej wydajności platforma do analizy danych big data, która ułatwia analizowanie dużych ilości danych niemal w czasie rzeczywistym. Przybornik usługi Azure Data Explorer udostępnia kompleksowe rozwiązanie do pozyskiwania, wykonywania zapytań, wizualizacji i zarządzania danymi.

Analizując dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane w szeregach czasowych oraz korzystając z uczenia maszynowego, Azure Data Explorer ułatwiają wyodrębnianie kluczowych szczegółowych informacji, wzorców spot i trendów oraz tworzenie modeli prognozowania. Azure Data Explorer używa tradycyjnego modelu relacyjnego, organizując dane w tabelach z silnie typowanymi schematami. Tabele są przechowywane w bazach danych, a klaster może zarządzać wieloma bazami danych. Azure Data Explorer jest skalowalna, bezpieczna, niezawodna i gotowa do użycia w przedsiębiorstwie. Jest to przydatne do analizy logów, analizy szeregów czasowych, IoT oraz ogólnych analiz eksploracyjnych.

Inne usługi oparte na języku zapytań Kusto Query Language (KQL) rozszerzają możliwości Azure Data Explorer. Te usługi obejmują dzienniki Azure Monitor, usługę Application Insights i Ochrona punktu końcowego w usłudze Microsoft Defender.

Kiedy należy używać usługi Azure Data Explorer?

Skorzystaj z następujących pytań, aby zdecydować, czy usługa Azure Data Explorer jest odpowiednia dla Twojego przypadku użycia:

  • Interaktywna analiza: czy interaktywna analiza jest częścią rozwiązania? Na przykład agregacja, korelacja lub wykrywanie anomalii.
  • Różnorodność, szybkość, objętość: Czy schemat jest zróżnicowany? Czy musisz pozyskiwać ogromne ilości danych niemal w czasie rzeczywistym?
  • Organizacja danych: Czy chcesz analizować nieprzetworzone dane? Na przykład dane, które nie są w pełni wyselekcjonowane schematem gwiazdy.
  • Współbieżność zapytań: Czy wielu użytkowników lub procesów korzysta z usługi Azure Data Explorer?
  • Tworzyć czy kupić: Czy planujesz dostosować swoją platformę danych?

Azure Data Explorer idealnie nadaje się do umożliwienia interaktywnych funkcji analitycznych za pośrednictwem szybkich, zróżnicowanych danych pierwotnych. Użyj następującego drzewa decyzyjnego, aby określić, czy usługa Azure Data Explorer jest odpowiednia dla Ciebie:

Diagram drzewa decyzyjnego, który przeprowadzi Cię przez proces używania Azure Data Explorer na podstawie potrzeb analitycznych.

Co sprawia, że usługa Azure Data Explorer jest unikatowa?

Szybkość, różnorodność i ilość danych

Dzięki usłudze Azure Data Explorer można importować terabajty danych w kilka minut za pomocą importu kolejkowanego lub strumieniowego. Możesz wykonywać zapytania dotyczące petabajtów danych, a wyniki są zwracane w ciągu kilku milisekund do sekund. Usługa Azure Data Explorer zapewnia wysoką szybkość (miliony zdarzeń na sekundę), małe opóźnienia (sekundy) i liniowe pozyskiwanie danych pierwotnych w skali liniowej. Importuj swoje dane w różnych formatach i strukturach z różnych pipeline’ów i źródeł.

Przyjazny dla użytkownika język zapytań

Wykonywanie zapytań Azure Data Explorer przy użyciu języka Kusto Query Language (KQL), języka open source utworzonego przez zespół Azure Data Explorer. Język jest prosty do zrozumienia i nauki oraz wysoce produktywny. Możesz użyć prostych operatorów i zaawansowanej analizy. Usługa Azure Data Explorer obsługuje również język T-SQL.

Analiza zaawansowana

Użyj Azure Data Explorer do analizy szeregów czasowych z dużym zestawem funkcji, w tym dodawania i odejmowania szeregów czasowych, filtrowania, regresji, wykrywania sezonowości, analizy geoprzestrzennej, wykrywania anomalii, skanowania i prognozowania. Funkcje szeregów czasowych są zoptymalizowane pod kątem przetwarzania tysięcy szeregów czasowych w sekundach. Wykrywanie wzorca jest łatwe dzięki wtyczkom klastra, które mogą diagnozować anomalie i analizować główne przyczyny. Możliwości Azure Data Explorer można również rozszerzyć, osadzając kod Python w zapytaniach KQL.

Łatwy w użyciu kreator

Środowisko pobierania danych sprawia, że proces pozyskiwania danych jest łatwy, szybki i intuicyjny. Internetowy interfejs użytkownika Azure Data Explorer zapewnia intuicyjne i z przewodnikiem środowisko, które ułatwia szybkie rozpoczęcie pozyskiwania danych, tworzenie tabel baz danych i struktur mapowania. Umożliwia jednorazowe lub ciągłe pozyskiwanie z różnych źródeł i w różnych formatach danych. Mapowania tabel i schemat są automatycznie sugerowane i łatwe do zmodyfikowania.

Wszechstronna wizualizacja danych

Wizualizacja danych ułatwia uzyskanie ważnych szczegółowych informacji. Usługa Azure Data Explorer oferuje wbudowaną wizualizację i pulpit nawigacyjny z obsługą różnych wykresów i wizualizacji. Zapewnia natywną integrację z Power BI, natywne konektory do Grafana, Kibana i Databricks oraz obsługę ODBC dla Tableau, Sisense, Qlik i innych.

Automatyczne pozyskiwanie, przetwarzanie i eksportowanie

Azure Data Explorer obsługuje funkcje składowane po stronie serwera, ciągłe pozyskiwanie danych oraz ciągły eksport do Azure Data Lake Storage. Obsługuje również przekształcenia mapowania podczas pozyskiwania danych po stronie serwera, zasady aktualizacji oraz zaplanowane, wstępnie obliczane agregacje w postaci widoków zmaterializowanych.

Przepływ w usłudze Azure Data Explorer

Poniższy diagram przedstawia różne aspekty pracy z usługą Azure Data Explorer.

Diagram przedstawiający przepływ pracy Azure Data Explorer od utworzenia bazy danych przez pozyskiwanie, wykonywanie zapytań i wizualizowanie danych.

W przypadku interakcji z Azure Data Explorer zwykle postępuj zgodnie z tym przepływem pracy:

Uwaga

Dostęp do zasobów usługi Azure Data Explorer można uzyskać w internetowym interfejsie użytkownika usługi Azure Data Explorer lub przy użyciu zestawów SDK.

  1. Utwórz bazę danych: Utwórz klaster, a następnie utwórz co najmniej jedną bazę danych w tym klastrze. Każdy klaster Azure Data Explorer może przechowywać maksymalnie 10 000 baz danych, a każda baza danych może przechowywać maksymalnie 10 000 tabel. Dane w każdej tabeli są przechowywane w fragmentach danych, nazywanych również zakresami. Wszystkie dane są automatycznie indeksowane i partycjonowane na podstawie czasu importu. Ta architektura magazynu oznacza, że można przechowywać dużą ilość różnych danych i uzyskać szybki dostęp podczas wykonywania zapytań. Szybki start: tworzenie klastra i bazy danych usługi Azure Data Explorer

  2. Pozyskiwanie danych: ładowanie danych do tabel bazy danych, co pozwala na wykonywanie związanych z nimi zapytań. Usługa Azure Data Explorer obsługuje kilka metod pozyskiwania, z których każdy ma własne scenariusze docelowe. Te metody obejmują narzędzia pozyskiwania, łączniki i wtyczki do różnych usług, zarządzanych potoków, programowe pozyskiwanie przy użyciu zestawów SDK i bezpośredni dostęp do pozyskiwania. Rozpocznij pracę z funkcją pobierania danych.

  3. Wykonywanie zapytań względem bazy danych: Azure Data Explorer używa języka Kusto Query Language, który jest ekspresyjnym, intuicyjnym i wysoce wydajnym językiem zapytań. Oferuje ona płynne przejście od prostych jednowierszowych wierszy do złożonych skryptów przetwarzania danych i obsługuje wykonywanie zapytań dotyczących danych ze strukturą, częściowo ustrukturyzowaną i bez struktury (wyszukiwanie tekstu). Język ma szeroką gamę operatorów zapytań i funkcji, w tym agregacji, filtrowania, funkcji szeregów czasowych, funkcji geoprzestrzennych, sprzężeń i związków. Język KQL obsługuje zapytania między klastrami i między bazami danych oraz oferuje rozbudowane możliwości analizowania składni formatów takich jak JSON i XML. Język obsługuje również natywnie zaawansowaną analizę.

    Użyj aplikacji internetowej do uruchamiania, przeglądania i udostępniania zapytań i wyników. Zapytania można również wysyłać programowo (przy użyciu zestawu SDK) lub do punktu końcowego interfejsu API REST. Jeśli znasz język SQL, zacznij od ściągawki SQL do Kusto i Szybki start: wysyłanie zapytań do danych w interfejsie internetowym usługi Azure Data Explorer.

  4. Wizualizacja wyników: Użyj różnych wizualizacji wyświetlanych danych na natywnych pulpitach nawigacyjnych Azure Data Explorer. Wyniki można również wyświetlić przy użyciu łączników do niektórych wiodących usług wizualizacji, takich jak Power BI i Grafana. Azure Data Explorer ma również obsługę łączników ODBC i JDBC dla narzędzi, takich jak Tableau i Sisense.

Prześlij opinię

Aby podzielić się opinią na temat Azure Data Explorer i języka zapytań Kusto, skorzystaj z następujących zasobów: