Co to jest usługa Azure Data Explorer?

  • Artykuł

Azure Data Explorer to w pełni zarządzana, wysokowydajna platforma do analizy danych big data, która ułatwia analizowanie dużych ilości danych niemal w czasie rzeczywistym. Przybornik usługi Azure Data Explorer udostępnia kompleksowe rozwiązanie do pozyskiwania danych, wykonywania zapytań, wizualizacji i zarządzania.

Analizując dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane w szeregach czasowych oraz korzystając z usługi Machine Learning, usługa Azure Data Explorer ułatwia wyodrębnianie kluczowych szczegółowych informacji, wzorców i trendów typu spot oraz tworzenie modeli prognozowania. Usługa Azure Data Explorer używa tradycyjnego modelu relacyjnego, organizując dane w tabele przy użyciu silnie typiowanych schematów. Tabele są przechowywane w bazach danych, a klaster może zarządzać wieloma bazami danych. Usługa Azure Data Explorer jest skalowalna, bezpieczna, niezawodna i gotowa do użycia w przedsiębiorstwie oraz jest przydatna w przypadku analizy dzienników, analizy szeregów czasowych, IoT i analizy eksploracyjnej ogólnego przeznaczenia.

Możliwości usługi Azure Data Explorer są rozszerzane przez inne usługi oparte na języku zapytań: język zapytań Kusto (KQL). Te usługi obejmują dzienniki usługi Azure Monitor, usługę Application Insights, usługę Time Series Insights i Ochrona punktu końcowego w usłudze Microsoft Defender.

Kiedy należy używać usługi Azure Data Explorer?

Skorzystaj z poniższych pytań, aby zdecydować, czy usługa Azure Data Explorer jest odpowiednia dla Twojego przypadku użycia:

  • Interaktywna analiza: czy interaktywna analiza jest częścią rozwiązania? Na przykład agregacja, korelacja lub wykrywanie anomalii.
  • Różnorodność, szybkość, ilość: czy schemat jest zróżnicowany? Czy musisz pozyskiwać ogromne ilości danych niemal w czasie rzeczywistym?
  • Organizacja danych: Czy chcesz analizować dane pierwotne? Na przykład nie w pełni wyselekcjonowane star schematu.
  • Współbieżność zapytań: czy wielu użytkowników lub procesów korzysta z usługi Azure Data Explorer?
  • Kompilowanie i kupowanie: czy planujesz dostosowywanie platformy danych?

Usługa Azure Data Explorer jest idealna do umożliwienia interaktywnych funkcji analitycznych w przypadku szybkich, różnorodnych danych pierwotnych. Użyj następującego drzewa decyzyjnego, aby zdecydować, czy usługa Azure Data Explorer jest odpowiednia dla Ciebie:

Ten obraz jest schematowym obrazem przepływu pracy drzewa decyzyjnego usługi Azure Data Explorer.

Co sprawia, że usługa Azure Data Explorer jest unikatowa?

Szybkość, różnorodność i ilość danych

Dzięki usłudze Azure Data Explorer można pozyskiwać terabajty danych w ciągu kilku minut za pośrednictwem pozyskiwania w kolejce lub pozyskiwania strumieniowego. Możesz wykonywać zapytania dotyczące petabajtów danych z wynikami zwróconymi w ciągu kilku milisekund do sekund. Usługa Azure Data Explorer zapewnia wysoką szybkość (miliony zdarzeń na sekundę), małe opóźnienia (w sekundach) i liniowe pozyskiwanie danych pierwotnych w skali liniowej. Pozyskiwanie danych w różnych formatach i strukturach, przepływając z różnych potoków i źródeł.

Przyjazny dla użytkownika język zapytań

Wykonywanie zapytań w usłudze Azure Data Explorer za pomocą język zapytań Kusto (KQL) — języka open source, który został początkowo wymyślony przez zespół. Język jest prosty do zrozumienia i uczenia się oraz wysoce produktywny. Możesz użyć prostych operatorów i zaawansowanej analizy. Usługa Azure Data Explorer obsługuje również język T-SQL.

Analiza zaawansowana

Użyj usługi Azure Data Explorer do analizy szeregów czasowych z dużym zestawem funkcji, takich jak dodawanie i odejmowanie szeregów czasowych, filtrowanie, regresja, wykrywanie sezonowości, analiza geoprzestrzenna, wykrywanie anomalii, skanowanie i prognozowanie. Funkcje szeregów czasowych są zoptymalizowane pod kątem przetwarzania tysięcy szeregów czasowych w sekundach. Wykrywanie wzorca jest łatwe dzięki wtyczkom klastra, które mogą diagnozować anomalie i analizować główną przyczynę. Możliwości usługi Azure Data Explorer można również rozszerzyć, osadzając kod języka Python w zapytaniach języka KQL.

Kreator łatwy w użyciu

Kreator pozyskiwania sprawia, że proces pozyskiwania danych jest łatwy, szybki i intuicyjny. Internetowy interfejs użytkownika usługi Azure Data Explorer zapewnia intuicyjne i sterowane środowisko, które ułatwia szybkie rozpoczęcie pozyskiwania danych, tworzenie tabel baz danych i struktur mapowania. Umożliwia jednorazowe lub ciągłe pozyskiwanie z różnych źródeł i w różnych formatach danych. Mapowania tabel i schemat są automatycznie sugerowane i łatwe do zmodyfikowania.

Wszechstronna wizualizacja danych

Wizualizacja danych ułatwia uzyskanie ważnych szczegółowych informacji. Usługa Azure Data Explorer oferuje wbudowane wizualizacje i pulpity nawigacyjne z obsługą różnych wykresów i wizualizacji. Zapewnia natywną integrację z usługą Power BI, natywnymi łącznikami dla rozwiązań Grafana, Kibana i Databricks, ODBC dla tabel Tableau, Sisense, Qlik i nie tylko.

Automatyczne pozyskiwanie, przetwarzanie i eksportowanie

Usługa Azure Data Explorer obsługuje funkcje przechowywane po stronie serwera, ciągłe pozyskiwanie i eksport ciągły do usługi Azure Data Lake Store. Obsługuje również przekształcenia mapowania czasu pozyskiwania po stronie serwera, zasady aktualizacji i wstępnie obliczone zaplanowane agregacje zmaterializowanymi widokami.

Przepływ w usłudze Azure Data Explorer

Poniższy diagram przedstawia różne aspekty pracy z usługą Azure Data Explorer.

Przepływ usługi Azure Data Explorer.

Ogólnie rzecz biorąc, podczas interakcji z usługą Azure Data Explorer będziesz przechodzić przez następujący przepływ pracy:

Uwaga

Dostęp do zasobów usługi Azure Data Explorer można uzyskać w internetowym interfejsie użytkownika usługi Azure Data Explorer lub przy użyciu zestawów SDK.

  1. Tworzenie bazy danych: tworzenie klastra, a następnie tworzenie co najmniej jednej bazy danych w klastrze. Każdy klaster usługi Azure Data Explorer może przechowywać do 10 000 baz danych, a każda baza danych może zawierać maksymalnie 10 000 tabel. Dane w każdej tabeli są przechowywane w fragmentach danych nazywanych również "zakresami". Wszystkie dane są automatycznie indeksowane i partycjonowane na podstawie czasu pozyskiwania. Oznacza to, że można przechowywać wiele różnych danych, a ze względu na sposób ich przechowywania uzyskujesz szybki dostęp do wykonywania zapytań. Szybki start: tworzenie klastra i bazy danych usługi Azure Data Explorer

  2. Pozyskiwanie danych: ładowanie danych do tabel bazy danych, co pozwala na wykonywanie związanych z nimi zapytań. Usługa Azure Data Explorer obsługuje kilka metod pozyskiwania, z których każdy ma własne scenariusze docelowe. Te metody obejmują narzędzia pozyskiwania, łączniki i wtyczki do różnych usług, potoków zarządzanych, pozyskiwanie programowe przy użyciu zestawów SDK i bezpośredni dostęp do pozyskiwania. Rozpocznij pracę z kreatorem pozyskiwania.

  3. Wykonywanie zapytań względem bazy danych: Usługa Azure Data Explorer używa język zapytań Kusto, który jest ekspresyjnym, intuicyjnym i wysoce wydajnym językiem zapytań. Oferuje ona płynne przejście od prostych jednowierszowych do złożonych skryptów przetwarzania danych i obsługuje wykonywanie zapytań dotyczących danych ze strukturą, częściowo ustrukturyzowaną i bez struktury (wyszukiwanie tekstu). Istnieje wiele różnych operatorów i funkcji języka zapytań (agregacja, filtrowanie, funkcje szeregów czasowych, funkcje geoprzestrzenne, sprzężenia, związki i inne) w języku. Język KQL obsługuje zapytania obejmujące wiele klastrów i między bazami danych i jest funkcją bogatą z perspektywy analizowania (json, XML i nie tylko). Język obsługuje również natywnie zaawansowaną analizę.

    Użyj aplikacji internetowej do uruchamiania, przeglądania i udostępniania zapytań oraz wyników. Zapytania można również wysyłać programowo (przy użyciu zestawu SDK) lub do punktu końcowego interfejsu API REST. Jeśli znasz język SQL, rozpocznij pracę ze ściągawką języka SQL w usłudze Kusto. Szybki start: wykonywanie zapytań o dane w internetowym interfejsie użytkownika usługi Azure Data Explorer

  4. Wizualizacja wyników: Użyj różnych wizualizacji wyświetlanych danych w natywnych pulpitach nawigacyjnych usługi Azure Data Explorer. Możesz również wyświetlić wyniki przy użyciu łączników do niektórych wiodących usług wizualizacji, takich jak Power BI i Grafana. Usługa Azure Data Explorer ma również obsługę łącznika ODBC i JDBC dla narzędzi, takich jak Tableau i Sisense.

Jak przekazać opinię

Chętnie poznamy Twoją opinię na temat usługi Azure Data Explorer i język zapytań Kusto na stronie:

Zawartość pokrewna