Jak działa usługa Azure Data Explorer
W tej lekcji przyjrzymy się, jak działa usługa Azure Data Explorer w tle, omawiając główne składniki systemu. Następnie dowiesz się, jak korzystać z usługi, eksplorując typowy przepływ pracy:
- Pozyskiwanie danych
- Kusto Query Language
- Wizualizacja danych
Ta wiedza pomaga zdecydować, czy usługa Azure Data Explorer jest odpowiednia dla Twoich potrzeb dotyczących danych.
Główne elementy
Klaster usługi Azure Data Explorer wykonuje całą pracę w celu pozyskiwania, przetwarzania i wykonywania zapytań dotyczących danych. Klastry są skalowalne automatycznie zgodnie z potrzebami. Usługa Azure Data Explorer przechowuje również dane w usłudze Azure Storage i buforuje niektóre z tych danych w węzłach obliczeniowych klastra w celu uzyskania optymalnej wydajności zapytań.
Co znajduje się w klastrze usługi Azure Data Explorer?
Każdy klaster usługi Azure Data Explorer może przechowywać maksymalnie 10 000 baz danych, a każda baza danych może zawierać maksymalnie 10 000 tabel. Dane w każdej tabeli są przechowywane w fragmentach danych nazywanych również zakresami. Wszystkie dane są automatycznie indeksowane i partycjonowane na podstawie czasu pozyskiwania. W przeciwieństwie do relacyjnej bazy danych nie ma żadnych podstawowych ograniczeń klucza obcego ani żadnych innych ograniczeń, takich jak unikatowość. Ten projekt oznacza, że można przechowywać duże ilości różnych danych. Ze względu na sposób jego przechowywania uzyskujesz szybki dostęp do wykonywania zapytań.
Struktura logiczna bazy danych jest podobna do wielu innych relacyjnych baz danych. Baza danych usługi Azure Data Explorer może zawierać następujące elementy:
- Tabele: składa się z zestawu kolumn. Każda kolumna ma jeden z dziewięciu różnych typów danych.
- Tabele zewnętrzne: tabele, których bazowy magazyn znajduje się w innych lokalizacjach, takich jak usługa Azure Data Lake.
Poznaj ogólny przepływ pracy
Mówiąc ogólnie, podczas interakcji z usługą Azure Data Explorer przechodzisz przez następujący przepływ pracy: Najpierw pozyskujesz dane, aby uzyskać je w systemie. Następnie analizujesz dane. Następnie zwizualizujesz wyniki analizy. W dowolnym momencie możesz również współpracować z funkcjami zarządzania danymi. Ta praca z usługą Azure Data Explorer odbywa się za pośrednictwem interakcji z klastrem. Dostęp do tych zasobów można uzyskać w internetowym interfejsie użytkownika lub przy użyciu zestawów SDK.
Jak mogę uzyskać moje dane w usłudze Azure Data Explorer?
Pozyskiwanie danych to proces używany do ładowania rekordów danych z co najmniej jednego źródła do tabeli w usłudze Azure Data Explorer. Dalsze manipulowanie danymi obejmuje dopasowywanie schematu, organizowanie, indeksowanie, kodowanie i kompresowanie danych. Menedżer danych zatwierdza następnie pozyskiwanie danych do aparatu, gdzie jest dostępne do wykonywania zapytań.
Oprócz natywnego kreatora interfejsu użytkownika sieci Web dostępne są różne narzędzia do pozyskiwania. Obejmuje to zarządzane potoki, usługę Event Grid, usługę IoT Hub i usługę Azure Data Factory. Możesz użyć łączników i wtyczek, takich jak wtyczka Logstash, łącznik platformy Kafka, usługa Power Automate i łącznik platformy Apache Spark. Można również użyć programowego pozyskiwania przy użyciu zestawów SDK lub lightIngest.
Dane mogą być pozyskiwane w dwóch trybach: przetwarzanie wsadowe lub przesyłanie strumieniowe. Pozyskiwanie wsadowe jest zoptymalizowane pod kątem wysokiej przepływności pozyskiwania i szybkich wyników zapytań. Pozyskiwanie danych przesyłanych strumieniowo umożliwia niemal rzeczywiste opóźnienie dla małych zestawów danych na tabelę.
Jak mogę analizować moje dane?
Usługa Azure Data Explorer używa własnościowych język zapytań Kusto (KQL) do analizowania danych. Jest ona powszechnie używana w firmie Microsoft (Azure Monitor — Log Analytics i Application Szczegółowe informacje, Microsoft Sentinel i Microsoft Defender XDR). Język KQL jest zoptymalizowany pod kątem szybkiej, zróżnicowanej eksploracji danych big data. Zapytania odwołują się do tabel, widoków, funkcji i innych wyrażeń tabelarycznych. Uwzględnianie tabel w różnych bazach danych, a nawet w klastrach. Zapytania można uruchamiać przy użyciu internetowego interfejsu użytkownika, różnych narzędzi zapytań lub jednego z zestawów SDK usługi Azure Data Explorer.
Jak działa język zapytań Kusto?
język zapytań Kusto jest ekspresyjnym, intuicyjnym i wysoce wydajnym językiem zapytań. Zapewnia płynne przejście od prostych wierszy do złożonych skryptów przetwarzania danych i obsługuje wykonywanie zapytań dotyczących danych ze strukturą, częściowo ustrukturyzowaną i nieustrukturyzowaną (wyszukiwanie tekstu). Istnieje wiele różnych operatorów i funkcji języka zapytań (agregacja, filtrowanie, funkcje szeregów czasowych, funkcje geoprzestrzenne, sprzężenia, związki i inne) w języku. Język KQL obsługuje zapytania między klastrami i między bazami danych, a funkcja jest bogata w perspektywę analizowania (json, XML itp.). Ponadto język natywnie obsługuje zaawansowaną analizę.
Jak wyświetlić wyniki zapytania?
Internetowy interfejs użytkownika usługi Azure Data Explorer został zaprojektowany z myślą o danych big data, umożliwiając uruchamianie zapytań i kompilowanie pulpitów nawigacyjnych. Obsługuje on wyświetlanie maksymalnie 500 K rekordów i tysięcy kolumn. Jest wysoce skalowalna i bogata w funkcje, które ułatwiają uzyskiwanie szybkich szczegółowych informacji z danych. Możesz również użyć różnych wizualizacji wyświetlania danych na pulpitach nawigacyjnych usługi Azure Data Explorer. Możesz również wyświetlić wyniki przy użyciu łączników natywnych do niektórych wiodących usług wizualizacji dostępnych obecnie, takich jak Power BI i Grafana. Usługa Azure Data Explorer ma również obsługę łączników ODBC i JDBC do narzędzi, takich jak Tableau i Qlik.
Jak mogę zarządzać moimi danymi?
Administracja chcą wykonywać różne zadania konserwacji i zasad w swoich klastrach usługi Azure Data Explorer, a polecenia sterowania umożliwiają wykonywanie tych czynności. Za pomocą poleceń sterowania mogą tworzyć nowe klastry lub bazy danych, ustanawiać połączenia danych, przeprowadzać skalowanie automatyczne i dostosowywać konfiguracje klastra. Mogą również kontrolować i modyfikować jednostki, obiekty metadanych, zarządzać uprawnieniami i zasadami zabezpieczeń. Ponadto mogą modyfikować zmaterializowane widoki (stale aktualizowane przefiltrowane widoki innych tabel), funkcje (funkcje przechowywane i funkcje zdefiniowane przez użytkownika) oraz zasady aktualizacji (funkcje wyzwalane po pozyskiwaniu).
Polecenia sterowania są uruchamiane bezpośrednio w akiecie przy użyciu interfejsu WebUI, witryny Azure Portal, różnych narzędzi do wykonywania zapytań lub jednego z zestawów SDK usługi Azure Data Explorer.