Was ist der Azure-Daten-Explorer?

  • Artikel

Azure Data Explorer ist eine vollständig verwaltete, leistungsstarke Big Data-Analyseplattform, die das Analysieren großer Datenmengen nahezu in Echtzeit vereinfacht. Die Azure Data Explorer-Toolbox bietet Ihnen eine End-to-End-Lösung für die Datenerfassung, Abfrage, Visualisierung und Verwaltung.

Durch die zeitreihenübergreifende Analyse strukturierter, teilweise strukturierter und unstrukturierter Daten und durch die Verwendung von Machine Learning vereinfacht Azure Data Explorer das Extrahieren wichtiger Erkenntnisse, das Erkennen von Mustern und Trends sowie das Erstellen von Vorhersagemodellen. Azure Data Explorer verwendet ein herkömmliches relationales Modell, das Daten in Tabellen mit stark typisierten Schemas organisiert. Tabellen werden in Datenbanken gespeichert, und ein Cluster kann mehrere Datenbanken verwalten. Azure Data Explorer ist skalierbar, sicher, robust, bereit für den Einsatz in Unternehmen und nützlich für Protokollanalysen, Zeitreihenanalysen, IoT und allgemeine explorative Analysen.

Azure Data Explorer-Funktionen werden durch andere Dienste erweitert, die auf der Abfragesprache Kusto-Abfragesprache (KQL) basieren. Zu diesen Diensten gehören Azure Monitor-Protokolle, Application Insights, Time Series Insights und Microsoft Defender for Endpoint.

Wann sollten Sie Azure Data Explorer verwenden?

Bestimmen Sie anhand der folgenden Fragen, ob Azure Data Explorer die richtige Lösung für Ihren Anwendungsfall ist:

  • Interaktive Analysen: Sind interaktive Analysen Teil der Lösung? Beispiel: Aggregation, Korrelation oder Anomalieerkennung
  • Vielfalt, Geschwindigkeit, Menge:: Ist Ihr Schema vielfältig? Müssen Sie riesige Datenmengen in Quasi-Echtzeit erfassen?
  • Datenorganisation: Möchten Sie Rohdaten analysieren? Beispiel: Nicht vollständig kuratiertes Sternschema
  • Abfrageparallelität: Wird Azure Data Explorer von mehreren Benutzern oder Prozessen gleichzeitig genutzt?
  • Erstellen und Kaufen: Planen Sie, Ihre Datenplattform anzupassen?

Azure Data Explorer eignet sich ideal für das Aktivieren interaktiver Analysefunktionen mit hoher Geschwindigkeit und unterschiedlichen Rohdaten. Bestimmen Sie anhand der folgenden Entscheidungsstruktur, ob Azure Data Explorer die richtige Lösung für Sie ist:

Schematische Workflowabbildung einer Azure Data Explorer-Entscheidungsstruktur

Weshalb ist der Azure-Daten-Explorer so einzigartig?

Datengeschwindigkeit, Vielfalt und Volumen

Mit Azure Data Explorer können Sie Terabyte an Daten in Minuten über die Erfassung in die Warteschlange oder streamingbasierte Erfassung erfassen. Sie können Petabytes von Daten abfragen und erhalten die Ergebnisse innerhalb von Millisekunden bis Sekunden. Azure Data Explorer bietet eine hohe Geschwindigkeit (Millionen von Ereignissen pro Sekunde), niedrige Wartezeit (Sekunden) und eine linear skalierte Erfassung von Rohdaten. Erfassen Sie Ihre Daten in verschiedenen Formaten und Strukturen, die aus verschiedenen Pipelines und Quellen stammen.

Benutzerfreundliche Abfragesprache

Fragen Sie Azure Data Explorer mit der Kusto-Abfragesprache (KQL) ab, einer ursprünglich vom Team entwickelten Open-Source-Sprache. Die Sprache ist einfach zu verstehen und zu erlernen und sehr produktiv. Sie können einfache Operatoren und erweiterte Analysen verwenden. Azure Data Explorer unterstützt auch T-SQL.

Erweiterte Analyse

Verwenden Sie Azure Data Explorer für Zeitreihenanalysen mit zahlreichen Funktionen, z. B. Addieren und Subtrahieren von Zeitreihen, Filtern, Regression, Erkennung der Saisonalität, Geoanalyse, Anomalieerkennung, Überprüfen und Vorhersagen. Zeitreihenfunktionen sind für die Verarbeitung von Tausenden von Zeitreihen in Sekunden optimiert. Die Mustererkennung wird mit Cluster-Plug-Ins vereinfacht, die Anomalien diagnostizieren und Ursachenanalysen durchführen können. Sie können die Azure Data Explorer-Funktionen auch erweitern, indem Sie Python-Code in KQL-Abfragen einbetten.

Benutzerfreundlicher Assistent

Der Erfassungs-Assistent ermöglicht eine einfache, schnelle und intuitive Datenerfassung. Über die intuitive und übersichtliche Azure Data Explorer-Webbenutzeroberfläche können Sie schnell mit der Erfassung von Daten, dem Erstellen von Datenbanktabellen und Zuordnen von Strukturen beginnen. Sie ermöglicht eine einmalige oder kontinuierliche Erfassung aus verschiedenen Quellen und in verschiedenen Datenformaten. Tabellenzuordnungen und -schemas werden automatisch vorgeschlagen und sind einfach zu ändern.

Vielseitige Datenvisualisierung

Die Datenvisualisierung hilft Ihnen, wichtige Erkenntnisse zu gewinnen. Azure Data Explorer bietet integrierte Visualisierungen und Dashboards mit Unterstützung für verschiedene Diagramme und Visualisierungen. Es verfügt über native Integration mit Power BI, native Connectors für Grafana, Kibana und Databricks, ODBC-Unterstützung für Tableau, Sisense, Qlik und mehr.

Automatische Erfassung, Verarbeitung und automatischer Export

Azure Data Explorer unterstützt serverseitige gespeicherte Funktionen, die kontinuierliche Erfassung und den fortlaufenden Export in Azure Data Lake Storage. Außerdem werden Erfassungszeitzuordnungstransformationen auf Serverseite, Aktualisierungsrichtlinien und vorausberechnete geplante Aggregate mit materialisierten Sichten unterstützt.

Flow von Azure-Daten-Explorer

Die folgende Abbildung zeigt die verschiedenen Aspekte der Arbeit mit Azure-Daten-Explorer.

Azure Data Explorer-Flow

Bei der Interaktion mit Azure Data Explorer wird im Allgemeinen der folgende Workflow durchlaufen:

Hinweis

Sie können auf Ihre Azure Data Explorer-Ressourcen entweder über die Azure Data Explorer-Webbenutzeroberfläche oder mithilfe von SDKs zugreifen.

  1. Datenbank erstellen: Erstellen Sie einen Cluster und anschließend eine oder mehrere Datenbanken im Cluster. Jeder Azure Data Explorer-Cluster kann bis zu 10.000 Datenbanken und jede Datenbank bis zu 10.000 Tabellen enthalten. Die Daten in jeder Tabelle werden in Datenshards gespeichert, die auch als „Erweiterungen“ bezeichnet werden. Alle Daten werden basierend auf der Erfassungszeit automatisch indiziert und partitioniert. Dies bedeutet, dass Sie viele verschiedene Daten speichern können und aufgrund der Art, wie sie gespeichert werden, schnellen Zugriff für die Abfrage dieser Daten erhalten. Schnellstart: Erstellen eines Azure-Daten-Explorer-Clusters und einer Datenbank

  2. Daten erfassen: Laden Sie Daten in Datenbanktabellen, sodass Sie diese abfragen können. Azure Data Explorer unterstützt verschiedene Erfassungsmethoden mit jeweils eigenen Zielszenarien. Diese Methoden umfassen Erfassungstools, Connectors und Plug-Ins für verschiedene Dienste, verwaltete Pipelines, die programmgesteuerte Erfassung mithilfe von SDKs und Direktzugriff auf die Erfassung. Beginnen Sie mit dem Erfassungs-Assistenten.

  3. Abfragen der Datenbank: Azure Data Explorer nutzt die Kusto-Abfragesprache. Dabei handelt es sich um eine ausdrucksbasierte, intuitive und äußerst produktive Abfragesprache. Sie bietet einen reibungslosen Übergang von einfachen Einzeilern zu komplexen Datenverarbeitungsskripts und unterstützt das Abfragen strukturierter, teilweise strukturierter und unstrukturierter Daten (Textsuche). Die Abfragesprache umfasst eine Vielzahl von Operatoren und Funktionen (Aggregation, Filterung, Zeitreihenfunktionen, Geofunktionen, Verknüpfungen, Vereinigungen usw.). KQL unterstützt cluster- und datenbankübergreifende Abfragen und bietet in Hinsicht auf die Analyse umfangreiche Funktionen (JSON, XML und vieles mehr). Von der Sprache außerdem erweiterte Analysen nativ unterstützt.

    Nutzen Sie die Webanwendung, um Abfragen auszuführen und ihre Abfrageergebnisse zu prüfen und zu teilen. Darüber hinaus können Sie Abfragen programmgesteuert (mit einem SDK) oder an einen REST-API-Endpunkt senden. Wenn Sie mit SQL vertraut sind, beginnen Sie mit dem Cheat Sheet für die Übersetzung von SQL in Kusto. Schnellstart: Abfragen von Daten auf der Azure Data Explorer-Webbenutzeroberfläche

  4. Visualisieren von Ergebnissen: Verwenden Sie verschiedene visuelle Darstellungen Ihrer Daten auf den nativen Azure Data Explorer-Dashboards. Sie können Ihre Ergebnisse auch mithilfe der Connectors für einige der führenden Visualisierungsdienste (etwa Power BI und Grafana) anzeigen. Azure Data Explorer unterstützt zudem ODBC- und JDBC-Connectors für Tools wie Tableau und Sisense.

Senden von Feedback

Wir würden uns sehr über Ihr Feedback zu Azure Data Explorer und die Kusto-Abfragesprache freuen:

Verwandte Inhalte