Что такое Azure Data Explorer?

Azure Data Explorer — это полностью управляемая высокопроизводительная платформа для анализа больших данных, которая позволяет легко анализировать большие объемы данных почти в реальном времени. Набор средств Azure Data Explorer предоставляет собой комплексное решение для приема данных, отправки запросов, визуализации и управления.

Анализируя структурированные, полуструктурированные и неструктурированные данные в временных рядах и используя машинное обучение, Azure Data Explorer упрощает извлечение ключевых аналитических сведений, шаблонов и тенденций, а также создание моделей прогнозирования. Azure Data Explorer использует традиционную реляционную модель, упорядочивая данные в таблицы с строго типизированными схемами. Таблицы хранятся в базах данных, а кластер может управлять несколькими базами данных. Azure Data Explorer является масштабируемым, безопасным, надежным и корпоративным. Это подходит для анализа журналов, анализа временных рядов, Интернета вещей и исследовательской аналитики общего назначения.

Другие службы, построенные на языке запросов Kusto (KQL), расширяют возможности Azure Data Explorer. К этим службам относятся журналы Azure Monitor, Application Insights и Microsoft Defender для конечной точки.

Когда следует использовать Azure Data Explorer?

Чтобы понять, подходит ли Azure Data Explorer для вашего варианта использования, используйте следующие вопросы:

  • Интерактивная аналитика. Входят ли в состав решения возможности интерактивного анализа, например агрегирование, корреляция или обнаружение аномалий?
  • Разнообразие, скорость, объем: разнообразна ли ваша схема? Требуется ли вам принимать огромные объемы данных практически в реальном времени?
  • Упорядочение данных. Нужно ли анализировать необработанные данные? Например, данные, которые не являются полностью подготовленной схемой типа «звезда».
  • Параллелизм запросов. Будут ли использовать Azure Data Explorer несколько пользователей или процессов?
  • Создание и покупка: планируете ли вы настроить платформу данных?

Azure Data Explorer идеально подходит для интерактивной аналитики на основе высокоскоростных, разнородных необработанных данных. Чтобы понять, подходит ли вам Azure Data Explorer, используйте следующее дерево принятия решений:

Схема дерева принятия решений, которая поможет вам использовать Azure Data Explorer в зависимости от потребностей аналитики.

В чем уникальность обозревателя данных Azure?

Скорость получения данных, их разнообразие и объем

С помощью Azure Data Explorer можно принимать терабайты данных за считаные минуты с помощью очередного или потокового приема данных. Вы можете запрашивать петабайты данных, получая результаты в течение кратчайшего времени — от миллисекунды до секунды. Azure Data Explorer обеспечивает высокую скорость (миллионы событий в секунду), низкую задержку (несколько секунд) и линейный прием необработанных данных. Загружайте ваши данные в различных форматах и структурах, поступающие из различных конвейеров и источников.

Понятный язык запросов

Запрос Azure Data Explorer с помощью языка запросов Kusto (KQL) с открытым исходным кодом, созданного командой Azure Data Explorer. Этот язык прост в понимании и освоении, а также является высокопродуктивным. Можно использовать простые операторы и расширенную аналитику. Azure Data Explorer также поддерживает T-SQL.

Расширенная аналитика

Используйте Azure Data Explorer для анализа временных рядов с большим набором функций, включая добавление и вычитание временных рядов, фильтрацию, регрессию, обнаружение сезонности, геопространственный анализ, обнаружение аномалий, сканирование и прогнозирование. Функции временных рядов оптимизированы для обработки тысяч временных рядов в секундах. Обнаружение шаблонов легко с помощью подключаемых модулей кластера, которые могут диагностировать аномалии и выполнять анализ первопричин. Вы также можете расширить возможности Azure Data Explorer путем внедрения кода Python в запросы KQL.

Простой в использовании мастер

Функция получения данных делает процесс приема данных простым, быстрым и интуитивно понятным. Веб-интерфейс Azure Data Explorer предоставляет интуитивно понятный и интерактивный интерфейс, который помогает быстро приступить к приему данных, созданию таблиц базы данных и структурам сопоставления. Он обеспечивает однократный или непрерывный приём данных из различных источников и в различных форматах. Сопоставления таблиц и схема предлагаются автоматически, и их легко изменить.

Универсальная визуализация данных

Визуализация данных позволяет получить важные аналитические сведения. Azure Data Explorer предлагает встроенную визуализацию и панели мониторинга с поддержкой различных диаграмм и визуализаций. Она имеет встроенную интеграцию с Power BI, собственными соединителями для Grafana, Kibana и Databricks, а также поддержкой ODBC для Tableau, Sisense, Qlik и т. д.

Автоматические прием, обработка и экспорт данных

Azure Data Explorer поддерживает хранимые функции на стороне сервера, непрерывный прием и непрерывный экспорт в Azure Data Lake Storage. Также поддерживаются преобразования сопоставления на этапе приема данных на стороне сервера, политики обновления и заранее вычисленные периодические агрегаты в виде материализованных представлений.

Схема работы с обозревателем данных Azure

На схеме ниже показаны различные аспекты работы с обозревателем данных Azure.

Схема, показывая рабочий процесс Azure Data Explorer, от создания базы данных до приема, запроса и визуализации данных.

При взаимодействии с Azure Data Explorer обычно следуйте этому рабочему процессу:

Примечание.

Доступ к ресурсам Azure Data Explorer можно получить в пользовательском веб-интерфейсе Azure Data Explorer или с помощью пакетов SDK.

  1. Создайте базу данных: Создайте кластер и создайте одну или несколько баз данных в этом кластере. Каждый Azure Data Explorer кластер может содержать до 10 000 баз данных, и каждая база данных может содержать до 10 000 таблиц. Данные в каждой таблице хранятся в сегментах данных, которые также называются экстентами. Все данные автоматически индексируются и секционируются на основе времени приема. Эта архитектура хранилища означает, что вы можете хранить большое количество разнообразных данных, и вы получаете быстрый доступ при запросе к нему. Краткое руководство. Создание кластера и базы данных обозревателя данных Azure

  2. Прием данных. Загрузите данные в таблицы базы данных, чтобы к ним можно было выполнять запросы. Azure Data Explorer поддерживает несколько методов приема, каждый из которых имеет собственные целевые сценарии. К таким методам относятся средства приема, соединители и подключаемые модули для различных служб, управляемые конвейеры, программный прием с помощью пакетов SDK и прямой доступ к приему. Начните работу с функцией получения данных.

  3. Запрос базы данных: Azure Data Explorer использует язык запросов Kusto, который является экспрессивным, интуитивно понятным и высокопроизводительным языком запросов. Он обеспечивает плавный переход от простых одностроковых к сложным сценариям обработки данных, а также поддерживает запросы структурированных, полуструктурированных и неструктурированных (текстовых) данных. Язык имеет широкий спектр операторов запросов и функций, включая агрегирование, фильтрацию, функции временных рядов, геопространственные функции, соединения и объединения. KQL поддерживает запросы между кластерами и меж базами данных, а также предоставляет широкие возможности для анализа таких форматов, как JSON и XML. Кроме того, этот язык изначально поддерживает расширенную аналитику.

    Используйте веб-приложение для запуска, просмотра и совместного использования запросов и результатов. Вы также можете отправлять запросы программным способом (с помощью пакета SDK) или отправлять их в конечную точку REST API. Если вы знакомы с SQL, начните работу с шпаргалкой по переходу с SQL на Kusto и кратким руководством: запрос данных в веб-интерфейсе Azure Data Explorer.

  4. Визуализировать результаты: Используйте различные визуальные отображения данных в собственных Azure Data Explorer панелях мониторинга. Вы также можете отобразить результаты с помощью соединителей для некоторых ведущих служб визуализации, таких как Power BI и Grafana. Azure Data Explorer также поддерживает соединитель ODBC и JDBC для таких средств, как Tableau и Sisense.

Предоставьте отзыв

Чтобы поделиться отзывами о языке запросов Azure Data Explorer и Kusto, используйте следующие ресурсы:

Связанный контент

  • Last updated on