Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Azure Data Explorer можно использовать в качестве выходных данных для анализа больших объемов разнообразных данных из любого источника данных, таких как веб-сайты, приложения и устройства Интернета вещей (IoT). Azure Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии. Это помогает обрабатывать множество потоков данных, которые выдает современное программное обеспечение, чтобы можно было собирать, хранить и анализировать данные. Эти данные используются для диагностики, мониторинга, формирования отчетов, машинного обучения и дополнительного анализа.
Azure Data Explorer поддерживает несколько методов инжестации, включая соединители для общих служб, таких как Центры событий Azure, программную инжестацию через SDK, такие как .NET и Python, и прямой доступ к движку для целей исследования. Azure Data Explorer интегрируется с службами аналитики и моделирования для дополнительного анализа и визуализации данных.
Дополнительные сведения о Azure Data Explorer см. в статье "Что такое Azure Data Explorer?"
Дополнительные сведения о создании кластера Azure Data Explorer с помощью портала Azure см. в кратком руководстве по созданию кластера и базы данных Azure Data Explorer.
Замечание
Azure Data Explorer из Azure Stream Analytics поддерживает выходные данные в Azure Synapse Data Explorer. Чтобы записать в кластеры в Azure Synapse Data Explorer, укажите URL-адрес кластера в области конфигурации выходных данных Azure Data Explorer в задании Azure Stream Analytics.
Конфигурация вывода
В следующей таблице перечислены имена свойств и их описания для создания выходных данных Azure Data Explorer.
| Имя свойства | Description |
|---|---|
| Псевдоним выходных данных | Понятное имя, используемое в запросах для направления выходных данных запроса в эту базу данных. |
| Подписка | Подписка Azure, которую вы хотите использовать для кластера. |
| Cluster | Уникальное имя, определяющее кластер. Доменное имя <region.kusto.windows.net> добавляется к указанному имени кластера. Имя может содержать только строчные буквы и цифры. Он должен содержать от 4 до 22 символов. |
| База данных | Имя базы данных, в которой вы отправляете выходные данные. Имя базы данных должно быть уникальным в пределах кластера. |
| Authentication | Управляемое удостоверение Microsoft Entra ID, что позволяет вашему кластеру легко получить доступ к другим ресурсам, защищенным Microsoft Entra, таким как Azure Key Vault. Учетная запись управляется платформой Azure и не требует настройки или ротации секретов. Конфигурация управляемой идентификации в настоящее время поддерживается только для включения ключей, которые управляются клиентом для вашего кластера. |
| Таблица | Имя таблицы, в которой записываются выходные данные. Имя таблицы чувствительно к регистру. Схема этой таблицы должна точно соответствовать количеству полей и их типам, создаваемым выходными данными задания. |
Partitioning
Секционирование должно быть включено и основано на предложении PARTITION BY в запросе. Если опция "Наследовать секционирование" включена, она наследует входное секционирование для полностью параллелизуемых запросов.
Когда следует использовать Azure Stream Analytics и Azure Data Explorer
Характеристики Azure Stream Analytics:
- Движок потоковой обработки: непрерывная потоковая аналитика в режиме реального времени
- Основанный на работе
- Окно обратного просмотра от 1 миллисекунда до 7 дней для темпоральной аналитики в памяти и потоковой обработки
- Прием из Центров событий Azure и Центра Azure IoT с подсекундной задержкой
Характеристики Azure Data Explorer включают:
- Аналитический механизм: по запросу, интерактивная аналитика в режиме реального времени
- Поглощение потоковых данных в постоянное хранилище данных, а также возможности выполнения запросов
- Прием данных из Центров событий, Центра Интернета вещей, хранилища BLOB-объектов Azure, Azure Data Lake Storage, Kafka, Logstash, Spark и Фабрики данных Azure
- Задержка от 10 секунд до 5 минут для рабочих нагрузок с высокой пропускной способностью
- Простое преобразование данных с помощью политики обновления в процессе приема данных
Вы можете значительно увеличить область аналитики в режиме реального времени с помощью Azure Stream Analytics и Azure Data Explorer вместе. Ниже приведены некоторые сценарии.
- Stream Analytics определяет аномалии в режиме реального времени, а Azure Data Explorer помогает определить, как и почему они произошли с помощью интерактивного изучения.
- Stream Analytics десериализует входящие потоки данных для использования в Azure Data Explorer (например, загружать формат Protobuf с помощью пользовательского десериализатора или пользовательских двоичных форматов данных).
- Stream Analytics может агрегировать, фильтровать, дополнять и преобразовывать входящие потоки данных для использования в Azure Data Explorer.
Другие сценарии и ограничения
- Имя столбцов и типов данных должно соответствовать запросу SQL Azure Stream Analytics и таблице Azure Data Explorer. Сравнение является чувствительным к регистру.
- Столбцы, которые существуют в кластерах Azure Data Explorer, но отсутствуют в Azure Stream Analytics, игнорируются. Столбцы, отсутствующие в Azure Stream Analytics, вызывают ошибку.
- Порядок столбцов в запросе Azure Stream Analytics не имеет значения. Схема таблицы Azure Data Explorer определяет порядок.
- Azure Data Explorer имеет политику агрегирования (пакетной обработки) для приема данных, которая предназначена для оптимизации процесса приема данных. Политика настроена на 5 минут, 1000 элементов или 1 ГБ данных по умолчанию, поэтому может возникнуть задержка. Чтобы уменьшить задержку, включите прием потоковой передачи в кластере, а затем таблицу или базу данных, выполнив действия, описанные в разделе "Настройка приема потоковой передачи в кластере Azure Data Explorer". Сведения о параметрах агрегирования см. в политике IngestionBatching.