Прием данных из Azure Stream Analytics в Azure Data Explorer

Важно!

Этот соединитель можно использовать в аналитике в режиме реального времени в Microsoft Fabric. Используйте инструкции в этой статье со следующими исключениями:

• При необходимости создайте базы данных с помощью инструкций из статьи Создание базы данных KQL.
• При необходимости создайте таблицы с помощью инструкций из статьи Создание пустой таблицы.
• Получите URI запроса или приема с помощью инструкций в разделе Копирование URI.
• Выполнение запросов в наборе запросов KQL.

Azure Data Explorer поддерживает прием данных из Azure Stream Analytics. Azure Stream Analytics — это подсистема аналитики в режиме реального времени и сложной обработки событий, предназначенная для одновременной обработки больших объемов быстрой потоковой передачи данных из нескольких источников.

Задание Azure Stream Analytics состоит из источника входных данных, запроса преобразования и исходящего подключения. Вы можете создавать, изменять и тестировать задания Stream Analytics с помощью портал Azure, шаблонов Azure Resource Manager (ARM), Azure PowerShell, API .NET, REST API, Visual Studio и редактора кода Stream Analytics.

Из этой статьи вы узнаете, как использовать задание Stream Analytics для сбора данных из концентратора событий и их отправки в кластер Azure Data Explorer с помощью портал Azure или шаблона ARM.

Предварительные требования

• Создайте кластер и базу данных, а также таблицу.

• Создайте концентратор событий, как описано в следующих разделах руководства по Azure Stream Analytics:

  • Создание концентратора событий
  • Предоставление доступа к концентратору событий и получение строки подключения

  Совет

  Для тестирования мы рекомендуем скачать приложение генератора событий телефонных вызовов из Центра загрузки Майкрософт или получить исходный код на GitHub. Вы настроите задание Azure Stream Analytics для извлечения данных из концентратора событий и их передачи в выходной соединитель Azure Data Explorer.

Создание выходного подключения к Azure Data Explorer

Выполните следующие действия, чтобы создать выходные данные Azure Data Explorer для задания Stream Analytics с помощью портала Azure или шаблона ARM. Подключение используется заданием Stream Analytics для отправки данных в указанную таблицу Data Explorer Azure. После создания и запуска задания данные, поступающие в задание, принимаются указанной целевой таблицей.

Важно!

• Выходной соединитель Azure Data Explorer поддерживает только проверку подлинности с помощью управляемого удостоверения. При создании соединителя разрешения монитора базы данных и получателя базы данных предоставляются управляемому удостоверению задания Azure Stream Analytics.
• При настройке выходного соединителя Azure Data Explorer вы указываете целевой кластер, базу данных и имя таблицы. Для успешного приема все столбцы, определенные в запросе Azure Stream Analytics, должны соответствовать именам и типам столбцов в таблице azure Data Explorer. Имена столбцов чувствительны к регистру и могут быть в любом порядке. Если в запросе Azure Stream Analytics есть столбцы, которые не сопоставляются со столбцами в таблице Azure Data Explorer, возникает ошибка.

Примечание

• Поддерживаются все входные данные Azure Stream Analytics. Соединитель преобразует входные данные в формат CSV, а затем импортирует данные в указанную таблицу Azure Data Explorer.
• В Azure Data Explorer настроена политика агрегирования (пакетной обработки) для приема данных, предназначенных для оптимизации процесса. По умолчанию для политики настроены 5 минут, 1000 элементов или 1 ГБ данных по умолчанию, поэтому вы можете столкнуться с задержкой. Сведения о настройке параметров агрегирования см. в статье Политика пакетной обработки.

Портал Azure

Прежде чем начать, убедитесь, что у вас есть существующее задание Stream Analytics, или создайте новое, а затем выполните следующие действия, чтобы создать подключение к Azure Data Explorer.

1. Войдите на портал Azure.

2. На портале Azure щелкните Все ресурсы и выберите задание Stream Analytics.

3. В разделе Топология задания выберите Выходные данные.

4. Выберите Добавить>Data Explorer Azure.

   

5. Заполните форму, указав следующую информацию, и щелкните Сохранить.

   Примечание

   Вы можете использовать следующие параметры для указания кластера и базы данных:

   • Подписка: щелкните Выбрать Azure Data Explorer из подписок, а затем выберите свою подписку, кластер и базу данных.
   • Вручную: выберите Указать параметры Azure Data Explorer вручную, а затем укажите URI кластера и базу данных.

   Имя свойства	Описание
   Псевдоним выходных данных	Понятное имя, которое используется в запросах для направления выходных данных запроса в соответствующую базу данных.
   Подписка	Выберите подписку Azure, в которой находится кластер.
   Кластер	Уникальное имя, которое определяет ваш кластер. К введенному имени кластера добавляется имя домена [region].kusto.windows.net. Имя должно содержать только строчные буквы и цифры. Его длина должна составлять от 4 до 22 символов.
   URI кластера	URI приема данных кластера. Вы можете указать URI для конечных точек приема данных в Azure Data Explorer или Azure Synapse Data Explorer.
   База данных	Имя базы данных, в которую отправляются выходные данные. Имя базы данных должно быть уникальным в пределах кластера.
   Проверка подлинности	Управляемое удостоверение Microsoft Entra, которое позволяет кластеру легко получать доступ к другим Microsoft Entra защищенным ресурсам. Удостоверение управляется платформой Azure и не требует предоставления или ротации каких-либо секретов. Конфигурация управляемого удостоверения позволяет использовать ключи, управляемые клиентом, для вашего кластера.
   Таблица	Имя таблицы, в которую отправляются выходные данные. Имена столбцов и типы данных в выходных данных Azure Stream Analytics должны соответствовать схеме таблицы azure Data Explorer.

   

Шаблон Azure Resource Manager

В следующем примере показан шаблон Azure Resource Manager для добавления выходного соединителя Azure Data Explorer. Вы можете изменить и развернуть шаблон на портале Azure, чтобы создать соединитель.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Примечание

При создании выходного подключения Azure Data Explorer с использованием шаблона ARM разрешения на управление удостоверением задания Streaming Analytics для базы данных Azure Data Explorer должны быть предоставлены вручную.

См. также

• Запрос данных в Azure Data Explorer
• Запуск решения "Функции Azure" из заданий Azure Stream Analytics