Получение данных из Центры событий Azure

Из этой статьи вы узнаете, как получить данные из Центров событий в базу данных KQL в Microsoft Fabric. Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий, которая может обрабатывать и направлять миллионы событий в секунду.

Чтобы передавать данные из Центров событий в аналитику в режиме реального времени, выполните два основных шага. Первый шаг выполняется в портал Azure, где вы определяете политику общего доступа в экземпляре концентратора событий и фиксируете сведения, необходимые для последующего подключения через эту политику.

Второй шаг выполняется в Аналитике в режиме реального времени в Fabric, где вы подключаете базу данных KQL к концентратору событий и настраиваете схему для входящих данных. На этом шаге создаются два подключения. Первое подключение, называемое "облачным подключением", подключает Microsoft Fabric к экземпляру концентратора событий. Второе подключение подключает "облачное подключение" к базе данных KQL. После завершения настройки данных события и схемы потоковые данные доступны для запроса с помощью набора запросов KQL.

Необходимые компоненты

• Подписка Azure. Создайте бесплатную учетную запись Azure
• Концентратор событий
• Рабочая область с емкостью с поддержкой Microsoft Fabric
• База данных KQL с разрешениями на редактирование

Предупреждение

Центр событий не может находиться за брандмауэром.

Настройка политики общего доступа в концентраторе событий

Прежде чем создать подключение к данным Центров событий, необходимо задать политику общего доступа (SAS) в концентраторе событий и собрать некоторые сведения, которые будут использоваться позже при настройке подключения. Дополнительные сведения о авторизации доступа к ресурсам Центров событий см. в разделе "Подписанные URL-адреса".

1. В портал Azure перейдите к экземпляру центров событий, к которому требуется подключиться.

2. В разделе Параметры выберите политики общего доступа

3. Нажмите кнопку +Добавить, чтобы добавить новую политику SAS или выберите существующую политику с разрешениями "Управление ".

   

4. Введите имя политики.

5. Выберите " Управление" и " Создать".

Сбор сведений о облачном подключении

В области политики SAS обратите внимание на следующие четыре поля. Вы можете скопировать эти поля и вставить его где-то, например блокнот, для использования на следующем шаге.

Справочник по полям	Поле	Description	Пример
a	Экземпляр Центров событий	Имя экземпляра концентратора событий.	iotdata
б	Политика SAS	Имя политики SAS, созданное на предыдущем шаге	DocsTest
в	Главный ключ	Ключ, связанный с политикой SAS	В этом примере начинается С PGGIISb009...
d	Подключение строковый первичный ключ	В этом поле нужно скопировать только пространство имен концентратора событий, которое можно найти в строка подключения.	eventhubpm15910.servicebus.windows.net

Оригинал

1. На нижней ленте базы данных KQL выберите " Получить данные".

   В окне "Получение данных" выбрана вкладка "Источник".

2. Выберите источник данных из доступного списка. В этом примере вы используете данные из Центров событий.

   

Конфигурирование

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.

   Примечание.

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. Выберите "Создать новое подключение" или выберите существующее подключение и перейдите к следующему шагу.

Создание подключения

1. Заполните параметры Подключение ion в соответствии со следующей таблицей:

   

   Параметр	Description	Пример значения
   Пространство имен концентратора событий	Поле d из приведенной выше таблицы.	eventhubpm15910.servicebus.windows.net
   концентратор событий;	Поле из приведенной выше таблицы. Имя экземпляра концентратора событий.	iotdata
   Connection	Чтобы использовать существующее облачное подключение между Fabric и Центрами событий, выберите имя этого подключения. В противном случае нажмите кнопку "Создать новое подключение".	Создание нового подключения
   Имя подключения	Имя нового облачного подключения. Это имя автоматически создается, но может быть перезаписан. Должен быть уникальным в клиенте Fabric.	Соединение
   Тип проверки подлинности	Заполняется автоматически. В настоящее время поддерживается только общий ключ доступа.	Ключ общего доступа
   Имя ключа общего доступа	Поле b из приведенной выше таблицы. Имя, присвоено политике общего доступа.	DocsTest
   Ключ общего доступа	Поле c из приведенной выше таблицы. Первичный ключ политики SAS.

2. Выберите Сохранить. Создается новое облачное подключение к данным между Fabric и Центрами событий.

Подключение облачное подключение к базе данных KQL

Независимо от того, создали ли вы новое облачное подключение или используете существующий, необходимо определить группу потребителей. При необходимости можно задать параметры, определяющие аспекты подключения между базой данных KQL и облачным подключением.

1. Заполните следующие поля в соответствии с таблицей:

   

   Параметр	Description	Пример значения
   Группа потребителей	Соответствующая группа потребителей, определенная в концентраторе событий. Дополнительные сведения см . в разделе "Группы потребителей". После добавления новой группы потребителей необходимо выбрать эту группу из раскрывающегося списка.	NewConsumer
   Дополнительные параметры
   Сжатие	Сжатие данных событий, поступающих из концентратора событий. Параметры : None (по умолчанию) или сжатие Gzip.	Не допускается
   Свойства системы событий	Дополнительные сведения см. в разделе "Свойства системы концентратора событий". При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую. См . свойства системы событий.
   Дата начала получения события	Подключение к данным извлекает существующие события концентратора событий, созданные с момента начала получения события. Он может извлекать только события, сохраненные концентратором событий, в зависимости от срока хранения. Часовой пояс — UTC. Если время не указано, по умолчанию используется время создания подключения к данным.

2. Нажмите кнопку "Далее", чтобы перейти на вкладку "Проверка".

Свойства системы событий

Системные свойства хранят свойства, заданные службой Центров событий во время перечисления события. Подключение данных к центру событий может внедрить выбранный набор системных свойств в данные, принятые в таблицу с учетом заданного сопоставления.

Свойство	Тип данных	Description
x-opt-enqueued-time	datetime	Время UTC, когда событие было заложено.
x-opt-sequence-number	длинный	Логический порядковый номер события в потоке секционирования концентратора событий.
x-opt-offset	строка	Смещение события относительно потока разделов концентратора событий. Идентификатор смещения является уникальным в пределах секции потока концентратора событий.
x-opt-publisher	строка	Имя издателя, если сообщение было отправлено в конечную точку издателя.
x-opt-partition-key	строка	Ключ секции соответствующего раздела, хранящего событие.

Проверка

Чтобы завершить процесс приема, нажмите кнопку Готово.

Необязательно.

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.

• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Данные считываются из концентратора событий в виде объектов EventData. Поддерживаемые форматы: CSV, JSON, PSV, SCsv, SOHsv TSV, TXT и TSVE.

• Изменение столбцов.

• Изучите дополнительные параметры на основе типа данных.

• Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

  • Отменить и получить новые данные: отбрасывает представленные данные и выполняет поиск новых событий.
  • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

Изменить столбцы

Примечание.

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
• Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления — новое или существующее.

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Создать сопоставление	Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца
Существующая таблица	Создать сопоставление	Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица	Существующее сопоставление	ничего

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".

Преобразования сопоставления можно выполнять в столбце строки типа или даты и времени с источником с типом данных int или long. Поддерживаются следующие преобразования сопоставлений:

• DateTimeFromUnixSeconds;
• DateTimeFromUnixMilliseconds;
• DateTimeFromUnixMicroseconds;
• DateTimeFromUnixNanoseconds.

Сопоставление схем для файлов Avro для центров событий

Одним из способов использования данных Центров событий является запись событий через Центры событий Azure в Хранилище BLOB-объектов Azure или Azure Data Lake служба хранилища. Затем вы можете получать файлы записи, как они записываются с помощью Подключение данных сетки событий.

Схема файлов записи отличается от схемы исходного события, отправляемого в Центры событий. Следует проектировать схему целевой таблицы с учетом этого различия. В частности, полезные данные события представлены в файле сбора в виде массива байтов, и этот массив не декодируется автоматически при подключении к данным Сетки событий в Azure Data Explorer. Дополнительные сведения о схеме файлов для данных записи Avro Центров событий см. в статье "Изучение захваченных файлов Avro" в Центры событий Azure.

Чтобы правильно декодировать полезные данные события:

1. Сопоставьте поле Body записанного события со столбцом типа dynamic в целевой таблице.
2. Примените политику обновления, которая преобразует массив байтов в удобочитаемую строку с помощью функции unicode_codepoints_to_string().

Дополнительные параметры на основе типа данных

Табличные (CSV, TSV, PSV):

• При приеме табличных форматов в существующей таблице можно выбрать> схему расширенного сохранения таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Если этот параметр проверка, сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр не является проверка, для входящих данных создаются новые столбцы независимо от структуры данных.

• Чтобы использовать первую строку в качестве имен столбцов, выберите "Дополнительно>первая строка" — заголовок столбца.

  

JSON:

• Чтобы определить деление данных JSON, выберите расширенные>вложенные уровни от 1 до 100.

• Если выбрать строки JSON расширенного>пропускания с ошибками, данные будут приема в формате JSON. Если оставить это поле проверка не выбрано, данные будут приема в формате multijson.

  

Итоги

В окне подготовки данных все три шага помечаются зеленым проверка пометками после успешного приема данных. Вы можете выбрать карта для запроса, удалить прием данных или просмотреть панель мониторинга сводки приема.

Связанный контент

• Запрос данных в наборе запросов KQL
• Визуализация данных в отчете Power BI
• Одна логическая копия