Добавление назначения Lakehouse в поток событий

В этой статье показано, как добавить lakehouse в качестве назначения в поток событий Microsoft Fabric.

Необходимые компоненты

Перед началом работы необходимо выполнить следующие предварительные требования:

• Получите доступ к рабочей области premium с разрешениями участника или выше, где находится ваш поток событий.
• Получите доступ к рабочей области premium с разрешениями участника или более поздних версий, где находится lakehouse.

Примечание.

• Максимальное количество источников и назначений для одного потока событий — 11.
• Хранение данных событий в потоке событий составляет 1 день, что может расширить его и сделать его настраиваемым в будущем.

Добавление lakehouse в качестве назначения

Если у вас есть lakehouse, созданный в рабочей области, выполните следующие действия, чтобы добавить lakehouse в поток событий в качестве места назначения:

1. Выберите новое назначение на ленте или "+" на холсте основного редактора, а затем выберите Lakehouse. Откроется экран конфигурации назначения Lakehouse.

2. Введите имя назначения события и заполните сведения о вашем lakehouse.

   

   1. Lakehouse: выберите существующий lakehouse из указанной рабочей области.

   2. Разностная таблица: выберите существующую разностную таблицу или создайте новую для получения данных.

      Примечание.

      При записи данных в таблицу Lakehouse применяется принудительное применение схемы. Это означает, что все новые записи в таблицу должны быть совместимы со схемой целевой таблицы во время записи, обеспечивая качество данных.

      Все записи выходных данных проецируются на схему существующей таблицы. При записи выходных данных в новую разностную таблицу схема таблицы создается на основе первой записи. Если входящие данные имеют дополнительный столбец по сравнению с существующей схемой таблицы, она записывается в таблицу без включения дополнительного столбца. И наоборот, если входящие данные отсутствуют в столбце по сравнению с существующей схемой таблицы, она записывается в таблицу со значением столбца, равным NULL.

   3. Формат входных данных: выберите формат данных (входных данных), отправляемых в lakehouse.

      Примечание.

      Поддерживаемые форматы входных событий : JSON, Avro и CSV (с заголовком).

   4. Обработка событий. Вы можете использовать редактор обработки событий, чтобы указать способ обработки данных перед отправкой в lakehouse. Выберите "Открыть обработчик событий" , чтобы открыть редактор обработки событий. Дополнительные сведения об обработке в режиме реального времени с помощью обработчика событий см. в разделе "Обработка данных о событиях с помощью редактора обработчика событий". Когда вы закончите работу с редактором, нажмите кнопку "Готово ", чтобы вернуться на экран конфигурации назначения Lakehouse .

      

3. Два режима приема доступны для назначения lakehouse. Выберите один из этих режимов, чтобы оптимизировать способ записи потоков событий Fabric в Lakehouse на основе вашего сценария.

   1. Строки для каждого файла — минимальное количество строк, которые лейкхаус приема в одном файле. Чем меньше минимальное количество строк, тем больше файлов Lakehouse создает во время приема. Минимальное значение — 1 строка. Максимальное значение — 2M строк на файл.

   2. Длительность — максимальная длительность приема одного файла. Чем дольше продолжительность, тем больше строк приема в файле. Минимальное значение составляет 1 минуту, а максимальное — 2 часа.

      

4. Нажмите кнопку "Добавить", чтобы добавить место назначения Lakehouse.

5. Ярлык оптимизации таблицы доступен в месте назначения Lakehouse. Это решение упрощает запуск задания Spark в записной книжке, которая объединяет эти небольшие потоковые файлы в целевой таблице Lakehouse.

   

6. Место назначения lakehouse появляется на холсте с индикатором состояния спиннинга. Система занимает несколько минут, чтобы изменить состояние приема.

   

Управление назначением

Изменение и удаление: можно изменить или удалить назначение потока событий с помощью области навигации или холста.

При нажатии кнопки "Изменить" откроется область редактирования в правой части основного редактора. Вы можете изменить конфигурацию по желанию, включая логику преобразования событий с помощью редактора обработчика событий.

Связанный контент

Сведения о добавлении других назначений в поток событий см. в следующих статьях:

• База данных KQL
• Рефлекс
• Пользовательское приложение

Чтобы добавить назначение в поток событий, ознакомьтесь со следующими статьями:

• Добавление источников и управление ими в поток событий
• Создание и управление потоком событий