Подготовка данных с помощью преобразования данных

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Подготовка данных на фабрике данных позволяет создавать интерактивные смешанные запросы Power Query непосредственно в ADF, а затем выполнять их в большом масштабе внутри конвейера ADF.

Создание действия Power Query

Существует два способа создания Power Query в Фабрике данных Azure. Первый способ — на панели ресурсов фабрики нажать на значок "+" и выбрать Power Query.

Другой способ доступен на панели действий на рабочем пространстве конвейера. Откройте раскрывающееся меню Power Query и переместите действие Power Query на холст.

Создать активность Power Query по обработке данных

Добавьте Исходный набор данных для гибридного запроса Power Query. Можно выбрать существующий набор или создать новый. После сохранения вашего смешивания вы можете создать конвейер, добавить действие обработки данных Power Query в ваш конвейер и выбрать набор данных приемника, чтобы указать ADF, куда разместить данные. Хотя допускается выбор одного или нескольких исходных наборов данных, но в настоящее время разрешено указывать только один приемник. Указание контрольного набора данных необязательно, но требуется хотя бы один исходный набор данных.

Нажмите Создать, чтобы открыть редактор комбинаций Power Query Online.

Сначала необходимо выбрать источник данных для редактора компоновки данных.

После завершения создания Power Query его можно сохранить, а затем создать конвейер. Необходимо добавить mashup в качестве активности в ваш конвейер. Это происходит, когда вы создаете или выбираете конечный набор данных для размещения ваших данных. Вы также можете задать свойства набора данных приемника, нажав вторую кнопку справа от набора данных приемника. Не забудьте изменить параметр секции в разделе "Оптимизация" на "Один раздел", если требуется получить только один выходной файл.

Создайте свою обработку данных в Power Query с помощью подготовки данных без написания кода. Список доступных функций см. в статье о функциях преобразования. ADF преобразует сценарий M в сценарий потока данных, чтобы можно было выполнять запросы Power Query в большом масштабе с использованием потока данных Фабрики данных Azure в среде Spark.

Выполнение и отслеживание задачи Power Query по обработке данных

Чтобы выполнить отладочный запуск конвейера для действия Power Query, нажмите Отладка на холсте конвейера. После публикации вашего конвейера Запустить сейчас выполняет запуск по требованию последнего опубликованного конвейера. Работу конвейеров Power Query можно планировать с помощью всех существующих триггеров Фабрики данных Azure.

Перейдите на вкладку Монитор, чтобы визуализировать выходные данные выполнения запущенного триггером действия Power Query.

Связанный контент

Узнайте, как создать поток данных для сопоставления.