Действие Power Query в Фабрике данных Azure
Действие Power Query позволяет создавать и выполнять гибридные веб-приложения Power Query для масштабной первичной обработки данных в конвейере Фабрики данных. Вы можете создать новое гибридное веб-приложение Power Query из меню "Создать ресурсы" или добавить в конвейер действие Power.
Вы можете работать непосредственно внутри гибридного редактора Power Query, чтобы выполнить интерактивное исследование данных, а затем сохранить работу. После завершения можно выполнить действие Power Query и добавить его в конвейер. Фабрика данных Azure автоматически масштабирует его и введет в эксплуатацию первичную обработку данных, используя среду Spark для потока данных Фабрики данных Azure.
Создание действия Power Query с помощью пользовательского интерфейса
Чтобы использовать действие Power Query в конвейере, выполните следующие шаги:
Выполните поиск Power Query на панели "Действия" конвейера и перетащите действие Power Query на холст конвейера.
Выберите новое действие Power Query на панели холста, если оно еще не выбрано, и перейдите на вкладку Параметры, чтобы изменить сведения о нем.
Выберите существующее действие Power Query и щелкните "Открыть" или нажмите кнопку "Создать", чтобы создать Power Query в редакторе Power Query.
Выберите существующий набор данных или нажмите кнопку "Создать", чтобы определить новый. Используйте широкие возможности Power Query непосредственно в интерфейсе редактирования конвейера, чтобы преобразовать набор данных нужным образом. Можно добавить ряд запросов из нескольких наборов данных в редакторе и использовать их в дальнейшем.
После определения одного или нескольких действий Power Query на предыдущем шаге можно также указать расположения приемника для любого/всех/ни одного из них.
Вы также можете использовать выходные данные действия Power Query в качестве входных данных для других действий. Ниже приведен пример для каждого действия ForEach, которое ссылается на выходные данные ранее определенного Power Query для его свойства "Элемент". Его элементы поддерживают динамическое содержимое, где можно ссылаться на любые выходные данные из Power Query, используемых в качестве входных.
Отображаются все выходные данные действий и их можно использовать при определении динамического содержимого, выбрав их в области построителя выражений конвейера.
Преобразование в скрипт потока данных
Чтобы добиться масштабирования с помощью действия Power Query, Фабрика данных Azure преобразует скрипт M в скрипт потока данных, чтобы можно было выполнять Power Query в большом масштабе с помощью среды Spark для потока данных Фабрики данных Azure. Создайте поток данных для первичной обработки с помощью подготовки данных без кода. Список доступных функций см. в статье о функциях преобразования.
Настройки
- Power Query. Выберите существующее действие Power Query для выполнения или создайте новое.
- Выполнить в Azure IR. Выберите существующую Azure Integration Runtime, чтобы определить вычислительную среду для Power Query, или создайте новое.
- Тип вычислений. При выборе среды выполнения интеграции автоматического разрешения по умолчанию можно выбрать тип вычислений, применяемый к вычислительным кластерам Spark для выполнения Power Query.
- Число ядер. При выборе среды выполнения интеграции автоматического разрешения по умолчанию можно количество вычислений, применяемый к вычислительным кластерам Spark для выполнения Power Query.
Приемник
Выберите набор данных, который вы хотите использовать для размещения преобразованных данных после выполнения скрипта Power Query M в Spark. Дополнительные сведения о настройке приемников см. в документации по приемникам потока данных.
Вы можете передавать выходные данные в несколько назначений. Нажмите кнопку со знаком "плюс" (+), чтобы добавить дополнительные приемники в запрос. Можно также направить отдельные выходные данные запроса из действия первичной обработки Power Query в различные назначения.
Сопоставление
На вкладке "Сопоставление" можно настроить сопоставление столбцов из выходных данных действия Power Query с целевой схемой выбранного приемника. Дополнительные сведения о сопоставлении столбцов см. в документации по сопоставлению приемников потока данных.
Связанный контент
Дополнительные сведения об основных понятиях первичной обработки данных с помощью Power Query в Фабрике данных Azure