Типы преобразования в Фабрике данных Azure
Потоки данных для сопоставления обеспечивают различные типы преобразования, которые позволяют изменять данные. Они делятся на следующие категории:
| Имя категории | Description |
|---|---|
| Преобразования модификаторов схемы | Эти типы преобразований вносят изменения в назначение потока данных путем создания новых столбцов на основе действия преобразования. Примером этого является "Преобразование производного столбца", которое создает новый столбец на основе операций, выполняемых над существующим столбцом. |
| Преобразования модификаторов ряда | Эти типы преобразований влияют на то, как строки представлены в назначении потока данных. Примером этого является преобразование "Сортировка", которое упорядочивает данные. |
| Множественные преобразования ввода/вывода | Эти типы преобразований формируют новые конвейеры данных или объединяют конвейеры в один. Примером этого является преобразование "Объединение", объединяющее несколько потоков данных. |
Ниже приведен список преобразований, доступных для потоках данных для сопоставления.
| Имя | Категория | Description |
|---|---|---|
| Общая | Модификатор схемы | Определяет различные типы агрегирования, такие как SUM, MIN, MAX и COUNT, сгруппированные по существующим или вычисляемым столбцам. |
| Изменение строки | Модификатор ряда | Устанавливает политики вставки, удаления, обновления и вставки с обновлением для ряда. В качестве выражений можно добавить условия "один ко многим". Эти условия следует указывать в порядке приоритета, так как для каждой строки будет выбрана политика, заданная первым из подходящих выражений сопоставления. Каждое из этих условий может вызвать вставку, обновление, удаление или вставку с обновлением одной или нескольких строк. С помощью инструкции изменения строк можно создавать в базе действия DDL и DML. |
| Условное разделение | Множественные преобразования ввода/вывода | Перенаправляет строки данных в различные потоки на основе условий сопоставления. |
| Производный столбец | Модификатор схемы | Создает новые столбцы или изменяет существующие поля с помощью языка выражений для потока данных. |
| Exists | Множественные преобразования ввода/вывода | Проверяет, существуют ли ваши данные в другом источнике или потоке. |
| Фильтр | Модификатор ряда | Фильтрует строку на основе условия. |
| Выровнять | Модификатор схемы | Берет значения массива внутри иерархических структур, таких как JSON, и разворачивает их в отдельные строки. |
| Присоединение | Множественные преобразования ввода/вывода | Объединяет данные из двух источников или потоков. |
| Поиск | Множественные преобразования ввода/вывода | Позволяет ссылаться на данные из другого источника. |
| Новая ветвь | Множественные преобразования ввода/вывода | Применяет нескольких наборов операций и преобразований к одному потоку данных. |
| Сводка | Модификатор схемы | Агрегация, в которой один или несколько столбцов группировки имеют отдельные значения строк, преобразованные в отдельные столбцы. |
| Select | Модификатор схемы | Создает псевдонимы столбцов и потоков, а также удаляет или перегруппирует столбцы. |
| Приемник | - | Место назначения для потока данных. |
| Сортировать | Модификатор ряда | Сортирует входящие строки в текущем потоке данных. |
| Источник | - | Источник данных для потока данных. |
| Суррогатный ключ | Модификатор схемы | Добавляет приращение произвольного значения ключа. |
| Union | Множественные преобразования ввода/вывода | Объединяет несколько потоков данных по вертикали. |
| отмена свертывания | Модификатор схемы | Сводит столбцы в строчные значения. |
| Window | Модификатор схемы | Агрегирует данные в столбцах по окнам в потоке данных. |
Построитель выражений потоков данных
Для некоторых преобразований, которые можно настроить, доступен Построитель выражений потока данных, который позволяет настраивать функции преобразования с помощью столбцов, полей, переменных, параметров и функций из потока данных в этих полях.
Для создания выражений используйте построитель выражений. Чтобы открыть его, щелкните в текстовом поле выражения в окне преобразования. Иногда при выборе столбцов для преобразования отображается вариант Computed Column (Вычисляемый столбец). Если щелкнуть его, также запустится построитель выражений.
По умолчанию построитель выражений открывается в режиме текстового редактора. Функция автозавершения считывает данные из всей объектной модели Потока данных Фабрики данных Azure с проверкой синтаксиса и выделением.