Обзор процесса преобразования потоков данных для картирования

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Потоки данных доступны как в конвейерах Фабрики данных Azure, так и в конвейерах Azure Synapse Analytics. Эта статья относится к потокам данных для маппинга. Если вы не знакомы с преобразованиями, ознакомьтесь с вводной статьей "Преобразование данных с помощью сопоставления потоков данных".

Ниже приведен список преобразований, которые в настоящее время поддерживаются в потоке данных для сопоставления. Щелкните каждое из этих преобразований, чтобы получить сведения о его настройке.

Имя.	Категория	Описание
Общая	Модификатор схемы	Определяет различные типы агрегирования, такие как SUM, MIN, MAX и COUNT, сгруппированные по существующим или вычисляемым столбцам.
Изменение строки	Модификатор ряда	Установите политики вставки, удаления, обновления и вставки с обновлением на строки.
Assert	Модификатор ряда	Задайте правила утверждения для каждой строки.
Актёрский состав	Модификатор схемы	Изменение типов данных столбцов с помощью проверки типов.
Условное разделение	Множественные преобразования ввода/вывода	Перенаправляет строки данных в различные потоки на основе условий сопоставления.
Производный столбец	Модификатор схемы	Создает новые столбцы или изменяет существующие поля с помощью языка выражений для потока данных.
Внешний вызов	Модификатор схемы	Вызов внешних конечных точек построчно.
Exists	Множественные входы/выходы	Проверяет, существуют ли ваши данные в другом источнике или потоке.
Фильтр	Модификатор ряда	Фильтрует строку на основе условия.
Выравнивать	Форматировщики	Берет значения массива внутри иерархических структур, таких как JSON, и разворачивает их в отдельные строки.
Потоко	Потоки	Создание и включение пользовательской логики преобразования с возможностью повторного использования.
Присоединение	Множественные входы/выходы	Объединяет данные из двух источников или потоков.
Поиск	Множественные вводы/выводы	Ссылка на данные из другого источника.
Новая ветвь	Множественные входы/выходы	Примените несколько наборов операций и преобразований к тому же потоку данных.
Анализ	Форматировщики	Анализ текстовых столбцов в потоке данных, которые могут иметь формат строк JSON, текста с разделителями или текста XML.
Поворот	Модификатор схемы	Агрегирование, где уникальные значения строк из одного или нескольких столбцов группирования преобразуются в отдельные столбцы.
Rank	Модификатор схемы	Создание упорядоченного ранжирования на основе условий сортировки.
Select	Модификатор схемы	Создание псевдонимов для столбцов и потоков, удаление столбцов и изменение их порядка.
Приемник	-	Место назначения для потока данных.
Сортировать	Модификатор ряда	Сортировка входящих строк в текущем потоке данных.
Источник	-	Источник данных для потока данных.
Stringify	Форматировщики	Преобразование сложных типов в простые строки
Суррогатный ключ	Модификатор схемы	Добавить произвольное некорпоративное значение ключа с увеличением.
Юнион	Множественные преобразования ввода/вывода	Объединение нескольких потоков данных по вертикали.
отмена свертывания	Модификатор схемы	Преобразование столбцов в строки.
Window	Модификатор схемы	Агрегирует данные в столбцах по окнам в потоке данных.