Поделиться через


Видеоматериалы по потоку данных для сопоставления

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Ниже приведен список видеороликов с учебниками по потокам данных для сопоставления, созданных командой Фабрики данных Azure.

Поскольку в продукт постоянно вносятся обновления, некоторые функции были добавлены или отличаются в текущем пользовательском интерфейсе Фабрики данных Azure.

Начало работы

Getting started with mapping data flows in Azure Data Factory (Начало работы с потоками данных для сопоставления в Фабрике данных Azure)

Отладка и разработка потоков данных для сопоставления

Debugging and testing mapping data flows (Отладка и тестирование потоков данных для сопоставления).

Исследование данных

Data preview quick actions (Быстрые операции по предварительному просмотру данных)

Monitor and manage mapping data flow performance (Мониторинг и управление производительностью потока данных для сопоставления)

Расчет времени для измерения производительности

Отладка рабочих процессов для потоков данных

Обновленное представление мониторинга

Обзоры преобразований

Aggregate transformation (Преобразование "Статистическое выражение")

Alter row transformation (Преобразование "Изменение строк")

Derived Column transformation (Преобразование "Производственный столбец")

Join transformation (Преобразование "Соединение")

Шаблон самосоединения

Преобразование "Уточняющий запрос"

Lookup Transformation Updates & Tips (Обновление и советы по использованию преобразования "Уточняющий запрос")

Pivot transformation (Преобразование "Сведение")

Pivot transformation: mapping drifted columns (Преобразование "Сведение": сопоставление смещенных столбцов)

Select transformation (Выбор преобразования)

Выбор преобразования: сопоставление на основе правил

Выбор преобразования: большие наборы данных

Surrogate key transformation (Преобразование суррогатного ключа)

Union transformation (Преобразование "Объединение множеств")

Unpivot transformation (Преобразование "Отмена сведения")

Window Transformation (Преобразование "Окно")

Filter Transformation (Преобразование "Фильтр")

Преобразование "Условное разбиение"

Exists Transformation (Преобразование "Exists")

Динамическое объединение и динамический поиск

Преобразование в плоскую структуру

Потоки

Преобразование в строку

Преобразование внешних вызовов

Преобразование иерархических данных

Ранжирование данных

Кэшированный поиск

Контекст строки через преобразование окна

Преобразование "синтаксический анализ"

Преобразование сложных типов данных

Передача выходных данных в следующее действие

Преобразование в строку

Преобразование внешних вызовов

Преобразование подтверждения

Занесение в журнал строк с ошибками подтверждения

Нечеткое соединение

Источник и приемник

Reading and writing JSONs (Чтение и запись элементов JSON)

Parquet and delimited text files (Parquet и текстовые файлы с разделителями)

CosmosDB connector (Соединитель CosmosDB)

Infer data types in delimited text file (Вывод типов данных в текстовых файлах с разделителями)

Reading and writing partitioned file (Чтение и запись секционированных файлов)

Transform and create multiple SQL tables (Преобразование и создание нескольких таблиц SQL)

Partition your files in the data lake (Разбиение файлов на разделы в озере данных)

Data warehouse loading pattern (Шаблон загрузки данных в хранилище данных)

Параметры вывода данных в файле озера данных

Оптимизация потоков данных для сопоставления

Data lineage (Происхождение данных)

Iterate files with parameters (Итерация файлов с параметрами)

Decrease start-up times (Уменьшение времени запуска)

SQL DB performance (Производительность базы данных SQL)

Ведение журналов и аудит

Dynamically optimize data flow cluster size at runtime (Динамическая оптимизация размера кластера потока данных во время выполнения)

Оптимизация времени запуска для потоков данных

Среды выполнения Azure Integration Runtime для потоков данных

Быстрое время запуска кластера с использованием Azure IR

Сценарии потоков данных для сопоставления

Fuzzy lookups (Нечеткие уточняющие запросы)

Staging data pattern (Шаблон промежуточных данных)

Clean addresses pattern (Шаблон чистых адресов)

Deduplication (Дедупликация)

Merge files (Объединить файлы)

Slowly changing dimensions type 1: overwrite (Типы медленно меняющихся измерений 1: перезапись)

Slowly changing dimensions type 2: history (Типы медленно меняющихся измерений 2: журнал)

Fact table loading (Загрузка таблицы фактов)

Transform SQL Server on-prem with delta data loading pattern (Преобразование локальной модели SQL Server с шаблоном загрузки разностных данных)

Определение параметров

Distinct row & row counts (Отдельные строки и количество строк)

Handling truncation errors (Обработка ошибок усечения)

Intelligent data routing (Интеллектуальная маршрутизация данных)

Data masking for sensitive data (Маскирование конфиденциальных данных)

Логические модели и физические модели

Detect source data changes (Обнаружение изменений исходных данных)

Медленно изменяющееся измерение универсального типа 2

Удаление строк в целевом объекте, если они отсутствуют в исходном

Инкрементая загрузка данных с помощью Фбарики данных Azure и Базы данных SQL Azure

Преобразование данных Avro из Центров событий с помощью Parse и Flatten

Выражения для потока данных

Выражения для даты и времени

Разделение массивов и оператор Case

Использование интерполяции строк и параметров

Поток данных введение скрипта: копирование, вставка, фрагменты

ADF Data Quality Expressions (Выражения для проверки качества данных в ADF)

Агрегатная функция collect

Использование динамических выражений в качестве параметров

Определяемые пользователем функции

Метаданные

Правила проверки метаданных