Видео уроки по сопоставлению потока данных

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

Ниже приведен список учебников по сопоставлению потоков данных, созданных командой Azure Data Factory.

В связи с постоянным обновлением продукта, некоторые функции добавлены или имеют изменённую функциональность в текущем пользовательском интерфейсе Azure Data Factory.

Начало работы

Начало работы с созданием потоков данных в Azure Data Factory

Отладка и разработка потоков данных для сопоставления

Debugging and testing mapping data flows (Отладка и тестирование потоков данных для сопоставления).

Исследование данных

Data preview quick actions (Быстрые операции по предварительному просмотру данных)

Monitor and manage mapping data flow performance (Мониторинг и управление производительностью потока данных для сопоставления)

Временные параметры бенчмарков

Отладка рабочих процессов для потоков данных

Обновленное представление мониторинга

Обзоры преобразований

Агрегатное преобразование

Alter row transformation (Преобразование "Изменение строк")

Derived Column transformation (Преобразование "Производственный столбец")

Join transformation (Преобразование "Соединение")

Шаблон самосоединения

Преобразование поиска

Обновления и советы по преобразованию поиска

Pivot Transformation (Поворотное преобразование)

Pivot transformation: mapping drifted columns (Преобразование "Сведение": сопоставление смещенных столбцов)

Select transformation (Выбор преобразования)

Выбор преобразования: сопоставление на основе правил

Выбор преобразования: большие наборы данных

Surrogate key transformation (Преобразование суррогатного ключа)

Преобразование объединения

Unpivot transformation (Преобразование "Разворачивание данных")

Преобразование окна

Преобразование фильтра

Условное разбиение данных

Exists Transformation (Преобразование "Exists")

Динамическое объединение и динамический поиск

Преобразование в плоскую структуру

Потоки

Строковая трансформация

Преобразование внешних вызовов

Преобразование иерархических данных

Ранжирование данных

Кэшированный поиск

Контекст строк через оконное преобразование

Преобразование синтаксического разбора

Преобразование сложных типов данных

Передача выходных данных в следующее действие

Строковая трансформация

Преобразование внешних вызовов

Проверка преобразования

Занесение в журнал строк с ошибками подтверждения

Нечеткое соединение

Источник и приемник

Reading and writing JSONs (Чтение и запись элементов JSON)

Parquet and delimited text files (Parquet и текстовые файлы с разделителями)

CosmosDB connector (Соединитель CosmosDB)

Infer data types in delimited text files (Вывод типов данных в текстовых файлах с разделителями)

Reading and writing partitioned file (Чтение и запись секционированных файлов)

Transform and create multiple SQL tables (Преобразование и создание нескольких таблиц SQL)

Разделите ваши файлы в хранилище данных

Data warehouse loading pattern (Шаблон загрузки данных в хранилище данных)

Параметры вывода файлов в озере данных

Оптимизация потоков данных для сопоставления

Происхождение данных

Iterate files with parameters (Итерация файлов с параметрами)

Decrease start-up times (Уменьшение времени запуска)

SQL DB performance (Производительность базы данных SQL)

Ведение журналов и аудит

Dynamically optimize data flow cluster size at runtime (Динамическая оптимизация размера кластера потока данных во время выполнения)

Оптимизация времени запуска для потоков данных

Azure Integration Runtime для потоков данных

Быстрое время запуска кластера с Azure IR

Сопоставление сценариев потоков данных

Fuzzy lookups (Нечеткие поисковые запросы)

Шаблон данных промежуточной обработки

Clean addresses pattern (Шаблон чистых адресов)

Дедупликация

Merge files (Объединить файлы)

Slowly changing dimensions type 1: overwrite (Типы медленно меняющихся измерений 1: перезапись)

Медленно изменяющиеся измерения типа 2: история

Fact table loading (Загрузка таблицы фактов)

Трансформируйте SQL Server на локальном сервере с паттерном дельта-загрузки данных

Определение параметров

Distinct row & row counts (Отдельные строки и количество строк)

Handling truncation errors (Обработка ошибок усечения)

Intelligent data routing (Интеллектуальная маршрутизация данных)

Data masking for sensitive data (Маскирование конфиденциальных данных)

Логические модели и физические модели

Detect source data changes (Обнаружение изменений исходных данных)

Медленно изменяющееся измерение универсального типа 2

Удаление строк в целевом объекте, если они отсутствуют в исходном

Инкрементная загрузка данных с помощью Azure Data Factory и Azure SQL DB

Преобразование данных Avro из Центров событий с помощью Parse и Flatten

Выражения для потока данных

Выражения для даты и времени

Разделение массивов и оператор Case

Увлекательное использование интерполяции строк и параметров

Data Flow скрипт интро: копирование, вставка, фрагменты кода

ADF Data Quality Expressions (Выражения для проверки качества данных в ADF)

Агрегатная функция collect

Использование динамических выражений в качестве параметров

Определяемые пользователем функции

Метаданные

Правила проверки метаданных