Описание методов преобразования в Фабрике данных Azure
Фабрика данных Azure имеет разнообразные методы для приема данных, а также предоставляет ряд методов для выполнения преобразований. Вы можете выбрать метод, который соответствует навыкам команды, или воспользоваться существующими технологиями, которые уже внедрены у вас. Также можно выполнять преобразования без написания кода при помощи потока данных для сопоставления.
Преобразование данных с использованием потоков данных для сопоставления
Потоки данных для сопоставления создают среду для различных преобразований данных в полностью визуальном интерфейсе без необходимости написания кода. Получаемые в результате потоки данных затем выполняются в масштабируемых кластерах Apache Spark, которые автоматически подготавливаются при выполнении потока данных для сопоставления. Потоки данных для сопоставления также позволяют наблюдать за выполнением преобразований, видеть ход выполнения преобразований и понимать, какие ошибки могут возникнуть.
Преобразование данных с помощью вычислительных ресурсов
Фабрика данных Azure также может вызывать вычислительные ресурсы для преобразования службой платформы данных, которая может в большей степени подходить для выполнения задания. Лучшим подтверждением является тот факт, что Фабрика данных Azure может создать конвейер для платформы аналитических данных, такой как пулы Spark в экземпляре Azure Synapse Analytics, для выполнения сложных вычислений на python. Еще один пример — отправка данных в экземпляр базы данных Azure SQL для выполнения хранимой процедуры с помощью Transact-SQL. Существует широкий спектр вычислительных ресурсов и связанных действий, которые они могут выполнять, как показано в следующей таблице.
| Вычислительная среда | activities |
|---|---|
| Кластер HDInsight по запросу или собственный кластер HDInsight | Hive, Pig, Spark, MapReduce, потоковая передача Hadoop |
| Пакетная служба Azure | Пользовательские действия |
| Компьютер Студии машинного обучения Azure | Обучающие действия: выполнение пакета и обновление ресурса |
| Машинное обучение Azure | Выполнение конвейера в Машинном обучении Azure |
| Аналитика озера данных Azure | Аналитика озера данных U-SQL |
| Azure SQL, хранилище данных Azure SQL, SQL Server | Хранимая процедура |
| Azure Databricks | Notebook, Jar, Python |
| функции Azure; | Действия функции Azure |
Преобразование данных с помощью пакетов SQL Server Integration Services (SSIS)
Многие организации десятилетиями вкладывали средства в разработку пакетов SSIS, которые содержат логику приема и преобразования из локальных и облачных хранилищ данных. Фабрика данных Azure обеспечивает возможность переноса и смены существующей рабочей нагрузки служб SSIS путем создания Azure-SSIS Integration Runtime для выполнения пакетов служб SSIS внутри системы. С помощью Azure-SSIS Integration Runtime вы сможете развертывать существующие пакеты служб SSIS и управлять ими без каких-либо изменений с помощью привычных средств, таких как SQL Server Data Tools (SSDT) и SQL Server Management Studio (SSMS), так же, как и при локальном использовании служб SSIS.