Az Azure Data Factory átalakítási módszereinek ismertetése
Ahogyan az Azure Data Factory számos módszert kínál az adatok betöltéséhez, az átalakítások elvégzésére is számos módszert kínál. Választhat olyan módszert, amely megfelel a csapat képességeinek, vagy kihasználja az adatvagyonban már meglévő technológiákat. A leképezési Adatfolyam használatával lehetőség van arra is, hogy az átalakításokat kód írása nélkül is végrehajtsa.
Adatok átalakítása leképezési Adatfolyam
A leképezési Adatfolyam lehetővé teszik az adatátalakítások széles skáláját vizuálisan, kód használata nélkül. A létrehozott adatfolyamok ezután a kibővített Apache Spark-fürtökön lesznek végrehajtva, amelyek automatikusan ki vannak építve a leképezési Adatfolyam végrehajtásakor. A leképezési Adatfolyam lehetővé teszi az átalakítások végrehajtásának monitorozását is, így megtekintheti az átalakítások előrehaladását, vagy megértheti az esetleges hibákat
Adatok átalakítása számítási erőforrások használatával
Az Azure Data Factory számítási erőforrásokat is meghívhat az adatok olyan adatplatform-szolgáltatás általi átalakítására, amely jobban megfelelhet a feladatnak. Erre jó példa, hogy az Azure Data Factory létrehozhat egy folyamatot egy elemzési adatplatformhoz, például egy Azure Synapse Analytics-példány Spark-készleteihez, hogy összetett számításokat hajthasson végre a Python használatával. Egy másik példa lehet, ha adatokat küld egy Azure SQL Database-példánynak egy tárolt eljárás Transact-SQL használatával történő végrehajtásához. A számítási erőforrások széles skáláját és a hozzájuk kapcsolódó tevékenységeket az alábbi táblázatban látható módon végezhetik el:
| Számítási környezet | tevékenységek |
|---|---|
| Igény szerinti HDInsight-fürt vagy saját HDInsight-fürt | Hive, Pig, Spark, MapReduce, Hadoop Streaming |
| Azure Batch | Egyéni tevékenységek |
| Azure Machine Tanulás Studio Machine | Tanulás tevékenységek: Kötegelt végrehajtás és erőforrás frissítése |
| Azure Machine Learning | Azure Machine Tanulás folyamat végrehajtása |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Tárolt eljárás |
| Azure Databricks | Notebook, Jar, Python |
| Azure Function | Azure-függvénytevékenység |
Adatok átalakítása AZ SQL Server Integration Services (SSIS) csomagokkal
Számos szervezet több évtizedes fejlesztési befektetéssel rendelkezik olyan SSIS-csomagokba, amelyek a helyszíni és a felhőbeli adattárakból származó betöltési és átalakítási logikát is tartalmazzák. Az Azure Data Factory lehetővé teszi a meglévő SSIS-számítási feladatok felemelésének és áthelyezésének lehetőségét egy Azure-SSIS integrációs modul létrehozásával az SSIS-csomagok natív végrehajtásához. Az Azure-SSIS integrációs modul használata lehetővé teszi meglévő SSIS-csomagjainak üzembe helyezését és kezelését, és a meglévő SSIS-csomagokat csakúgy, mint a helyszíni SSIS-t használva, olyan ismerős eszközökkel, mint az SQL Server Data Tools (SSDT) és az SQL Server Management Studio (SSMS).