Förklara Azure Data Factory-transformeringsmetoder
Precis som Azure Data Factory tillhandahåller en mängd olika metoder för att mata in data, innehåller det också en mängd olika metoder för att utföra transformeringar. Du kan välja en metod som matchar kompetensuppsättningarna i ditt team eller dra nytta av befintliga tekniker som du redan har i din dataegendom. Det finns också möjlighet att utföra transformeringar utan att skriva kod alls med hjälp av Dataflöde mappning.
Transformera data med mappning Dataflöde
Mappning Dataflöde ger en miljö för att skapa en mängd olika datatransformeringar visuellt utan att behöva använda kod. De resulterande dataflöden som skapas körs därefter på utskalade Apache Spark-kluster som etableras automatiskt när du kör Dataflöde mappning. Mappning Dataflöde ger också möjlighet att övervaka körningen av transformeringar så att du kan se hur omvandlingarna fortskrider eller för att förstå eventuella fel som kan inträffa
Transformera data med hjälp av beräkningsresurser
Azure Data Factory kan också anropa beräkningsresurser för att transformera data med en dataplattformstjänst som kan vara bättre lämpad för jobbet. Ett bra exempel på detta är att Azure Data Factory kan skapa en pipeline till en analysdataplattform, till exempel Spark-pooler i en Azure Synapse Analytics-instans för att utföra en komplex beräkning med python. Ett annat exempel kan vara att skicka data till en Azure SQL Database-instans för att köra en lagrad procedur med Transact-SQL. Det finns ett brett utbud av beräkningsresurser och de associerade aktiviteter som de kan utföra enligt följande tabell:
| Compute-miljö | activities |
|---|---|
| HDInsight-kluster på begäran eller ditt eget HDInsight-kluster | Hive, Pig, Spark, MapReduce, Hadoop Streaming |
| Azure Batch | Anpassade aktiviteter |
| Azure Machine Learning Studio Machine | Utbildningsaktiviteter: Batchkörning och uppdateringsresurs |
| Azure Machine Learning | Kör pipeline för Azure Machine Learning |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Lagrad procedur |
| Azure Databricks | Notebook, Jar, Python |
| Azure-funktion | Azure-funktionsaktivitet |
Transformera data med hjälp av SSIS-paket (SQL Server Integration Services)
Många organisationer har årtionden av utvecklingsinvesteringar i SSIS-paket som innehåller både inmatnings- och transformeringslogik från lokala datalager och molndatalager. Azure Data Factory ger möjlighet att lyfta och flytta befintliga SSIS-arbetsbelastningar genom att skapa en Azure-SSIS Integration Runtime för att köra SSIS-paket internt. Med Azure-SSIS Integration Runtime kan du distribuera och hantera dina befintliga SSIS-paket med små eller inga ändringar med välbekanta verktyg som SQL Server Data Tools (SSDT) och SQL Server Management Studio (SSMS), precis som att använda SSIS lokalt.