Transformatiemethoden van Azure Data Factory uitleggen

Voltooid

Net zoals Azure Data Factory verschillende methoden biedt voor het opnemen van gegevens, biedt het ook een reeks methoden voor het uitvoeren van transformaties. U kunt een methode kiezen die overeenkomt met de vaardighedensets van uw team of gebruikmaken van bestaande technologie├źn die u al in uw gegevensomgeving hebt. Er is ook de mogelijkheid om transformaties uit te voeren zonder code te schrijven met behulp van de toewijzings-Gegevensstroom.

Gegevens transformeren met toewijzings-Gegevensstroom

Toewijzingen Gegevensstroom bieden een omgeving voor het bouwen van een breed scala aan gegevenstransformaties visueel zonder dat u code hoeft te gebruiken. De resulterende gegevensstromen die worden gemaakt, worden vervolgens uitgevoerd op uitgeschaalde Apache Spark-clusters die automatisch worden ingericht wanneer u de toewijzing Gegevensstroom uitvoert. Toewijzingen Gegevensstroom biedt ook de mogelijkheid om de uitvoering van de transformaties te controleren, zodat u kunt zien hoe de transformaties worden uitgevoerd of om inzicht te krijgen in eventuele fouten die kunnen optreden

Gegevens transformeren met behulp van rekenresources

Azure Data Factory kan ook rekenresources aanroepen om gegevens te transformeren door een gegevensplatformservice die mogelijk beter geschikt is voor de taak. Een goed voorbeeld hiervan is dat Azure Data Factory een pijplijn kan maken naar een analytische gegevensplatform, zoals Spark-pools in een Azure Synapse Analytics-exemplaar om een complexe berekening uit te voeren met behulp van Python. Een ander voorbeeld is het verzenden van gegevens naar een Azure SQL Database-exemplaar om een opgeslagen procedure uit te voeren met behulp van Transact-SQL. Er is een breed scala aan rekenresources en de bijbehorende activiteiten die ze kunnen uitvoeren, zoals wordt weergegeven in de volgende tabel:

Compute-omgeving activities
HdInsight-cluster op aanvraag of uw eigen HDInsight-cluster Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch Aangepaste activiteiten
Azure Machine Learning Studio Machine Leeractiviteiten: BatchUitvoering en Resource bijwerken
Azure Machine Learning Pijplijn uitvoeren van Azure Machine Learning
Azure Data Lake Analytics Data Lake Analytics U-SQL
Azure SQL, Azure SQL Data Warehouse, SQL Server Opgeslagen procedure
Azure Databricks Notebook, Jar, Python
Azure-functie Azure Function-activiteit

Gegevens transformeren met behulp van SSIS-pakketten (SQL Server Integration Services)

Veel organisaties hebben decennia aan ontwikkelingsinvesteringen in SSIS-pakketten die zowel opname- als transformatielogica van on-premises en cloudgegevensarchieven bevatten. Azure Data Factory biedt de mogelijkheid om bestaande SSIS-workload op te tillen en te verplaatsen door een Azure-SSIS Integration Runtime te maken om systeemeigen SSIS-pakketten uit te voeren. Met Behulp van Azure-SSIS Integration Runtime kunt u uw bestaande SSIS-pakketten implementeren en beheren met weinig tot geen wijzigingen met behulp van vertrouwde hulpprogramma's zoals SQL Server Data Tools (SSDT) en SQL Server Management Studio (SSMS), net zoals het gebruik van SSIS on-premises.