Transformatiemethoden van Azure Data Factory uitleggen
Net zoals Azure Data Factory verschillende methoden biedt voor het opnemen van gegevens, biedt het ook een reeks methoden voor het uitvoeren van transformaties. U kunt een methode kiezen die overeenkomt met de vaardighedensets van uw team of gebruikmaken van bestaande technologieën die u al in uw gegevensomgeving hebt. Er is ook de mogelijkheid om transformaties uit te voeren zonder code te schrijven met behulp van de toewijzings-Gegevensstroom.
Gegevens transformeren met toewijzings-Gegevensstroom
Toewijzingen Gegevensstroom bieden een omgeving voor het bouwen van een breed scala aan gegevenstransformaties visueel zonder dat u code hoeft te gebruiken. De resulterende gegevensstromen die worden gemaakt, worden vervolgens uitgevoerd op uitgeschaalde Apache Spark-clusters die automatisch worden ingericht wanneer u de toewijzing Gegevensstroom uitvoert. Toewijzingen Gegevensstroom biedt ook de mogelijkheid om de uitvoering van de transformaties te controleren, zodat u kunt zien hoe de transformaties worden uitgevoerd of om inzicht te krijgen in eventuele fouten die kunnen optreden
Gegevens transformeren met behulp van rekenresources
Azure Data Factory kan ook rekenresources aanroepen om gegevens te transformeren door een gegevensplatformservice die mogelijk beter geschikt is voor de taak. Een goed voorbeeld hiervan is dat Azure Data Factory een pijplijn kan maken naar een analytische gegevensplatform, zoals Spark-pools in een Azure Synapse Analytics-exemplaar om een complexe berekening uit te voeren met behulp van Python. Een ander voorbeeld is het verzenden van gegevens naar een Azure SQL Database-exemplaar om een opgeslagen procedure uit te voeren met behulp van Transact-SQL. Er is een breed scala aan rekenresources en de bijbehorende activiteiten die ze kunnen uitvoeren, zoals wordt weergegeven in de volgende tabel:
| Compute-omgeving | activities |
|---|---|
| HdInsight-cluster op aanvraag of uw eigen HDInsight-cluster | Hive, Pig, Spark, MapReduce, Hadoop Streaming |
| Azure Batch | Aangepaste activiteiten |
| Azure Machine Learning Studio Machine | Leeractiviteiten: BatchUitvoering en Resource bijwerken |
| Azure Machine Learning | Pijplijn uitvoeren van Azure Machine Learning |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Opgeslagen procedure |
| Azure Databricks | Notebook, Jar, Python |
| Azure-functie | Azure Function-activiteit |
Gegevens transformeren met behulp van SSIS-pakketten (SQL Server Integration Services)
Veel organisaties hebben decennia aan ontwikkelingsinvesteringen in SSIS-pakketten die zowel opname- als transformatielogica van on-premises en cloudgegevensarchieven bevatten. Azure Data Factory biedt de mogelijkheid om bestaande SSIS-workload op te tillen en te verplaatsen door een Azure-SSIS Integration Runtime te maken om systeemeigen SSIS-pakketten uit te voeren. Met Behulp van Azure-SSIS Integration Runtime kunt u uw bestaande SSIS-pakketten implementeren en beheren met weinig tot geen wijzigingen met behulp van vertrouwde hulpprogramma's zoals SQL Server Data Tools (SSDT) en SQL Server Management Studio (SSMS), net zoals het gebruik van SSIS on-premises.