Overzicht van gegevensopnameresources wijzigen
VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Aanpassing aan de cloud-first big data-wereld kan zeer lastig zijn voor data engineers die verantwoordelijk zijn voor het bouwen van complexe gegevensintegratie en ETL-pijplijnen.
Azure Data Factory introduceert een nieuw mechanisme om het leven van een data engineer eenvoudiger te maken.
Door automatisch gegevenswijzigingen in de bron te detecteren zonder dat complexe ontwerpen of coderen vereist is, maakt ADF het een fluitje van een cent om deze processen te schalen. Change Data Capture bestaat nu als een nieuwe systeemeigen resource op het hoogste niveau in de Azure Data Factory-studio, waar data engineers snel continu actieve taken kunnen configureren om big data op schaal te verwerken met extreme efficiëntie.
Met de nieuwe Change Data Capture-resource in ADF kunt u gegevens vastleggen met volledige betrouwbaarheid die continu in bijna realtime worden uitgevoerd via een begeleide configuratie-ervaring.
Notitie
De Change Data Capture-resource in Azure Data Factory is momenteel beschikbaar als openbare preview
Ondersteunde gegevensbronnen
- Avro
- Azure Cosmos DB (SQL API)
- Azure SQL Database
- Azure SQL Managed Instance
- Tekst met scheidingstekens
- JSON
- ORC
- Parquet
- SQL Server
- XML
- Snowflake
Ondersteunde doelen
- Avro
- Azure SQL-database
- SQL Managed Instance
- Tekst met scheidingstekens
- Delta
- JSON
- ORC
- Parquet
- Azure Synapse Analytics
Bekende beperkingen
- Wanneer u momenteel bron-/doeltoewijzingen maakt, mag elke bron en elk doel slechts één keer worden gebruikt.
- Complexe typen worden momenteel niet ondersteund.
- Zelf-hostende Integration Runtime (SHIR) wordt momenteel niet ondersteund.
Raadpleeg deze gids voor probleemoplossing voor meer informatie over bekende beperkingen en hulp bij probleemoplossing.
Azure Synapse Analytics als doel
Wanneer u Azure Synapse Analytics als doel gebruikt, zijn de faseringsinstellingen beschikbaar op het hoofdtabelcanvas. Het inschakelen van fasering is verplicht wanneer u Azure Synapse Analytics als doel selecteert. Dit verbetert de schrijfprestaties aanzienlijk door gebruik te maken van de krachtige mogelijkheid voor bulksgewijs laden, zoals de opdracht COPY INTO. Faseringsinstellingen kunnen op twee manieren worden geconfigureerd: fabrieksinstellingen gebruiken of kiezen voor een aangepaste instellingen. Fabrieksinstellingen zijn van toepassing op fabrieksniveau. Als deze instellingen niet zijn geconfigureerd, wordt u voor het eerst omgeleid naar de algemene sectie voor faseringsinstelling voor configuratie. Zodra alle CDC-resources op het hoogste niveau zijn ingesteld, wordt deze configuratie gebruikt. Aangepaste instellingen zijn alleen bedoeld voor de CDC-resource waarvoor deze is geconfigureerd en overschrijft de factory-instellingen.
Notitie
Omdat we de opdracht COPY INTO gebruiken om gegevens over te dragen van de faseringslocatie naar Azure Synapse Analytics, is het raadzaam ervoor te zorgen dat alle vereiste machtigingen vooraf zijn geconfigureerd in Azure Synapse Analytics.
Notitie
We gebruiken altijd de laatst gepubliceerde configuratie bij het starten van een CDC. Voor het uitvoeren van CDC's, terwijl uw gegevens worden verwerkt, wordt u 4 v-cores van algemeen gebruik gefactureerd Gegevensstroom s.