Información general sobre el recurso de captura de datos modificados
SE APLICA A:
Azure Data Factory 
Azure Synapse Analytics
Sugerencia
Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.
Adaptarse al mundo de los macrodatos “primero en la nube” puede ser increíblemente difícil para los ingenieros de datos que se encargan de crear canalizaciones ETL e integraciones de datos complejas.
Azure Data Factory está introduciendo un nuevo mecanismo para facilitar las vidas de estos ingenieros.
Al detectar automáticamente los cambios de datos en el origen sin necesidad de que haya un diseño o una codificación complejos, ADF hace que escalar estos procesos sea coser y cantar. Change Data Capture ahora existirá como un nuevo recurso nativo de nivel superior en Azure Data Factory Studio, donde los ingenieros de datos pueden configurar rápidamente trabajos en ejecución continua para procesar macrodatos a gran escala con una eficacia extrema.
El nuevo recurso de Change Data Capture en ADF permite capturar datos modificados con fidelidad completa, con una ejecución continua y casi en tiempo real mediante una experiencia de configuración guiada.
Orígenes de datos admitidos
- Avro
- Azure Cosmos DB (API de SQL)
- Azure SQL Database
- Instancia administrada de Azure SQL
- Texto delimitado
- JSON
- ORC
- Parquet
- SQL Server
- XML
- Snowflake
Destinos admitidos
- Avro
- Azure SQL Database
- Instancia administrada de SQL
- Texto delimitado
- Delta
- JSON
- ORC
- Parquet
- Azure Synapse Analytics
Limitaciones conocidas
- Actualmente, al crear asignaciones de origen o de destino, solo se permite usar una vez cada origen y destino.
- Actualmente no se admiten los tipos complejos.
- Actualmente, el entorno de ejecución de integración autohospedado (SHIR) no es compatible.
Para más información sobre las limitaciones conocidas y la ayuda para solucionar problemas, consulte esta guía de solución de problemas.
Azure Synapse Analytics como vínculo
Al usar Azure Synapse Analytics como destino, la Configuración de almacenamiento provisional está disponible en el lienzo de la tabla principal. La habilitación del almacenamiento provisional es obligatoria al seleccionar Azure Synapse Analytics como destino. Esto mejora significativamente el rendimiento de escritura mediante la capacidad de carga masiva eficaz, como el comando COPY INTO. La Configuración de almacenamiento provisional se puede configurar de dos maneras: usando la Configuración de fábrica u optando por una Configuración personalizada. La Configuración de fábrica se aplica en el nivel de fábrica. La primera vez, si estos ajustes no están configurados, se le dirigirá a la sección de configuración de almacenamiento provisional global para su configuración. Una vez configurados, todos los recursos de nivel superior CDC adoptarán esta configuración. La Configuración personalizada solo tiene como ámbito el recurso CDC para el que está configurado e invalida la Configuración de fábrica.
Nota:
A medida que usamos el comando COPY INTO para transferir datos de la ubicación de almacenamiento provisional a Azure Synapse Analytics, es aconsejable asegurarse de que todos los permisos necesarios estén preconfigurados en Azure Synapse Analytics.
Nota:
Siempre usamos la última configuración publicada al iniciar una CDC. Para ejecutar CDC, mientras se procesan los datos, se le facturarán 4 núcleos virtuales de flujos de datos de uso general.