Visão geral do recurso de captura de dados de alterações
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Adaptar-se ao mundo de Big Data que prioriza a nuvem pode ser incrivelmente desafiador para os engenheiros de dados responsáveis por criar os complexos pipelines de ETL e integração de dados.
O Azure Data Factory está apresentando um novo mecanismo para facilitar a vida de um engenheiro de dados.
Ao detectar automaticamente as alterações de dados na origem, sem exigir codificação ou design complexo, o ADF está facilitando a escala desses processos. Agora a Captura de Dados de Alterações existirá como um novo recurso nativo de nível superior no estúdio do Azure Data Factory, em que os engenheiros de dados podem configurar rapidamente os trabalhos em execução contínua, para processar Big Data em escala com extrema eficiência.
O novo recurso de Captura de Dados de Alterações no ADF permite total fidelidade da captura de dados de alterações, que é executada continuamente quase em tempo real por meio de uma experiência de configuração guiada.
Fontes de dados com suporte
- Avro
- Azure Cosmos DB (API de SQL)
- Banco de Dados SQL do Azure
- Instância Gerenciada do Azure SQL
- Texto delimitado
- JSON
- ORC
- Parquet
- SQL Server
- XML
- Snowflake
Destinos com suporte
- Avro
- Banco de Dados SQL do Azure
- Instância Gerenciada do SQL
- Texto delimitado
- Delta
- JSON
- ORC
- Parquet
- Azure Synapse Analytics
Limitações conhecidas
- Atualmente, ao criar mapeamentos de origem/destino, cada origem e destino só tem permissão para ser usado uma vez.
- No momento, não há suporte para tipos complexos.
- No momento, não há suporte para o IR auto-hospedado (SHIR).
Para obter mais informações sobre limitações conhecidas e assistência para solução de problemas, confira este guia de solução de problemas.
Azure Synapse Analytics como Destino
Ao usar o Azure Synapse Analytics como destino, as Configurações de Preparo estão disponíveis na tela main tabela. Habilitar o preparo é obrigatório ao selecionar o Azure Synapse Analytics como o destino. Isso melhora significativamente o desempenho de gravação utilizando a funcionalidade de carregamento em massa de alto desempenho, como o comando COPY INTO. As Configurações de Preparo podem ser definidas de duas maneiras: utilizando configurações de fábrica ou optando por configurações personalizadas. As configurações de fábrica se aplicam no nível do alocador. Pela primeira vez, se essas configurações não estiverem definidas, você será direcionado para a seção de configuração de preparo global para configuração. Depois de definido, todos os recursos de nível superior CDA adotarão essa configuração. As configurações personalizadas têm como escopo apenas o recurso CDA para o qual ele está configurado e substitui as configurações de fábrica.
Observação
À medida que utilizamos o comando COPY INTO para transferir dados do local de preparo para o Azure Synapse Analytics, é aconselhável garantir que todas as permissões necessárias sejam pré-configuradas no Azure Synapse Analytics.
Observação
Sempre usamos a última configuração publicada ao iniciar um CDC. Para executar os CDCs enquanto seus dados estiverem sendo processados, serão cobrados de você 4 v-cores de fluxos de dados de uso geral.