변경 데이터 캡처 리소스 개요

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

복잡한 데이터 통합 및 ETL 파이프라인 빌드를 담당하는 데이터 엔지니어에게는 클라우드 중심의 빅 데이터 세계에 적응하는 것이 매우 어려울 수 있습니다.

Azure Data Factory는 데이터 엔지니어의 삶을 더 쉽게 만들어주는 새로운 메커니즘을 도입하고 있습니다.

복잡한 디자인이나 코딩 없이 원본에서 데이터 변경 내용을 자동으로 검색함으로써 ADF는 이러한 프로세스를 쉽게 크기 조정할 수 있도록 해줍니다. 변경 데이터 캡처는 이제 Azure Data Factory 스튜디오에 새로운 네이티브 최상위 리소스로 존재합니다. 여기서 데이터 엔지니어는 지속적으로 실행되는 작업을 신속하게 구성하여 대규모의 빅 데이터를 매우 효율적으로 처리할 수 있습니다.

ADF의 새로운 변경 데이터 캡처 리소스를 사용하면 단계별식 구성 환경을 통해 거의 실시간으로 지속적으로 실행되는 완전한 충실도의 변경 데이터 캡처가 가능합니다.

지원되는 데이터 원본

• Avro
• Azure Cosmos DB(SQL API)
• Azure SQL Database
• Azure SQL Managed Instance
• DelimitedText
• JSON
• ORC
• Parquet
• SQL Server
• XML
• Snowflake

지원되는 대상

• Avro
• Azure SQL Database
• SQL Managed Instance
• DelimitedText
• 델타
• JSON
• ORC
• Parquet
• Azure Synapse Analytics

알려진 제한 사항

• 현재 원본/대상 매핑을 만들 때 각 원본과 대상은 한 번만 사용할 수 있습니다.
• 복합 형식은 현재 지원되지 않습니다.
• SHIR(자체 호스팅 통합 런타임)은 현재 지원되지 않습니다.

알려진 제한 사항 및 문제 해결 지원에 대한 자세한 내용은 이 문제 해결 가이드를 참조하세요.

대상으로 사용하는 Azure Synapse Analytics

Azure Synapse Analytics를 대상으로 사용하는 경우 기본 테이블 캔버스에서 준비 설정을 사용할 수 있습니다. Azure Synapse Analytics를 대상으로 선택할 때 준비를 사용하도록 설정하는 것은 필수입니다. 이는 COPY INTO 명령과 같은 고성능 대량 로딩 기능을 활용하여 쓰기 성능을 크게 향상시킵니다. 준비 설정은 초기 설정을 활용하거나 사용자 지정을 선택하는 두 가지 방법으로 구성할 수 있습니다. 팩터리 설정은 팩터리 수준에서 적용됩니다. 처음으로 이러한 설정이 구성되지 않은 경우 구성을 위한 전역 준비 설정 섹션으로 이동됩니다. 일단 설정되면 모든 CDC 최상위 리소스가 이 구성을 채택합니다. 사용자 지정은 구성된 CDC 리소스에 대해서만 범위가 지정되며 기본 설정을 재정의합니다.

참고 항목

COPY INTO 명령을 활용하여 준비 위치에서 Azure Synapse Analytics로 데이터를 전송할 때 필요한 모든 권한이 Azure Synapse Analytics 내에서 미리 구성되어 있는지 확인하는 것이 좋습니다.

참고 항목

CDC를 시작할 때 항상 마지막으로 게시된 구성을 사용합니다. CDC를 실행하는 경우 데이터가 처리되는 동안 범용 Data Flow의 v-코어 4개에 대한 요금이 청구됩니다.

관련 콘텐츠

• 변경 데이터 캡처 리소스를 설정하는 방법을 알아봅니다.
• 스키마 발전을 통해 변경 데이터 캡처 리소스를 설정하는 방법을 알아봅니다.