다음을 통해 공유

SQL 변경 피드에 대한 Azure Synapse Link

  • 아티클

적용 대상: SQL Server 2022 (16.x) Azure SQL Database Azure Synapse Analytics

이 문서에는 SQL Server 2022(16.x) 및 Azure SQL Database의 새로운 기능인 Azure Synapse Link for SQL 변경 피드의 작동 방식에 대한 세부 정보가 포함되어 있습니다.

SQL Server 2022(16.x)에는 SQL Server 테이블과 SQL용 Azure Synapse Link라고 하는 Microsoft Azure Synapse 플랫폼 간의 연결을 허용하는 새로운 기능이 포함되어 있습니다. SQL용 Azure Synapse Link는 SQL Server 내에서 변경 내용을 캡처하고 Azure Synapse Analytics에 로드하는 자동 변경 피드를 제공합니다.

이 기능은 현재 Azure SQL Managed Instance에서 사용할 수 없습니다.

참고 항목

Azure Synapse Link for SQL을 사용하도록 설정하면 원본 데이터베이스의 changefeed 스키마 내에 changefeed 데이터베이스 사용자, changefeed 스키마 및 여러 테이블이 만들어집니다. 이러한 개체는 시스템에서 관리되는 개체이므로 변경하지 마세요.

랜딩 존

SQL Server용 Azure Synapse Link의 랜딩 존에 대한 자세한 내용은 SQL Server 랜딩 존에 대한 Azure Synapse Link를 참조하세요.

SQL Server용 Azure Synapse Link에는 Azure Data Lake Storage (ADLS) Gen2 스토리지 계정을 포함하여 사용자가 프로비저닝한 Azure 리소스가 포함되지만 Azure SQL Database용 Azure Synapse Link는 랜딩 존 프로비저닝을 포함하여 완전히 관리되며 이 문서에 설명된 대로 유사한 변경 검색 프로세스를 사용합니다. 자세한 내용은 Azure SQL Database용 Azure Synapse Link를 참조하세요.

SQL Server의 경우 랜딩 존 Azure Storage 위치는 고객이 관리하고 볼 수 있지만 랜딩 존의 파일을 사용하거나 수정하는 것은 권장되지 않거나 지원되지 않습니다.

변경 피드 기능

SQL Server 관리자는 비어 있는 테이블이나 이미 데이터가 포함된 테이블에서 Azure Synapse Link를 사용하도록 설정할 수 있습니다. 원본 테이블에는 기본 키가 있어야 합니다.

이미 데이터가 포함된 테이블에서 Azure Synapse Link는 원본 테이블의 초기 전체 스냅샷으로 랜딩 존을 시드합니다. 데이터가 포함된 기존 SQL Server 테이블이 Azure Synapse Link에 추가되면 초기 데이터 집합의 전체 스냅샷이 생성됩니다. 초기 스냅샷 파일은 ADLS Gen2의 랜딩 존으로 전송되는 .parquet 형식 파일입니다.

Azure Synapse Link는 Azure Storage 랜딩 존에 대한 원본 테이블 변경 내용의 짧은 대기 시간 푸시를 지원합니다. 변경 피드는 CSV 파일을 사용하여 이러한 변경 내용을 Azure Synapse에 게시합니다. 이 테이블 형식은 자연스럽게 행 세분화된 데이터 변경 내용을 빠른 주기(초 단위)로 작성하는 데 맞춰집니다. 대부분의 CSV 파일은 비교적 작아야 합니다.

변경 캡처

Azure Synapse Link에 대한 변경 내용을 캡처하는 것은 기존 CDC(변경 데이터 캡처) 기술과 유사합니다. 변경 데이터 원본은 SQL Server 트랜잭션 로그입니다. 변경 피드는 로그를 읽고 랜딩 존에 변경 내용에 대한 정보를 추가합니다.

CDC는 트랜잭션 로그를 수집하여 하나 또는 한 개 이상의 원본 테이블에서 수행된 모든 수정 사항을 캡처하여 작동합니다.

  • CDC에서 변경 데이터는 데이터베이스의 형제 테이블에 내부적으로 채워집니다.
  • Azure Synapse Link에서 데이터는 데이터베이스 트랜잭션 로그에서 직접 읽고, 메모리에 캐시되고, 결국 Azure Storage 랜딩 존에 기록됩니다.

스토리지 중단이 발생하면 랜딩 존을 사용할 수 없게 되어 해당 랜딩 존에 대한 게시를 차단할 수 있습니다. SQL Server CDC 로그 판독기 에이전트가 실패하거나 실행되고 있지 않은 경우의 동작과 유사하게 원본 데이터베이스 트랜잭션 로그를 잘라낼 수 없습니다. 스토리지 중단 또는 스토리지 구성 변경으로 인해 액세스할 수 없게 되는 경우 Synapse Studio를 통해 Azure Synapse Link를 중지합니다.

고가용성 지원

SQL Server용 Azure Synapse Link는 Always On 가용성 그룹 및 FCI(장애 조치(failover) 클러스터 인스턴스)와 호환됩니다.

초기 스냅샷이 진행 중이고 어떤 이유로든 중단된 경우 초기 스냅샷 내보내기 프로세스가 다시 시작됩니다. FCI 또는 동기 가용성 그룹에서 SQL Server를 장애 조치(fail over)하는 경우입니다.

패브릭 미러된 데이터베이스

Fabric 미러된 데이터베이스 기능은 Azure Synapse Link와 유사한 변경 피드 기술을 사용하고 일부 시스템 개체를 공유합니다. 자세한 내용은 다음을 참조하세요.

관련 콘텐츠