Microsoft Fabric의 웨어하우스에서 Delta Lake 로그
적용 대상:✅ Microsoft Fabric 내 웨어하우스
Microsoft Fabric의 웨어하우스는 개방형 파일 형식으로 빌드됩니다. 사용자 테이블은 parquet 파일 형식으로 저장되고 Delta Lake 로그는 모든 사용자 테이블에 대해 게시됩니다.
Delta Lake 로그는 Delta Lake 테이블을 읽을 수 있는 모든 엔진에 대해 웨어하우스의 사용자 테이블에 직접 액세스할 수 있도록 합니다. 이 액세스는 사용자 데이터가 ACID 트랜잭션 준수를 유지하도록 읽기 전용으로 제한됩니다. 테이블의 데이터에 대한 모든 삽입, 업데이트 및 삭제는 웨어하우스를 통해 실행되어야 합니다. 트랜잭션이 커밋되면 시스템 백그라운드 프로세스가 시작되어 영향을 받는 테이블에 업데이트된 Delta Lake 로그를 게시합니다.
OneLake 경로를 가져오는 방법
다음 단계에서는 웨어하우스의 테이블에서 OneLake 경로를 가져오는 방법을 자세히 설명합니다.
Microsoft Fabric 작업 영역에서 웨어하우스를 엽니다.
개체 탐색기의 테이블 폴더에 있는 선택된 테이블에서 추가 옵션(...)을 찾을 수 있습니다. 속성 메뉴를 선택합니다.
선택 영역의 속성 창에 다음 정보가 표시됩니다.
- 속성
- 서식
- Type
- URL
- 상대 경로
- ABFS 경로
Delta Lake 로그 경로를 가져오는 방법
다음 방법을 통해 Delta Lake 로그를 찾을 수 있습니다.
Delta Lake 로그는 lakehouse에서 만든 바로 가기를 통해 쿼리할 수 있습니다. Microsoft Fabric Spark Notebook 또는 Synapse 데이터 엔지니어링의 Lakehouse 탐색기를 사용하여 파일을 볼 수 있습니다.
Delta Lake 로그는 Azure Storage Explorer를 통해, Power BI Direct Lake 모드와 같은 Spark 연결을 통해 또는 델타 테이블을 읽을 수 있는 다른 서비스를 사용하여 찾을 수 있습니다.
Delta Lake 로그는 다음 스크린샷과 같이 Windows의 OneLake 탐색기를 통해 각 테이블의
_delta_log폴더에서 찾을 수 있습니다.
Delta Lake 로그 게시 일시 중지
필요한 경우 Delta Lake 로그 게시를 일시 중지하고 다시 시작할 수 있습니다. 게시가 일시 중지되면 웨어하우스 외부의 테이블을 읽는 Microsoft Fabric 엔진은 일시 중지 이전의 데이터를 확인합니다. 이렇게 하면 보고서가 안정적이고 일관적인 상태를 유지하여 모든 테이블의 데이터가 테이블 변경 전에 존재했던 데이터를 반영합니다. 데이터 업데이트가 완료되면 Delta Lake 로그 게시를 다시 시작하여 모든 최근 데이터 변경 내용을 다른 분석 엔진에 표시할 수 있습니다. Delta Lake 로그 게시를 일시 중지하는 또 다른 사용 사례는 Microsoft Fabric의 다른 컴퓨팅 엔진과 상호 운용될 필요가 없는 경우로, 컴퓨팅 비용을 절감하는 데 도움이 될 수 있습니다.
Delta Lake 로그 게시를 일시 중지하고 다시 시작하는 구문은 다음과 같습니다.
ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO
예: Delta Lake 로그 게시 일시 중지 및 다시 시작
Delta Lake 로그 게시를 일시 중지하려면 다음 코드 조각을 사용합니다.
ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED
다른 Microsoft Fabric 엔진에서 현재 웨어하우스의 웨어하우스 테이블에 대한 쿼리(예: Lakehouse의 쿼리)는 이제 Delta Lake 로그 게시를 일시 중지하기 전의 데이터 버전을 표시합니다. 웨어하우스 쿼리는 여전히 최신 버전의 데이터를 표시합니다.
Delta Lake 로그 게시를 다시 시작하려면 다음 코드 조각을 사용합니다.
ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO
상태가 다시 자동으로 변경되면 Fabric 웨어하우스 엔진은 웨어하우스의 테이블에 적용된 모든 최근 변경 내용에 대한 로그를 게시하여 Microsoft Fabric의 다른 분석 엔진이 최신 버전의 데이터를 읽을 수 있도록 합니다.
Delta Lake 로그 게시 상태 확인
현재 작업 영역의 모든 웨어하우스에 대한 Delta Lake 로그 게시의 현재 상태를 확인하려면 다음 코드 조각을 사용합니다.
SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases
제한 사항
- 테이블 이름은 A-Z a-z 0-9 및 밑줄 문자만 포함하는 경우 Spark 및 기타 시스템에서만 사용할 수 있습니다.
- Spark 및 기타 시스템에서 사용할 열 이름은 다음을 포함할 수 없습니다.
- spaces
- 탭
- 캐리지 리턴
- [
- ,
- ;
- {
- }
- (
- )
- =
- ]