적용 대상: Microsoft Fabric의✅ Warehouse
Microsoft Fabric 웨어하우스는 구성된 보존 기간에 따라 다양한 버전의 데이터를 자동으로 보존하고 유지 관리합니다. 이 보존 기간은 시간 이동 쿼리를 수행하고, 테이블 클론을 만들고, 복원 지점을 사용하고, 웨어하우스 스냅샷을 만들 수 있는 시간을 결정합니다.
데이터 보존은 웨어하우스를 만들 때 자동으로 시작됩니다. 기본적으로 웨어하우스는 30일 동안 데이터 기록을 유지합니다. 보존 기간을 1일에서 120일 사이의 모든 값으로 구성할 수 있습니다. 시스템은 보존 기간이 종료된 후 만료된 파일을 자동으로 삭제합니다.
웨어하우스는 구성된 보존 기간 내에 모든 삽입, 업데이트 및 삭제를 유지합니다.
- 보존 기간을 늘리면 시간 이동 쿼리, 과거 시점의 테이블 클론, 복원 지점 및 웨어하우스 스냅샷에 대한 더 긴 기간이 제공됩니다. 그러나 보존 기간이 길어질수록 스토리지 사용량과 관련 비용이 증가합니다.
- 보존 기간을 줄이 면 스토리지 비용이 감소하지만 기록 데이터를 쿼리하거나 복구할 수 있는 시간을 제한합니다.
데이터 보존 작동 방법
데이터가 수정되면 웨어하우스는 이전 버전 상태를 즉시 삭제하지 않습니다. 대신 이전 버전의 데이터는 Delta Lake 트랜잭션 로그의 일부로 유지됩니다. 이 버전 관리 메커니즘을 사용하면 시간 이동, 테이블 복제, 복원 지점 및 웨어하우스 스냅샷이 작동할 수 있습니다.
기록 데이터 버전이 구성된 보존 기간을 초과하면 백그라운드 가비지 수집 프로세스는 OneLake에서 만료된 파일을 자동으로 제거합니다. 이 정리 프로세스는 비동기적으로 실행되며 활성 쿼리 또는 진행 중인 트랜잭션에 영향을 주지 않습니다.
웨어하우스는 Microsoft Fabric 용량이 일시 중지되는 경우를 포함하여 데이터 버전이 만들어진 시점부터 절대 달력 일 단위로 보존된 데이터의 기간을 측정합니다.
보존 기간 범위
보존 기간을 명시적으로 구성하지 않으면 기존 웨어하우스는 기본 보존 기간인 30일을 사용합니다. 데이터 보존 기간을 1일에서 120일로 구성할 수 있습니다.
데이터 보존 구성
ALTER DATABASE … SET T-SQL 명령을 사용하여 웨어하우스의 데이터 보존 기간을 설정합니다. 단계 및 자세한 내용은
보존 기간을 변경할 때의 동작
보존 기간을 변경할 때의 동작을 이해하면 예기치 않은 데이터 손실 또는 스토리지 크기 증가를 방지하기 위해 변경 내용을 계획하는 데 도움이 됩니다.
보존 기간 늘리기
보존 기간을 늘리면 새 설정이 즉시 적용됩니다. 그러나 이전의 짧은 보존 기간 동안 시스템이 이미 정리한 기록 데이터는 복구할 수 없습니다. 변경 시 OneLake에 여전히 존재하는 데이터 버전만 연장 보존 기간의 이점을 누릴 수 있습니다.
예를 들어 현재 웨어하우스의 보존 기간이 7일이고 60일로 늘리면 변경 내용이 해당 시점부터 적용됩니다. 변경 전에 시스템에서 이미 정리한 데이터 버전(7일이 지난 이전 버전)은 복구할 수 없습니다. 그러나 변경 시점의 7일 기간 내에 있는 모든 데이터 버전과 앞으로 새로 만든 버전은 최대 60일 동안 보존됩니다.
보존 기간 줄이기
보존 기간을 줄이면 이제 더 짧은 새 보존 기간을 벗어나는 데이터 버전이 정리될 수 있습니다. 정리 프로세스는 백그라운드에서 비동기적으로 실행되며 즉시 발생하지 않습니다. 이미 진행 중인 활성 쿼리는 영향을 받지 않습니다.
예를 들어 웨어하우스의 보존 기간이 30일이고 7일로 줄이면 8일에서 30일 사이의 데이터 버전이 백그라운드 정리에 적합합니다.
Important
데이터 액세스 관점에서 보존 기간을 줄이는 것은 되돌릴 수 없습니다.
잠시 후 보존 기간을 다시 늘리더라도 해당 시간 동안 더 짧은 기간 밖에 떨어진 데이터에 더 이상 액세스할 수 없습니다. 보존 기간을 줄이기 전에 새 보존 기간이 조직의 데이터 복구 및 규정 준수 요구 사항을 충족하는지 확인합니다.
보존 중단 날짜
time_travel_retention_cutoff_date 시스템 카탈로그 뷰의 열은 현재 구성된 보존 기간이 아니라 이동 데이터를 사용할 수 있는 실제 초기 날짜를 반영합니다. 가장 오래된 실제 데이터는 구성된 보존 기간과 다를 수 있습니다.
사용자가 구성한 보존 기간은 시스템이 앞으로 보존 해야 하는 기록의 일 수를 정의합니다. 그러나 실제 복구 가능한 기록은 보존이 변경되기 전에 보존된 데이터에 따라 달라집니다.
두 가지 상황으로 인해 구성된 보존과 사용 가능한 실제 기록 간에 차이가 발생합니다.
- 보존이 감소되었습니다 . 웨어하우스는 가비지 수집에 대한 새 보존 기간보다 오래된 기록 데이터를 즉시 표시하고 영구적으로 제거합니다.
- 이후 보존이 증가했습니다 . 웨어하우스는 삭제된 기록을 복원할 수 없습니다. 구성된 전체 창을 사용할 수 있기 전에 새 기록이 누적되기를 기다려야 합니다.
데이터 보존 시나리오
보존 기간을 구성하는 방법을 결정할 때 다음 시나리오를 고려합니다.
규정 준수 및 감사
규정 또는 규정 준수 요구 사항이 있는 조직은 감사 의무를 충족하기 위해 더 오랜 기간 동안 데이터를 보존해야 할 수 있습니다. 90일 또는 120일의 보존 기간을 구성하면 감사자가 시간에 따른 데이터 변경 내용을 검토할 수 있는 더 광범위한 기록 기간을 제공할 수 있습니다.
개발 및 테스트
기록 데이터가 덜 중요한 개발 또는 테스트 작업 영역의 경우 보존 기간을 1~7일 단축하면 스토리지 비용이 절감됩니다. 이 감소는 작업 영역이 신속한 프로토타입 생성 또는 반복 개발에 사용되는 경우에 유용합니다.
비용 최적화
웨어하우스에서 자주 대규모 데이터 수정(예: 일일 전체 로드)을 수행하는 경우 보존된 기록 데이터의 양이 크게 증가할 수 있습니다. 이러한 시나리오에서 보존 기간을 줄이면 적절한 복구 기간을 유지하면서 스토리지 비용을 제어할 수 있습니다.
데이터 복구 준비
프로덕션 웨어하우스의 경우 더 긴 보존 기간을 유지하면 실수로 데이터가 손상되는 경우 복원 지점, 테이블 클론 및 시간 이동 쿼리를 통해 데이터 복구에 더 많은 유연성을 제공합니다.
구성 가능한 보존이 종속 기능에 미치는 영향
구성된 보존 기간은 Fabric Data Warehouse 다음 기능에 균일하게 적용됩니다. 보존 기간을 변경하면 이러한 기능의 가용성 및 동작에 직접적인 영향을 줍니다.
시간 이동
시간 이동 에서는 보존 기간 내에 과거 시점에 존재했던 데이터를 쿼리할 수 있습니다. 쿼리 힌트는 FOR TIMESTAMP AS OF 구성된 보존 기간 내의 모든 지점에서 데이터를 검색할 수 있습니다.
예를 들어 보존 기간이 15일로 설정된 경우 과거 최대 15일 동안 존재했던 데이터를 쿼리할 수 있습니다.
테이블 복제
테이블 클론은 보존 기간을 사용합니다. 구성된 보존 기간 내에만 과거 시점에 테이블의 복제본을 만들 수 있습니다. 보존 기간을 초과하여 복제본을 요청하면 오류가 발생합니다.
복원 지점
복원 지점을 사용하여 웨어하우스를 복원합니다. 시스템은 구성된 보존 기간 동안 시스템 생성 복원 지점과 사용자 정의 복원 지점을 모두 유지합니다. 보존 기간이 만료되면 시스템은 복원 지점을 자동으로 삭제합니다.
- 웨어하우스는 8시간마다 시스템 생성 복원 지점을 자동으로 만듭니다. 이러한 복원 지점은 구성된 보존 기간에 사용할 수 있습니다.
- 사용자 정의 복원 지점은 구성된 보존 기간에 사용할 수 있습니다. 시스템은 만료 후 이러한 복원 지점을 자동으로 삭제합니다.
Fabric은 항상 충분한 복원 지점이 사용 가능하도록 최소한의 복원 지점 수를 유지 관리합니다.
웨어하우스 스냅샷
웨어하우스 스냅샷은 구성된 보존 기간 내에 데이터를 참조할 수 있습니다. 스냅샷 타임스탬프는 구성된 보존 기간 내의 모든 지점 또는 데이터베이스 생성 시간 중 나중에 설정할 수 있습니다.
스토리지 청구
데이터 보존은 OneLake 스토리지 사용량에 직접적인 영향을 줍니다. 보존된 각 데이터 버전은 스토리지 공간을 차지하며, 보존 기간이 길어질수록 더 많은 기록 버전이 누적됩니다.
보존 구성을 계획하는 동안 더 긴 데이터 기록 액세스의 이점과 관련 스토리지 비용 간의 장차를 고려합니다. 스토리지 모니터링에 대한 자세한 내용은 Fabric Data Warehouse 청구 및 사용률 보고> 참조하세요.
- 보존된 데이터 파일: OneLake에 parquet 파일로 저장된 데이터의 기록 버전은 스토리지를 사용합니다. 스토리지 비용은 보존 기간 동안 데이터 수정의 볼륨 및 빈도에 비례합니다.
- 복원 지점: 시스템 생성 및 사용자 정의 복원 지점에 대한 메타데이터도 스토리지를 사용합니다. 그러나 복원 지점은 주로 메타데이터를 저장하고 기존 데이터 파일을 참조하므로 스토리지 오버헤드가 상대적으로 작습니다.
- 보존에 대한 컴퓨팅 요금 없음: 기록 데이터를 보존하기 위해서만 발생하는 컴퓨팅 요금은 없습니다. 컴퓨팅 요금은 데이터를 적극적으로 쿼리하거나 복원하는 경우에만 적용됩니다.
보존 기간 변경의 스토리지 영향을 예측하려면 다음을 고려합니다.
- 웨어하우스의 데이터 수정에 대한 일일 평균 볼륨입니다.
- 현재 보존 기간 및 제안된 새 보존 기간입니다.
- 두 기간 사이의 델타에 평균 일일 수정 볼륨을 곱하면 스토리지 사용량이 대략적인 변화를 줍니다.
디자인 고려 사항
- 조직의 데이터 복구, 규정 준수 및 비용 요구 사항에 따라 보존 기간을 구성합니다. 기본값인 30일은 대부분의 워크로드에 대한 데이터 가용성과 스토리지 비용 간의 균형을 제공합니다.
- 백업 및 재해 복구 전략을 사용하여 보존 기간 변경을 조정합니다. 보존 기간이 RPO(복구 지점 목표)와 일치하는지 확인합니다.
- 보존 기간을 변경한 후 OneLake 스토리지 사용량을 모니터링하여 스토리지 비용에 미치는 영향을 파악합니다.
- 사용자에게 영향을 주지 않도록 가능한 경우 활동량이 적은 기간 동안 보존 기간을 변경합니다.
- 보존 기간은 웨어하우스 수준에서 설정됩니다. 다른 데이터 세트에 대해 다른 보존 기간이 필요한 경우 별도의 웨어하우스로 구성하는 것이 좋습니다. 개별 테이블 수준 보존 설정은 현재 지원되지 않습니다.
Limitations
- 보존 기간을 전체 일 단위로 지정합니다. 소수 자릿수 값은 지원되지 않습니다.
- 보존 기간을 줄이면 스토리지가 즉시 회수되지는 않습니다. 만료된 데이터의 정리는 백그라운드에서 비동기적으로 발생합니다.
- Microsoft Fabric 용량을 일시 중지하면 가비지 정리 활동에 영향을 줍니다. 이 프로세스는 용량이 일시 중지되는 동안 현재 데이터 보존 설정보다 오래된 기록 데이터를 제거하지 않습니다. 용량이 복구되면 정리 작업이 다시 진행됩니다.
- 보존 설정은 웨어하우스에만 적용됩니다. Lakehouse의 SQL 분석 엔드포인트는 지원되지 않습니다.
- Query Insights 및 SQL 감사 로그는 이 데이터 보존 정책의 적용을 받지 않으며 별도로 관리됩니다.
삭제된 항목 보존(미리 보기)
삭제된 항목 보존 은 삭제 또는 삭제된 후 구성 가능한 기간 동안 웨어하우스 및 관련 테이블, 스키마, 스냅샷, 권한 및 저장된 쿼리를 유지합니다. 이렇게 하면 실수로 삭제해도 데이터가 영구적으로 손실되거나 비즈니스에 영향을 주는 중단이 발생하지 않습니다. 삭제된 보존은 최소 보존 기간인 7일을 보장하며 별도의 테넌트 수준 보존 구성을 줍니다. Item Recovery 테넌트 설정에서 삭제된 항목 보존 기간을 구성할 수 있습니다.
다음 단계
관련 콘텐츠
Microsoft Fabric 내 웨어하우스의 제자리 복원