Eventhouse OneLake 가용성
OneLake 가용성켜서 이벤트 하우스에서 KQL 데이터베이스 데이터의 논리적 복사본을 만들 수 있습니다. OneLake 가용성을 켜면 Power BI, 웨어하우스, 레이크하우스, Notebooks 등의 Direct Lake 모드와 같은 다른 Fabric 엔진을 통해 델타 레이크 형식으로 KQL 데이터베이스의 데이터를 쿼리할 수 있습니다.
Delta Lake는 Microsoft Fabric의 모든 컴퓨팅 엔진에서 원활한 데이터 액세스를 지원하는 통합 데이터 레이크 테이블 형식입니다. Delta Lake에 관한 자세한 내용은 Delta Lake란?을 참조하세요.
이 문서에서는 OneLake에서 KQL 데이터베이스 데이터의 가용성을 설정하는 방법을 알아봅니다.
작동 방식
데이터베이스 또는 테이블 수준에서 OneLake 가용성 켤 수 있습니다. 데이터베이스 수준에서 사용하도록 설정하면 모든 새 테이블과 해당 데이터를 OneLake에서 사용할 수 있습니다. 기능을 켠 경우 기존 테이블에 적용 옵션을 선택하여 기존 테이블에 이 옵션을 적용하도록 선택할 수도 있습니다. 테이블 수준에서 켜면 해당 테이블과 해당 데이터만 OneLake에서 사용할 수 있습니다. KQL 데이터베이스의 데이터 보존 정책 OneLake의 데이터에도 적용됩니다. 보존 기간이 끝날 때 KQL 데이터베이스에서 제거된 데이터가 OneLake에서도 제거됩니다. OneLake 가용성 해제하면 OneLake에서 데이터가 일시 삭제됩니다.
OneLake 가용성 켜져 있는 동안에는 다음 작업을 수행할 수 없습니다.
- 테이블 이름 바꾸기
- 테이블 스키마 변경
- 테이블에 행 수준 보안 적용
- 데이터를 삭제, 잘라내기 또는 제거할 수 없습니다.
이러한 작업을 수행해야 하는 경우 다음 단계를 사용합니다.
Important
OneLake 가용성 을 해제하면 OneLake에서 데이터가 일시적으로 삭제됩니다. 가용성을 다시 켜면 삭제된 데이터의 백필 없이 OneLake에서 새 데이터만 사용할 수 있습니다.
OneLake 가용성을 끕니다.
원하는 작업을 수행합니다.
OneLake 가용성을 켭니다.
Important
OneLake에 데이터가 표시되는 데 걸리는 시간에 대한 자세한 내용은 적응 동작참조하세요.
OneLake 가용성을 설정하는 데 추가 스토리지 비용은 없습니다. 자세한 내용은 리소스 사용량을 참조하세요.
필수 조건
- Microsoft Fabric 지원 용량작업 영역
- 편집 권한 및 데이터가 있는 KQL 데이터베이스입니다.
OneLake 가용성 설정
KQL 데이터베이스 또는 테이블 수준에서 OneLake 가용성을 설정할 수 있습니다.
OneLake 가용성을 켜려면 KQL 데이터베이스 또는 테이블의 세부 정보 창에서 OneLake 섹션으로 이동합니다.
가용성을 켜기로 설정합니다.
데이터베이스는 자동으로 새로 고침이 됩니다.
KQL 데이터베이스에서 OneLake 가용성을 활성화했습니다. 이제 델타 레이크 형식의 지정된 OneLake 경로에서 데이터베이스에 추가된 모든 새 데이터에 액세스할 수 있습니다. 레이크하우스, 데이터 웨어하우스에서 OneLake 바로 가기를 만들거나 Power BI Direct Lake 모드를 통해 직접 데이터를 쿼리하도록 선택할 수도 있습니다.
적응형 동작
Eventhouse는 들어오는 데이터 스트림을 분석을 위해 구조화된 하나 이상의 Parquet 파일로 지능적으로 일괄 처리하는 강력한 메커니즘을 제공합니다. 데이터 스트림 일괄 처리는 세류 데이터를 처리할 때 중요합니다. 레이크에 작은 Parquet 파일을 많이 쓰는 것은 비효율적일 수 있으므로 비용이 높고 성능이 저하될 수 있습니다.
최적의 Parquet 파일을 만들기에 충분한 데이터가 없는 경우 Eventhouse의 적응 메커니즘은 쓰기 작업을 지연할 수 있습니다. 이렇게 하면 Parquet 파일의 크기가 최적이고 Delta Lake 모범 사례를 준수할 수 있습니다. Eventhouse 적응형 메커니즘은 Parquet 파일이 분석을 위해 준비되도록 하고 프롬프트 데이터 가용성에 대한 필요성과 비용 및 성능 고려 사항의 균형을 유지합니다.
참고 항목
- 기본적으로 쓰기 작업은 최대 3시간 또는 충분한 크기의 파일(일반적으로 200~256MB)이 생성될 때까지 걸릴 수 있습니다.
- 지연 시간을 5분에서 3시간 사이의 값으로 조정할 수 있습니다.
예를 들어 다음 명령을 사용하여 지연 시간을 5분으로 설정합니다.
.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);
주의
지연을 더 짧은 기간으로 조정하면 작은 파일이 많은 최적이 아닐 델타 테이블이 생성되어 비효율적인 쿼리 성능이 발생할 수 있습니다. OneLake의 결과 테이블은 읽기 전용이며 만든 후에는 최적화할 수 없습니다.
.show 테이블 미러링 작업 명령 명령을 사용하여 데이터 대기 시간을 확인하여 레이크에 새 데이터가 추가된 기간을 모니터링할 수 있습니다.
결과는 데이터가 마지막으로 추가된 시점부터 측정됩니다. 대기 시간이 00:00:00이 되면 KQL 데이터베이스의 모든 데이터를 OneLake에서 사용할 수 있습니다.
파일 보기
테이블에서 OneLake 가용성을 활성화하면 해당 JSON 및 Parquet 파일과 함께 델타 로그 폴더가 만들어집니다. 실시간 인텔리전스 내에 남아 있는 동안 OneLake 및 해당 속성에서 사용할 수 있게 된 파일을 볼 수 있습니다.
파일을 보려면 탐색기 창에서 테이블에 커서를 대고 추가 메뉴 [...]>파일 보기를 선택합니다.
델타 로그 폴더 또는 개별 파일의 속성을 보려면 폴더 또는 파일에 커서를 대고 추가 메뉴 [...]>속성을 선택합니다.
델타 로그 폴더의 파일을 보려면 다음을 수행합니다.
- _delta_log 폴더를 선택합니다.
- 파일을 선택하여 테이블 메타데이터 및 스키마를 살펴봅니다. 열리는 편집기는 읽기 전용 형식입니다.
미러링 정책 액세스
기본적으로 OneLake 가용성 이 활성화되면 미러링 정책이 활성화됩니다. 정책을 사용하여 데이터 대기 시간을 모니터링하거나 델타 테이블을 분할하도록 변경할 수 있습니다.
참고 항목
OneLake 가용성을 비활성화하면 미러링 정책의 IsEnabled 속성이 false(IsEnabled=false)로 설정됩니다.
파티션 델타 테이블
델타 테이블을 분할하여 쿼리 속도를 향상시킬 수 있습니다. OneLake 파일을 분할하는 시기에 대한 자세한 내용은 테이블을 분할하는 시기를 참조하세요. 각 파티션은 파티션 목록에 나열된 PartitionName을 사용하여 별도의 열로 표시됩니다. 즉, OneLake 복사본에 원본 테이블보다 더 많은 열이 있습니다.
델타 테이블을 분할하려면 .alter-merge 테이블 정책 미러링 명령을 사용합니다.
관련 콘텐츠
- Onelake에서 데이터를 노출하기 위해서는 OneLake에서 바로 가기 만들기를 확인해 주세요
- 레이크 하우스에서 OneLake 바로 가기를 만들려면 레이크 하우스의 바로 가기란?을 참조하세요
- KQL 데이터베이스 또는 테이블의 OneLake에서 참조된 데이터를 쿼리하려면 KQL 데이터베이스 OneLake 바로 가기 만들기를 참조하세요.