Important
Lakehouse Real-Time (Lakehouse//RT)은 베타 단계이며 현재 활발히 개발 중입니다. 성능 특성 및 지원되는 기능 집합은 일반 공급 전에 변경됩니다. 계정에서 이를 활성화하려면 Azure Databricks 계정 팀에 문의하세요.
Lakehouse//RT 웨어하우스를 사용해 수백에서 수천 명의 동시 사용자가 1초 미만의 응답 시간을 필요로 하는 AI/BI 대시보드를 운영할 수 있습니다. Lakehouse//RT를 사용해 현재의 제한 조건에 맞는 새로운 대시보드를 만들어보세요. 기존 대시보드를 이전하는 것은 권장하지 않습니다. 기존 대시보드는 종종 Lakehouse//RT가 아직 지원하지 않는 Genie, 외부 테이블, 메트릭 뷰 물질화 같은 기능에 의존하기 때문입니다.
올바른 사용법
Lakehouse//RT는 소량의 데이터를 읽는 선택적 쿼리에 대해 1초 미만의 지연 시간을 제공합니다. 대량의 데이터를 스캔하거나 많은 큰 테이블을 연결하는 것과 같은 비용이 많이 드는 쿼리를 가속화하지 않습니다.
Lakehouse//RT 가드레일(가드레일 참조)은 점진적으로 성능을 저하시키는 대신 하드 리밋을 강제하므로, 워크로드를 Lakehouse//RT 웨어하우스로 옮기기 전에 준비하세요:
- 비용이 많이 드는 쿼리를 초기에 필터링해 데이터를 덜 스캔하도록 최적화하세요.
- 대시보드가 스캔하는 것보다 훨씬 적은 데이터를 읽는 경우 구체화된 뷰를 사용해 결과를 사전 집계하세요.
Lakehouse//RT 창고에 대시보드를 설정하세요
Lakehouse//RT에서 실행되는 AI/BI 대시보드를 게시하려면 웨어하우스를 생성하고 대시보드의 웨어하우스로 선택하세요:
- 다른 SQL 웨어하우스와 마찬가지로 Lakehouse//RT 웨어하우스를 만드세요. 레이크하우스 실시간 보기
- 사용자에게 창고에서 사용 가능 이상 권한을 부여합니다. 그 후 웨어하우스는 해당 사용자들을 위해 대시보드 작성 컴퓨트 피커에 표시됩니다.
- 대시보드에서 Lakehouse//RT 웨어하우스를 대시보드의 웨어하우스로 선택하세요.
- 평소처럼 대시보드를 게시하세요.
가드레일
공유되고 지연 시간이 짧은 서비스를 보호하기 위해 Lakehouse//RT는 쿼리당 자원 한도를 강제합니다. 가드레일을 초과하는 대시보드 쿼리는 느리게 실행되지 않고 오류를 반환하므로, 쿼리를 이 제한 내에서 편안하게 유지하도록 설계하세요.
이 값들은 베타 테스트 중에 설정되었으며, 일반 출시 전에 변경될 수 있습니다:
- 쿼리 실행 시간: 2분. Lakehouse//RT는 오래 실행되는 위젯 쿼리를 취소합니다. 이 한계에 근접하는 쿼리는 완료되더라도 1초 미만 목표를 달성하지 못하며, 셔플이나 스필 제한에 도달할 가능성이 더 높습니다. 더 많이 필터링하거나 사전 집계하라는 신호로 간주하세요.
- 문 타임아웃: 기본값은 1분입니다. 문장별 타임아웃은 쿼리 실행 시간 최대 2분 제한까지 설정할 수 있습니다.
- 스테이지당 쓰는 셔플 바이트: 300 GB. 큰 테이블 간의 넓은 조인이나 집계는 이 한계를 초과할 수 있습니다. 쿼리가 이를 초과하면 쿼리 시점에 큰 테이블을 결합하는 대신 구체화된 뷰로 사전 집계하세요.
- Spill 크기: spill이 활성화된 상태에서 30 GB.
- 가지치기 후 파일 목록: 10,000개의 파일, 최대 50,000개까지 조절 가능합니다. 쿼리가 이 한계를 초과하면 파티션 또는 Liquid Clustering 컬럼에서 필터링하여 대시보드가 필요한 파일만 읽도록 하세요.
Limitations
Lakehouse//RT 웨어하우스의 대시보드는 Unity Catalog 관리 테이블만 지원하고 ANSI 호환 쿼리만 지원하는 등 모든 SELECT을 그대로 유지합니다. 쿼리하기 전에 외부 테이블과 같은 다른 테이블 유형을 관리 테이블로 변환하세요.
다음 제한 사항은 Lakehouse//RT 웨어하우스와 함께 게시된 대시보드에 특화된 사항입니다:
- Genie는 지원되지 않습니다.
- 로컬 메트릭 뷰의 구체화는 지원되지 않습니다.
도움받기
Lakehouse//RT에서 대시보드 문제가 계속된다면, 다음 정보를 수집하고 Azure Databricks 지원팀에 연락하세요:
- 표시되는 오류 메시지
- 원본 쿼리 텍스트를 포함한 쿼리 프로필 내보내기
- 회원님의 대시보드로 가는 링크입니다.
- 서버리스 SQL 웨어하우스에서는 같은 오류가 발생하지 않는다는 확인.