Lakehouse 스키마(미리 보기)란?
Lakehouse는 사용자 지정 스키마 만들기를 지원합니다. 스키마를 사용하면 더 나은 데이터 검색, 액세스 제어 등을 위해 테이블을 그룹화할 수 있습니다.
Lakehouse 스키마 만들기
Lakehouse에 대한 스키마 지원을 사용하도록 설정하려면 Lakehouse 스키마(공개 미리 보기) 옆에 있는 확인란을 선택합니다.
Important
작업 영역 이름은 미리 보기 제한으로 인해 영숫자 문자만 포함해야 합니다. 작업 영역에서 특수 문자를 사용하는 경우 일부 Lakehouse 기능이 작동하지 않습니다.
Lakehouse를 만든 후에는 테이블 아래에서 dbo라는 기본 스키마를 찾을 수 있습니다. 이 스키마는 항상 존재하며 변경하거나 제거할 수 없습니다. 새 스키마를 만들려면 테이블을 마우스로 가리키고 ...를 선택하고 새 스키마를 선택합니다. 스키마 이름을 입력하고 만들기를 선택합니다. 테이블 아래에 스키마가 사전순으로 나열됩니다.
Lakehouse 스키마에 테이블 저장
스키마에 테이블을 저장하려면 스키마 이름이 필요합니다. 그렇지 않으면 기본 dbo 스키마로 이동합니다.
df.write.mode("Overwrite").saveAsTable("contoso.sales")
Lakehouse Explorer를 사용하여 테이블을 정렬하고 테이블 이름을 다른 스키마로 끌어서 놓을 수 있습니다.
주의
테이블을 수정하는 경우 Notebook 코드 또는 데이터 흐름과 같은 관련 항목도 업데이트하여 올바른 스키마와 정렬되도록 해야 합니다.
스키마 바로 가기를 사용하여 여러 테이블 가져오기
다른 Fabric Lakehouse 또는 외부 스토리지에서 여러 델타 테이블을 참조하려면 선택한 스키마 또는 폴더 아래에 모든 테이블을 표시하는 스키마 바로 가기를 사용합니다. 원본 위치의 테이블에 대한 변경 내용도 스키마에 표시됩니다. 스키마 바로 가기를 만들려면 테이블을 마우스로 가리키고 ...를 선택하고 새 스키마 바로 가기를 선택합니다. 그런 다음, 다른 Lakehouse의 스키마 또는 외부 스토리지(예: ADLS(Azure Data Lake Storage) Gen2와 같은 Delta 테이블이 있는 폴더를 선택합니다. 그러면 참조된 테이블이 있는 새 스키마가 만들어집니다.
Power BI 보고를 위한 Lakehouse 스키마 액세스
참고 항목
수정 사항이 배포될 때까지 SQL Analytics 엔드포인트를 사용할 수 없습니다. SQL Analytics 엔드포인트, 의미 체계 모델 및 Power BI 보고는 그때까지 작동하지 않습니다.
의미 체계 모델을 만들려면 사용하려는 테이블을 선택하기만 하면 됩니다. 테이블은 서로 다른 스키마에 있을 수 있습니다. 다른 스키마의 테이블이 동일한 이름을 공유하는 경우 모델 보기에서 테이블 이름 옆에 숫자가 표시됩니다.
Notebook의 Lakehouse 스키마
Notebook 개체 탐색기에서 스키마가 설정된 Lakehouse를 보면 테이블이 스키마에 있는 것을 볼 수 있습니다. 테이블을 코드 셀로 끌어서 놓고 테이블이 있는 스키마를 참조하는 코드 조각을 가져올 수 있습니다. 코드의 테이블을 참조하려면 이 네임스페이스를 사용합니다. "workspace.lakehouse.schema.table". 요소를 제외하면 실행기에서 기본 설정을 사용합니다. 예를 들어 테이블 이름만 지정하는 경우 Notebook에 대한 기본 Lakehouse의 기본 스키마(dbo)를 사용합니다.
Important
코드에서 스키마를 사용하려면 Notebook의 기본 Lakehouse가 스키마를 사용하도록 설정되어 있는지 확인합니다.
작업 영역 간 Spark SQL 쿼리
네임스페이스 "workspace.lakehouse.schema.table"을 사용하여 코드의 테이블을 참조합니다. 이렇게 하면 코드를 실행하는 사용자에게 테이블에 액세스할 수 있는 권한이 있는 경우 다른 작업 영역의 테이블을 조인할 수 있습니다.
SELECT *
FROM operations.hr.hrm.employees as employees
INNER JOIN global.corporate.company.departments as departments
ON employees.deptno = departments.deptno;
Important
스키마가 사용하도록 설정된 Lakehouse에서만 테이블을 조인해야 합니다. 스키마가 활성화되지 않은 Lakehouse의 테이블 조인은 작동하지 않습니다.
공개 미리 보기 제한 사항
아래에 나열된 지원되지 않는 기능/기능은 현재 공개 미리 보기 릴리스에 대한 것입니다. 일반 공급 전에 향후 릴리스에서 해결될 예정입니다.
| 지원되지 않는 특징/기능 | 주의 |
|---|---|
| SQL 분석 엔드포인트 | 수정 사항이 배포될 때까지 SQL Analytics 엔드포인트를 사용할 수 없습니다. SQL Analytics 엔드포인트, 의미 체계 모델 및 Power BI 보고는 그때까지 작동하지 않습니다. |
| Non-Delta, 관리되는 테이블 스키마 | 관리되는 Delta 형식이 아닌 테이블(예: CSV)에 대한 스키마 가져오기는 지원되지 않습니다. Lakehouse 탐색기에서 이러한 테이블을 확장해도 UX에 스키마 정보가 표시되지 않습니다. |
| 외부 Spark 테이블 | 외부 Spark 테이블 작업(예: 검색, 스키마 가져오기 등)은 지원되지 않습니다. 이러한 테이블은 UX에서 식별되지 않습니다. |
| 퍼블릭 API | 공용 API(테이블 나열, 테이블 로드, defaultSchema 확장 속성 노출 등)는 스키마 사용 Lakehouse에 대해 지원되지 않습니다. 스키마를 사용하도록 설정된 Lakehouse에서 호출된 기존 공용 API는 오류를 발생합니다. |
| 테이블 유지 관리 | 지원되지 않습니다. |
| 테이블 속성 업데이트 | 지원되지 않습니다. |
| Spark 3.5 | Spark 3.5 런타임은 지원되지 않습니다. |
| 특수 문자가 포함된 작업 영역 이름 | 특수 문자(예: 공백, 슬래시)가 있는 작업 영역은 지원되지 않습니다. 사용자 오류가 표시됩니다. |
| Spark 보기 | 지원되지 않습니다. |
| Hive 특정 기능 | 지원되지 않습니다. |
USE <schemaName> |
작업 영역 간은 작동하지 않지만 동일한 작업 영역 내에서 지원됩니다. |
| 마이그레이션 | 기존 비 스키마 Lakehouse를 스키마 기반 Lakehouses로 마이그레이션하는 것은 지원되지 않습니다. |