카탈로그 만들기
이 문서에서는 Unity 카탈로그에서 카탈로그를 만드는 방법을 보여 줍니다. 카탈로그에는 스키마(데이터베이스)가 포함되고 스키마에는 테이블, 뷰, 볼륨, 모델 및 함수가 포함됩니다.
카탈로그에 대한 자세한 내용은 Azure Databricks의 카탈로그란?을 참조하세요.
참고 항목
외부 데이터 시스템의 데이터베이스를 미러링하는 Unity 카탈로그 개체인 외세의 카탈로그를 만드는 방법을 알아보려면 외국 카탈로그 만들기를 참조하세요. 또한 외국 카탈로그 관리 및 작업도 참조하세요.
요구 사항
카탈로그 유형에 관계없이 카탈로그를 만들려면 다음을 수행합니다.
- Azure Databricks 메타스토어 관리자이거나
CREATE CATALOGmetastore에 대한 권한이 있어야 합니다. - 카탈로그를 만들기 위해 Notebook을 실행하는 데 사용하는 컴퓨팅 리소스는 Databricks Runtime 11.3 이상에 있어야 하며 Unity 카탈로그 규격 액세스 모드를 사용해야 합니다. 액세스 모드를 참조하세요. SQL 웨어하우스는 항상 Unity 카탈로그를 지원합니다.
공유 카탈로그를 만들려면 다음을 수행합니다.
- 델타 공유 공유는 작업 영역에 이미 있어야 합니다. 팀에서 공유 데이터를 사용할 수 있도록 어떻게 할까요? 참조하세요.
- metastore 관리자이거나 metastore
USE PROVIDER에 대한 권한이 있거나 공유를 포함하는 공급자 개체를 소유해야 합니다.
표준 카탈로그를 만들려면 다음을 수행합니다.
- 카탈로그의 관리되는 스토리지 위치를 지정하는 경우 대상 외부 위치에 대한 권한이 있어야 합니다
CREATE MANAGED STORAGE. - 메타스토어 수준 관리 스토리지가 없는 경우 카탈로그의 관리되는 스토리지 위치를 지정해야 합니다 .
외국 카탈로그를 만들려면:
- 외부 카탈로그를 만드는 데 사용하는 연결의 소유자이거나
CREATE FOREIGN CATALOG연결에 대한 권한이 있어야 합니다. - Databricks Runtime 13.1 이상에서 컴퓨팅을 사용해야 합니다. SQL 웨어하우스는 프로 또는 서버리스여야 합니다.
카탈로그 만들기
카탈로그를 만들려면 카탈로그 탐색기, SQL 명령, REST API, Databricks CLI 또는 Terraform을 사용할 수 있습니다. 카탈로그를 만들면 default 및 information_schema라는 두 개의 스키마(데이터베이스)가 자동으로 만들어집니다.
카탈로그 탐색기
메타스토어에 연결된 작업 영역에 로그인합니다.
카탈로그를 클릭합니다.카탈로그 만들기 단추를 클릭합니다.
새 카탈로그 만들기 대화 상자에서 카탈로그 이름을 입력하고 만들 카탈로그 유형을 선택합니다.
- 표준 카탈로그: Unity 카탈로그에서 관리하는 데이터 및 AI 자산을 구성하는 보안 개체입니다. Lakehouse 페더레이션 및 델타 공유 공유에서 만든 카탈로그를 제외한 모든 사용 사례.
- 외부 카탈로그: Lakehouse Federation을 사용하여 외부 데이터 시스템의 데이터베이스를 미러링하는 보안 개체입니다. Lakehouse 페더레이션 설정 개요를 참조하세요.
- 공유 카탈로그: 델타 공유 공유로 사용자와 공유되는 데이터 및 기타 자산을 구성하는 보안 개체입니다. 공유에서 카탈로그를 만들면 작업 영역의 사용자가 해당 자산을 읽을 수 있습니다. 공유란?을 참조하세요.
카탈로그 유형에 따라 다음 옵션을 지정합니다.
표준 카탈로그의 경우: 선택 사항이지만 관리 되는 스토리지 위치를 지정하는 것이 좋습니다. 관리되는 스토리지 위치로 사용하는 대상 외부 위치에 대한 권한이 있어야 합니다
CREATE MANAGED STORAGE. Unity 카탈로그에서 관리되는 스토리지 위치 지정을 참조하세요.필요에 따라 정의된 외부 위치의 하위 경로를 지정할 수 있습니다. 정의된 외부 위치가 없는 경우 새 외부 위치 만들기를 클릭하여 만들 수 있습니다.
Important
작업 영역에 메타스토어 수준 스토리지 위치 가 없는 경우 카탈로그를 만들 때 관리되는 스토리지 위치를 지정해야 합니다 .
외장 카탈로그의 경우: 외부 데이터베이스 시스템에 액세스하기 위한 경로 및 자격 증명을 지정하는 Unity 카탈로그의 보안 개체인 Connection을 선택해야 합니다. Lakehouse 페더레이션 설정 개요를 참조하세요.
연결을 선택하면 미러링할 데이터베이스 또는 기타 Databricks 카탈로그의 이름을 입력합니다.
요구 사항은 데이터 원본에 따라 다릅니다.
- MySQL은 2층 네임스페이스를 사용하므로 데이터베이스 이름이 필요하지 않습니다.
- 다른 Databricks 작업 영역의 카탈로그에 연결하려면 데이터베이스 이름 대신 Databricks 카탈로그 이름을 입력합니다.
정의된 연결이 없는 경우 새 연결 만들기를 클릭하여 연결을 만들 수 있습니다.
공유 카탈로그의 경우: 공급자와 공유를 선택해야 합니다. 공급자를 선택하면 공급자의 공유 중 하나를 선택할 수 있습니다.
원하는 공급자와 공유를 잘 모르는 경우 카탈로그 탐색기 브라우저를 사용하여 공급자 및 공유를 더 쉽게 찾아보거나 검색할 수 있습니다. 공급자 보기 및 공급자가 공유한 보기 공유를 참조하세요.
만들기를 클릭합니다.
카탈로그 생성! 대화 상자에서 카탈로그 보기를 클릭하여 카탈로그를 자동으로 구성하거나 카탈로그 구성(권장)을 클릭하여 카탈로그 사용 권한, 작업 영역 바인딩 및 메타데이터를 구성합니다.
카탈로그 보기를 클릭하면 메타스토어에 연결된 모든 작업 영역에서 카탈로그에 액세스할 수 있으며
BROWSE모든 계정 사용자에게 권한이 부여됩니다. 이 절차의 나머지 단계를 건너뛰고 카탈로그에 스키마를 추가할 수 있습니다. 스키마 만들기를 참조 하세요.언제든지 카탈로그 탐색기의 카탈로그 세부 정보 페이지로 돌아가 소유자, 태그, 주석, 작업 영역 바인딩, 사용 권한 및 스키마를 업데이트할 수 있습니다.
카탈로그 작업 영역 구성 페이지에서 카탈로그 > 가 바인딩된 작업 영역을 지정합니다.
기본적으로 카탈로그는 현재 메타스토어에 연결된 모든 작업 영역과 공유됩니다. 카탈로그에 특정 작업 영역으로 제한해야 하는 데이터가 포함된 경우 모든 작업 영역에 액세스 권한이 있는 옵션을 선택 취소하고 작업 영역에 할당 단추를 사용하여 해당 작업 영역을 추가합니다. 현재 작업 영역을 포함해야 합니다.
작업 영역을 할당한 후 필요에 따라 기본 읽기 및 쓰기 액세스 수준을 읽기 전용으로 변경할 수 있습니다. 목록에서 작업 영역을 선택하고 액세스 수준 관리 단추를 클릭합니다.
자세한 내용은 특정 작업 영역에 대한 카탈로그 액세스 제한을 참조하세요.
다음을 클릭하여 카탈로그에 대한 사용 권한을 할당합니다.
모든 계정 사용자에게는
BROWSE기본적으로 권한이 있으므로 데이터에 대한 읽기 액세스 권한 없이 카탈로그 메타데이터를 검색할 수 있습니다.사용자, 그룹 또는 서비스 주체에게 권한을 부여하려면 권한 부여를 클릭하고 Unity 카탈로그 권한 및 보안 개체의 지침을 따릅니다.
선택적 태그 및 메모 메타데이터를 추가하려면 [다음]을 클릭합니다.
태그는 데이터 자산의 검색 및 검색을 간소화하기 위해 카탈로그를 구성하고 분류하는 데 사용할 수 있는 키-값 쌍입니다. 값은 선택 사항입니다. Unity 카탈로그 보안 개체에 태그 적용을 참조하세요.
주석은 사용자가 카탈로그에서 데이터 자산을 검색하는 데 도움이 되는 설명을 제공하는 데 자주 사용되는 개방형 필드입니다. 데이터 및 AI 자산에 주석 추가를 참조하세요.
저장을 클릭합니다.
카탈로그에 스키마 및 데이터 개체를 추가합니다.
스키마 만들기를 참조 하세요.
카탈로그 탐색기를 사용하여 카탈로그를 만든 후 언제든지 소유자, 태그, 메모, 작업 영역 바인딩 및 권한을 업데이트할 수 있습니다.
SQL
표준 카탈로그를 만들려면 Notebook 또는 SQL 쿼리 편집기에서 다음 SQL 명령을 실행합니다. 괄호 안의 항목은 선택 사항입니다. 자리 표시자 값을 바꿉니다.
<catalog-name>: 카탈로그의 이름입니다.<location-path>: 선택 사항이지만 강력하게 권장됩니다. 이 카탈로그의 관리 테이블을 메타스토어에 대해 구성된 기본 루트 스토리지와 다른 위치에 저장하려면 스토리지 위치 경로를 제공합니다.Important
작업 영역에 메타스토어 수준 스토리지 위치가 없는 경우 카탈로그를 만들 때 관리되는 스토리지 위치를 지정해야 합니다.
이 경로는 외부 위치 구성에서 정의해야 하며 외부 위치 구성에 대한 권한이 있어야 합니다
CREATE MANAGED STORAGE. 외부 위치 구성에 정의된 경로 또는 하위 경로(즉,'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance'또는'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product')를 사용할 수 있습니다.<comment>: 선택적 설명 또는 기타 설명입니다.
CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
[ MANAGED LOCATION '<location-path>' ]
[ COMMENT <comment> ];
예를 들어, 이름이 example인 카탈로그를 만들려면 다음을 수행합니다.
CREATE CATALOG IF NOT EXISTS example;
공유 카탈로그를 만들려면 Notebook 또는 SQL 쿼리 편집기에서 다음 명령을 실행합니다. 괄호 안의 항목은 선택 사항입니다.
CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];
외장 카탈로그를 만들려면 Notebook 또는 SQL 쿼리 편집기에서 다음 명령을 실행합니다. 괄호 안의 항목은 선택 사항입니다. 자리 표시자 값을 바꿉니다.
<catalog-name>: Azure Databricks의 카탈로그 이름입니다.<connection-name>: 데이터 원본, 경로 및 액세스 자격 증명을 지정하는 연결 개체입니다.<database-name>: Azure Databricks에서 카탈로그로 미러링하려는 데이터베이스의 이름입니다. 2층 네임스페이스를 사용하는 MySQL에는 필요하지 않습니다. Databricks-to-Databricks Lakehouse 페더레이션의 경우 대신 사용합니다catalog '<external-catalog-name>'.<external-catalog-name>: Databricks-Databricks에만 해당 : 미러링 중인 외부 Databricks 작업 영역의 카탈로그 이름입니다. 다른 Databricks 작업 영역에서 페더레이션된 쿼리 실행을 참조 하세요.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];
외장 카탈로그 만들기도 참조하세요.
작업 영역 카탈로그 바인딩이라고도 하는 계정의 특정 작업 영역에 대한 카탈로그 액세스를 제한하려면 특정 작업 영역에 대한 카탈로그 액세스 제한을 참조 하세요.
자세한 매개 변수 설명은 CREATE CATALOG를 참조 하세요.
카탈로그를 만든 후 카탈로그에 권한을 할당합니다. Unity 카탈로그 권한 및 보안 개체를 참조하세요.
기타
Terraform: Databricks Terraform 공급자 및 databricks_catalog 사용하여 카탈로그를 만들 수 있습니다. databricks_catalogs 사용하여 카탈로그에 대한 정보를 검색할 수 있습니다.
REST API: POST /api/2.1/unity-catalog/catalogs를 사용합니다.
Databricks CLI: databricks catalogs create <catalog-name> [options] 옵션 목록을 보려면 다음을 실행 databricks catalogs create -h합니다. 옵션은 API 참조에도 설명되어 있습니다. 이전 단락의 API 링크를 따릅니다.
카탈로그를 만든 후 카탈로그에 권한을 할당합니다. Unity 카탈로그 권한 및 보안 개체를 참조하세요.