외부 시스템 액세스를 위한 Unity 카탈로그 자격 증명 자동 판매기

중요하다

이 기능은 공개 프리뷰입니다.

팁

Microsoft Fabric 사용하여 Azure Databricks 데이터를 읽는 방법에 대한 자세한 내용은 Microsoft Fabric 사용하여 Unity 카탈로그에 등록된 데이터를 읽습니다.

이 페이지에서는 Unity 카탈로그 자격 증명 자동 판매 기능이 외부 처리 엔진에서 Azure Databricks 데이터에 대한 액세스를 지원하는 방법을 설명합니다.

자격 증명 자동 판매는 Unity REST API 및 Apache Iceberg REST 카탈로그를 사용하여 Unity 카탈로그에 연결하는 외부 시스템을 지원합니다. 외부 시스템을 사용하여 델타 클라이언트에서 Databricks 테이블에액세스하고 Databricks 데이터에 액세스하는 것을 참조하세요.

Unity 카탈로그 자격 증명 자동 판매기가란?

자격 증명 발급은 Unity 카탈로그 REST API를 통해 수명이 짧은 자격 증명을 부여합니다. 부여된 자격 증명은 통합을 구성하는 데 사용되는 Azure Databricks 보안 주체의 권한을 상속합니다. 다음과 같은 두 가지 유형의 자격 증명 자동 판매기가 있습니다.

  • 테이블 자격 증명 자동 판매는 Unity 카탈로그 메타스토어에 등록된 데이터에 대한 액세스를 제공합니다.
  • 경로 자격 증명 발급 기능은 Unity 카탈로그 메타스토어의 외부 위치에 대한 접근 권한을 제공합니다.

요구 사항

테이블 자격 증명 자동 판매기

테이블 자격 증명에는 외부 엔진이 클라우드 스토리지 위치에서 테이블 데이터 및 메타데이터에 액세스하는 데 사용할 수 있는 수명이 짧은 액세스 토큰 문자열 및 클라우드 스토리지 위치 URL이 포함됩니다.

지원되는 액세스 유형

테이블 자격 증명 자동 판매는 다음 테이블 형식 및 작업을 지원합니다.

테이블 형식 Read 작성하다 Create
관리되는 델타 예 예* 예*
외부 델타 예 예 예
관리되는 빙산 예 예 예
Iceberg 읽기가 있는 델타(UniForm) 예 Yes** No

* 델타 클라이언트에서 Unity 카탈로그 관리 테이블을 만들고 쓰는 작업은 베타 버전입니다.

델타 클라이언트에서 UniForm 테이블에 외부 쓰기를 한 후 MSCK REPAIR TABLE를 실행하여 Iceberg 메타데이터를 생성합니다.

메모

일부 클라이언트는 Delta Lake에서 지원하는 테이블에 대한 액세스를 지원하지만 다른 클라이언트는 테이블에서 Iceberg 읽기(UniForm)를 사용하도록 설정해야 합니다. Iceberg 클라이언트를 사용하여 델타 테이블 읽기를참조하세요.

외부 데이터 액세스를 위한 임시 테이블 자격 증명 요청

자격 증명 제공 지원은 외부 클라이언트에 따라 다릅니다. 지원되는 경우, 연결이 구성될 때 클라이언트는 제공된 자격 증명을 자동으로 활용해야 합니다.

이 섹션에서는 자격 증명 자동 판매기 API 엔드포인트를 명시적으로 호출하는 예제를 제공합니다. 외부의 일부 클라이언트는 Unity 카탈로그 테이블을 지원하는 클라우드 오브젝트 스토리지의 데이터와 메타데이터에 액세스하기 위해 구성을 명시적으로 설정해야 할 수 있습니다. 자격 증명 자동 판매기에서 반환된 값을 사용하여 액세스를 구성할 수 있습니다.

메모

include_manifest_capabilities 옵션을 사용하도록 설정된 ListTables API를 호출하여 자격 증명 자동 판매기를 지원하는 테이블 목록을 검색할 수 있습니다. HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT 또는 HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT 표시된 테이블만 임시 테이블 자격 증명 API에서 참조할 수 있습니다. GET /api/2.1/unity-catalog/tables를 참조하세요.

다음 curl 예제에서는 외부 데이터 액세스를 위해 임시 자격 증명을 명시적으로 요청합니다. 이 요청은 충분한 권한이 있는 작업 영역 주체가 완료해야 합니다.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation": "<READ|READ_WRITE>"}'

자세한 내용은 Azure Databricks REST API 참조에서 POST /api/2.1/unity-catalog/temporary-table-credentials 참조하세요.

제한점

다음과 같은 제한 사항이 있습니다.

  • 모든 외부 클라이언트가 자격 증명 자동 판매기를 지원하는 것은 아니며 기본 클라우드 개체 스토리지에 따라 지원이 달라질 수 있습니다.
  • Unity 카탈로그 관리 테이블 및 Unity 카탈로그 외부 테이블만 지원됩니다.
  • 다음 표 형식 또는 기능이 활성화된 테이블은 지원되지 않습니다.
    • 행 필터 또는 열 마스크가 적용된 테이블.
    • 델타 공유를 사용하여 공유된 테이블입니다.
    • Lakehouse 통합 테이블(외부 테이블).
    • 조회수
    • 구체화된 보기.
    • Lakeflow Spark 선언적 파이프라인의 스트리밍 테이블들.
    • 온라인 테이블.
    • 벡터 검색 인덱스입니다.
  • 자격 증명 새로 고침은 Iceberg 1.9.0에서 지원되지 않습니다. 자격 증명 새로 고침을 위해 최신 Iceberg 릴리스를 사용합니다.

경로 자격 증명 자동 판매기

발급된 자격 증명을 사용하면 관련 경로로 범위가 지정된 클라우드 스토리지 위치에 직접 액세스할 수 있습니다. 제한된 시간 동안 유효하며 정의된 위치 또는 테이블 이외의 광범위한 액세스 권한을 부여하지 않습니다.

외부 데이터 액세스를 위한 임시 경로 자격 증명 요청

자격 증명 제공 지원은 외부 클라이언트에 따라 다릅니다. 지원되는 경우, 연결이 구성될 때 클라이언트는 제공된 자격 증명을 자동으로 활용해야 합니다.

이 섹션에서는 자격 증명 자동 판매기 API 엔드포인트를 명시적으로 호출하는 예제를 제공합니다. 외부의 일부 클라이언트는 Unity 카탈로그 테이블을 지원하는 클라우드 오브젝트 스토리지의 데이터와 메타데이터에 액세스하기 위해 구성을 명시적으로 설정해야 할 수 있습니다. 자격 증명 자동 판매기에서 반환된 값을 사용하여 액세스를 구성할 수 있습니다.

다음 curl 예제에서는 외부 데이터 액세스를 위해 임시 자격 증명을 명시적으로 요청합니다. 이 요청은 충분한 권한이 있는 작업 영역 주체가 완료해야 합니다.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

자세한 내용은 Azure Databricks REST API 참조에서 임시 경로 자격 증명 생성을 참조하세요.

  • Last updated on