Azure Data Lake Storage Gen2에 연결하기 위한 스토리지 자격 증명 만들기

  • 아티클

이 문서에서는 Unity 카탈로그에서 스토리지 자격 증명을 만들어 Azure Data Lake Storage Gen2에 연결하는 방법을 설명합니다.

테이블 및 볼륨을 보유하는 기본 클라우드 스토리지에 대한 액세스를 관리하기 위해 Unity 카탈로그는 다음 개체 유형을 사용합니다.

  • 스토리지 자격 증명은 클라우드 스토리지에 대한 액세스를 제공하는 장기 클라우드 자격 증명을 캡슐화합니다.
  • 외부 위치에는 스토리지 자격 증명 및 클라우드 스토리지 경로에 대한 참조가 포함됩니다.

자세한 내용은 Unity 카탈로그를 사용하여 클라우드 개체 스토리지에 커넥트 참조하세요.

Unity Catalog는 Azure Databricks에 대한 두 가지 클라우드 스토리지 옵션인 Azure Data Lake Storage Gen2 컨테이너 및 Cloudflare R2 버킷을 지원합니다. Cloudflare R2는 주로 데이터 송신 요금을 방지하려는 델타 공유 사용 사례를 위한 것입니다. Azure Data Lake Storage Gen2는 대부분의 다른 사용 사례에 적합합니다. 이 문서에서는 Azure Data Lake Storage Gen2 컨테이너에 대한 스토리지 자격 증명을 만드는 데 중점을 둡니다. Cloudflare R2의 경우 Cloudflare R2에 연결하기 위한 스토리지 자격 증명 만들기를 참조하세요.

Azure Data Lake Storage Gen2 컨테이너에 액세스하기 위한 스토리지 자격 증명을 만들려면 Azure 관리 ID를 참조하는 Azure Databricks 액세스 커넥터를 만들어 스토리지 컨테이너에 대한 권한을 할당합니다. 그런 다음 스토리지 자격 증명 정의에서 해당 액세스 커넥터를 참조합니다.

요구 사항

Azure Databricks에서:

  • Unity 카탈로그에 사용할 수 있는 Azure Databricks 작업 영역입니다.

  • CREATE STORAGE CREDENTIAL 작업 영역에 연결된 Unity 카탈로그 메타스토어에 대한 권한입니다. 계정 관리자 및 메타스토어 관리자는 기본적으로 이 권한을 갖습니다.

    참고 항목

    관리 ID를 사용하는 스토리지 자격 증명을 만들려면 서비스 주체에 계정 관리자 역할이 있어야 합니다. 서비스 주체에 위임 CREATE STORAGE CREDENTIAL 할 수 없습니다. 이는 Azure Databricks 서비스 주체와 Microsoft Entra ID(이전의 Azure Active Directory) 서비스 주체 모두에 적용됩니다.

Azure 테넌트에서:

  • 데이터에 액세스하려는 작업 영역과 동일한 지역에 있는 Azure Data Lake Storage Gen2 스토리지 컨테이너입니다.

    Azure Data Lake Storage Gen2 스토리지 계정에는 계층 구조 네임스페이스가 있어야 합니다.

  • Azure 리소스 그룹의 참가자 또는 소유자입니다.

  • 스토리지 계정에서 사용자 액세스 관리사용자 Azure RBAC 역할을 가진 소유자 또는 사용자입니다.

관리 ID를 사용하여 스토리지 자격 증명 만들기

Azure 관리 ID 또는 서비스 주체를 스토리지 컨테이너에 대한 액세스 권한을 부여하는 ID로 사용할 수 있습니다. 관리 ID를 사용하는 것이 좋습니다. Unity Catalog가 네트워크 규칙으로 보호되는 스토리지 계정에 액세스할 수 있다는 장점이 있으며, 서비스 주체를 사용할 수 없으므로 비밀을 관리하고 회전할 필요가 없습니다. 서비스 주체를 사용하려면 서비스 주체(레거시)를 사용하여 Unity 카탈로그 관리 스토리지 만들기를 참조하세요.

  1. Azure Portal에서 Unity 카탈로그에 대한 관리 ID 구성의 지침을 사용하여 Azure Databricks 액세스 커넥터를 만들고 액세스하려는 스토리지 컨테이너에 대한 권한을 할당합니다.

    Azure Databricks 액세스 커넥터는 관리 ID를 Azure Databricks 계정에 연결할 수 있는 자사 Azure 리소스입니다. 스토리지 자격 증명을 추가하려면 Azure의 액세스 커넥터 리소스에 대한 기여자 역할 이상이 있어야 합니다.

    액세스 커넥터의 리소스 ID를 기록해 둡니다.

  2. 권한이 있는 사용자 CREATE STORAGE CREDENTIAL 로 Unity 카탈로그 사용 Azure Databricks 작업 영역에 로그인합니다.

    metastore 관리자 및 계정 관리자 역할에는 모두 이 권한이 포함됩니다. 서비스 주체(Microsoft Entra ID 또는 네이티브 Azure Databricks 서비스 주체)로 로그인한 경우 관리 ID를 사용하는 스토리지 자격 증명을 만들려면 계정 관리자 역할이 있어야 합니다.

  3. 카탈로그를 클릭합니다카탈로그 아이콘.

  4. +추가 단추를 클릭하고 메뉴에서 스토리지 자격 증명 추가를 선택합니다.

    권한이 없는 경우 이 옵션이 표시되지 않습니다 CREATE STORAGE CREDENTIAL .

  5. Azure 관리 ID의 자격 증명 유형을 선택합니다.

  6. 자격 증명의 이름을 입력하고 액세스 커넥터의 리소스 ID를 다음 형식으로 입력합니다.

    /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

  7. (선택 사항) 사용자 할당 관리 ID를 사용하여 액세스 커넥터를 만든 경우 사용자 할당 관리 ID 필드에 관리 ID 의 리소스 ID 를 형식으로 입력합니다.

    /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>

  8. (선택 사항) 사용자가 이 스토리지 자격 증명을 사용하는 외부 위치에 대한 읽기 전용 액세스 권한을 갖도록 하려면 읽기 전용을 선택합니다. 자세한 내용은 스토리지 자격 증명을 읽기 전용으로 표시를 참조하세요.

  9. 저장을 클릭합니다.

  10. 이 스토리지 자격 증명을 참조하는 외부 위치를 만듭니다.

다음 단계

스토리지 자격 증명을 사용할 수 있는 권한을 다른 사용자에게 보고, 업데이트하고, 삭제하고, 부여할 수 있습니다. 스토리지 자격 증명 관리를 참조하세요.

스토리지 자격 증명을 사용하여 외부 위치를 정의할 수 있습니다. 클라우드 스토리지를 Azure Databricks에 연결하는 외부 위치 만들기를 참조 하세요.