Microsoft Purview에서 Azure Databricks Unity 카탈로그에 연결 및 관리(미리 보기)

  • 아티클

이 문서에서는 Azure Databricks를 등록하는 방법과 Microsoft Purview에서 Azure Databricks Unity 카탈로그를 인증하고 상호 작용하는 방법을 간략하게 설명합니다. Microsoft Purview에 대한 자세한 내용은 소개 문서를 참조하세요.

중요

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure Preview에 대한 추가 사용 약관에는 베타, 미리 보기 또는 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 추가 법적 조건이 포함됩니다.

지원되는 기능

메타데이터 추출 전체 검사 증분 검사 범위가 지정된 검사 분류 레이블 지정 액세스 정책 계보 데이터 공유 라이브 보기
예 예 아니요 예 아니요 아니요 아니요 아니요 아니요 아니요

Azure Databricks Unity 카탈로그를 검사할 때 Microsoft Purview는 다음을 지원합니다.

  • 메타스토어
  • 카탈로그
  • 스키마
  • 열을 포함한 테이블
  • 열을 포함한 뷰

검사를 설정할 때 전체 Unity 카탈로그를 검사하도록 선택하거나 카탈로그의 하위 집합에 검사를 scope 수 있습니다.

참고

이 커넥터는 Azure Databricks Unity 카탈로그에서 메타데이터를 가져옵니다. Azure Databricks 작업 영역 범위 메타데이터를 검사하려면 Azure Databricks Hive Metastore 커넥터를 참조하세요.

알려진 제한

  • 현재 Azure Databricks 작업 영역에서 공용 네트워크의 액세스를 허용하지 않거나 Purview 계정이 모든 네트워크에서 액세스를 사용하도록 설정하지 않는 경우 검사는 지원되지 않습니다. 이 지원은 곧 추가됩니다.
  • 개체가 데이터 원본에서 삭제되면 현재 후속 검사에서 Microsoft Purview에서 해당 자산을 자동으로 제거하지 않습니다.

필수 구성 요소

  • 활성 구독이 있는 Azure 계정이 있어야 합니다. 무료로 계정을 만듭니다.

  • 활성 Microsoft Purview 계정이 있어야 합니다.

  • 비밀에 액세스할 수 있는 권한을 Microsoft Purview에 부여하려면 Azure Key Vault 필요합니다.

  • 원본을 등록하고 Microsoft Purview 거버넌스 포털에서 관리하려면 데이터 원본 관리자 및 데이터 읽기 권한자 권한이 필요합니다. 권한에 대한 자세한 내용은 Microsoft Purview의 액세스 제어를 참조하세요.

  • Azure Databricks Unity 카탈로그를 검사하기 위해 Microsoft Purview는 작업 영역의 SQL Warehouse에 연결하고 인증을 위해 개인용 액세스 토큰을 사용합니다. Unity 카탈로그를 사용하도록 설정하고 검사하려는 메타스토어에 연결된 Azure Databricks 작업 영역이 있어야 합니다. Azure Databricks 작업 영역에서 다음을 수행합니다.

    • 개인용 액세스 토큰을 생성하고 Azure Key Vault 비밀로 저장합니다.

      • Microsoft Purview로 가져오려는 모든 개체의 경우 사용자에게 테이블/뷰에 대한 SELECT 권한, 개체 카탈로그의 USE CATALOG 및 개체 스키마의 USE SCHEMA 가 있어야 합니다.

      • Unity 카탈로그 메타스토어의 모든 개체를 검사하려면 메타스토어 관리자 역할이 있는 사용자를 사용합니다. Unity 카탈로그 및 Unity 카탈로그 권한및 보안 개체의 권한 관리에서 자세히 알아보세요.

    • SQL Warehouse를 만듭니다. 해당하는 경우 자동 생성된 스타터 웨어하우스도 사용할 수 있습니다.

      • HTTP 경로를 적어둡니다. Azure Databricks 작업 영역 - SQL Warehouses ->> 웨어하우스 - 연결 세부 정보 ->> HTTP 경로에서 찾을 수 있습니다.

      • 사용자에게 Azure Databricks SQL 웨어하우스에 연결할 수 있는 사용 권한이 있는지 확인합니다. SQL 웨어하우스 액세스 제어에서 자세히 알아보세요.

등록

이 섹션에서는 Microsoft Purview 거버넌스 포털을 사용하여 Microsoft Purview에서 Azure Databricks 작업 영역을 등록하는 방법을 설명합니다.

  1. Microsoft Purview 계정으로 이동합니다.

  2. 왼쪽 창에서 데이터 맵 을 선택합니다.

  3. 등록을 선택하세요.

  4. 원본 등록에서 Azure Databricks Continue를> 선택합니다.

  5. 원본 등록(Azure Databricks) 화면에서 다음을 수행합니다.

    1. 이름에 Microsoft Purview가 데이터 원본으로 나열할 이름을 입력합니다.

    2. Azure 구독 및 Databricks 작업 영역 이름의 경우 드롭다운에서 검사할 구독 및 작업 영역을 선택합니다. Databricks 작업 영역 URL이 자동으로 채워집니다.

    3. 컬렉션 선택에 대해 목록에서 컬렉션을 선택하거나 새 컬렉션을 만듭니다. 이 단계는 선택 사항입니다.

    Azure Databricks 원본 등록 스크린샷

  6. 완료를 선택합니다.

검사

팁

검사와 관련된 문제를 해결하려면 다음을 수행합니다.

  1. 모든 필수 구성 요소를 따랐는지 확인합니다.
  2. 검사 문제 해결 설명서를 검토합니다.

다음 단계를 사용하여 Azure Databricks를 검사하여 자산을 자동으로 식별합니다. 일반적인 검사에 대한 자세한 내용은 Microsoft Purview의 검사 및 수집을 참조하세요.

  1. 원본으로 이동합니다.

  2. 등록된 Azure Databricks를 선택합니다.

  3. + 새 검사를 선택합니다.

  4. 다음 세부 정보를 제공하세요.

    1. 이름: 검사의 이름을 입력합니다.

    2. 추출 방법: Hive Metastore 또는 Unity 카탈로그에서 메타데이터를 추출하도록 지정합니다. Unity 카탈로그를 선택합니다.

    3. 통합 런타임을 통해 연결: 기본 자동 확인 통합 런타임을 선택합니다.

    4. 자격 증명: 자격 증명을 선택하여 데이터 원본에 연결합니다. 다음을 수행해야 합니다.

      • 자격 증명을 만드는 동안 액세스 토큰 인증 을 선택합니다.
      • 적절한 상자의 필수 구성 요소 에서 만든 개인용 액세스 토큰의 비밀 이름을 제공합니다.

      자세한 내용은 Microsoft Purview에서 원본 인증을 위한 자격 증명을 참조하세요.

    5. HTTP 경로: Microsoft Purview가 연결하여 검사를 수행할 Databricks SQL Warehouse의 HTTP 경로를 지정합니다(예: ). /sql/1.0/endpoints/xxxxxxxxxxxxxxxx Azure Databricks 작업 영역 - SQL Warehouses ->> 웨어하우스 - 연결 세부 정보 ->> HTTP 경로에서 찾을 수 있습니다.

  5. 연결 테스트를 클릭하여 설정의 유효성을 검사합니다.

    Azure Databricks Unity 카탈로그 검사를 설정하는 스크린샷.

  6. 계속을 선택합니다.

  7. 검사 범위 페이지에서 검사할 카탈로그를 선택합니다.

    Azure Databricks 검사에 대한 scope 설정하는 스크린샷

  8. 검사 트리거의 경우 일정을 설정할지 아니면 검사를 한 번 실행할지 선택합니다.

  9. 검사를 검토하고 저장 및 실행을 선택합니다.

검사가 성공적으로 완료되면 자산을 찾아보고 검색하는 방법을 참조하세요.

검사 및 검사 실행 보기

기존 검사를 보려면 다음을 수행합니다.

  1. Microsoft Purview 거버넌스 포털로 이동합니다. 왼쪽 창에서 데이터 맵을 선택합니다.
  2. 데이터 원본을 선택합니다. 최근 검사에서 해당 데이터 원본에 대한 기존 검사 목록을 보거나 검사 탭에서 모든 검사를 볼 수 있습니다.
  3. 보려는 결과가 있는 검사를 선택합니다. 창에는 이전의 모든 검사 실행과 각 검사 실행에 대한 상태 및 메트릭이 표시됩니다.
  4. 실행 ID를 선택하여 검사 실행 세부 정보를 검사.

검사 관리

검사를 편집, 취소 또는 삭제하려면 다음을 수행합니다.

  1. Microsoft Purview 거버넌스 포털로 이동합니다. 왼쪽 창에서 데이터 맵을 선택합니다.

  2. 데이터 원본을 선택합니다. 최근 검사에서 해당 데이터 원본에 대한 기존 검사 목록을 보거나 검사 탭에서 모든 검사를 볼 수 있습니다.

  3. 관리하려는 검사를 선택합니다. 그 후에, 다음 작업을 수행할 수 있습니다.

    • 검사 편집을 선택하여 검사를 편집합니다.
    • 검사 실행 취소를 선택하여 진행 중인 검사를 취소합니다.
    • 검사 삭제를 선택하여 검사를 삭제합니다.

참고

  • 검사를 삭제해도 이전 검사에서 만든 카탈로그 자산은 삭제되지 않습니다.
  • 원본 테이블이 변경되고 Microsoft Purview의 스키마 탭에서 설명을 편집한 후 원본 테이블을 다시 검사하면 자산이 더 이상 스키마 변경으로 업데이트되지 않습니다.

자산 찾아보기 및 검색

Azure Databricks를 검사한 후 데이터 카탈로그를 찾아보거나 데이터 카탈로그 를 검색 하여 자산 세부 정보를 볼 수 있습니다.

원본 유형별로 검색할 때 각각 Azure Databricks Unity 카탈로그 및 Azure Databricks 에 대한 두 개의 항목 이 표시됩니다. 전자에는 메타스토어와 해당 카탈로그/스키마/테이블/뷰를 포함한 Unity 카탈로그 아티팩트가 포함되고, 후자는 작업 영역을 포함합니다.

원본 유형별 자산 검색 스크린샷

Azure Databricks 작업 영역 자산에서 속성 탭에서 연결된 Unity 카탈로그를 찾을 수 있습니다. 역방향 적용도 마찬가지입니다.

Azure Databricks 원본을 사용하여 연결된 Unity 카탈로그를 찾는 스크린샷

다음 단계

원본을 등록했으므로 다음 가이드를 사용하여 Microsoft Purview 및 데이터에 대해 자세히 알아보세요.