사용자 지정 분류자

Important

이 기능은 베타 버전으로 제공됩니다. 작업 영역 관리자는 미리 보기 페이지에서 이 기능에 대한 액세스를 제어할 수 있습니다. Azure Databricks 미리 보기 관리를 참조하세요.

이 페이지에서는 Unity 카탈로그에서 Databricks 데이터 분류에 대한 사용자 지정 분류자를 만들고 관리하는 방법을 설명합니다. 사용자 지정 분류자는 내부 직원 ID, 독점 제품 코드, 공급업체 식별자 또는 파트너 계정 번호와 같이 조직과 관련된 중요한 데이터를 검색할 수 있도록 기본 제공 분류 시스템을 확장합니다.

사용자 지정 분류자를 만들려면 먼저 관리 태그를 선택합니다. 그런 다음, 감지할 데이터를 설명하고, 대표 값이 포함된 샘플 열 또는 둘 다를 제공합니다. Azure Databricks 분류자에서 검색하는 내용의 미리 보기를 생성하므로 저장하기 전에 검토할 수 있습니다. 그런 다음, 데이터 분류자는 정기적으로 검색하는 동안 이 분류자를 검색합니다.

사용자 지정 분류자를 사용하여 다음을 수행할 수 있습니다.

메모

사용자 지정 분류자 구성 및 샘플 열에서 Azure Databricks 생성하는 검색 메타데이터는 미사용 시 암호화됩니다. 시스템 카탈로그에서 CMK(고객 관리형 키) 를 사용하여 암호화 키를 관리할 수 있습니다. 시스템 카탈로그에서 CMK를 구성하면 사용자 지정 분류자 데이터뿐만 아니라 시스템 카탈로그의 모든 데이터가 암호화됩니다.

카탈로그 탐색기의 시스템 카탈로그에서 고객 관리형 키를 구성합니다.

Requirements

  • 메타스토어에서 하나 이상의 카탈로그에서 데이터 분류를 사용하도록 설정해야 합니다. 데이터 분류 사용을 참조하세요.
  • 작업 영역에 서버리스 컴퓨팅을 사용할 수 있어야 하며, Unity 카탈로그를 사용하는 작업 영역에서는 기본적으로 활성화됩니다.
  • 사용자 지정 분류자를 만들거나 편집하거나 삭제하려면 metastore 관리자여야 합니다.
  • 사용자 지정 분류자를 만들거나 편집하려면 분류자에서 사용하는 관리 태그에 대한 권한이 있어야 합니다 ASSIGN . 관리 태그에 대한 권한 관리를 참조하세요.
  • 분류자의 샘플 열을 선택하려면 해당 열이 포함된 테이블에 있어야 합니다 SELECT . Azure Databricks 열을 샘플링하여 미리 보기를 생성합니다.

사용자 지정 분류자 만들기

  1. 데이터 분류 결과 페이지에서 사용자 지정 분류자 관리를 클릭합니다.

    데이터 분류 결과 페이지의 사용자 지정 분류자 관리 단추입니다.

  2. 사용자 지정 분류자 쪽 패널에서 분류자 추가를 클릭합니다.

  3. 태그를 선택합니다. 기존 제어 태그를 선택하거나 새 태그를 만들어 인라인을 정의합니다. 태그에 허용되는 값이 있는 경우 검색할 특정 값을 선택합니다.

    태그 선택 단계가 활성 상태인 사용자 지정 분류자 추가 마법사는 축소된 분류자 정의 및 분류자 생성 단계 위에 관리되는 태그 선택기를 표시합니다.

  4. 분류자를 정의합니다. 설명, 샘플 열 또는 둘 다를 제공하여 Azure Databricks가 검색할 항목을 파악하도록 하세요:

    • 분류하는 방법 설명에서 일반 언어로 검색할 데이터를 설명합니다(예: Columns that store a person's contact details.).
    • 샘플 데이터 열 선택에서 카탈로그 트리를 찾아 클래스의 대표 값을 포함하는 최대 10개의 열을 선택합니다.

    효과적인 설명을 작성하고 좋은 샘플 열을 선택하는 방법은 분류자 정의를 참조하세요.

    사용자 지정 분류자 추가 마법사의 분류자 정의 단계로, 두 개의 열이 선택된 ‘샘플 데이터 열 선택’ 카탈로그 브라우저 위에 ‘텍스트를 분류하는 방법 설명’ 필드가 표시되어 있습니다.

  5. 분류자를 생성합니다. Azure Databricks 분류자에서 검색하는 내용의 미리 보기를 생성합니다. 결과를 조정하려면 설명 또는 샘플 열을 편집하고 미리 보기가 다시 생성됩니다. 분류자 미리 보기를 참조하세요.

    사용자 지정 분류자 추가 마법사의 분류자 생성 단계에서는 생성된 분류자 미리 보기에 일반 언어 요약 및 열 이름과 샘플 값을 나열하는 샘플 열 카드가 표시됩니다.

  6. 만들기를 클릭합니다. 이 단추는 미리 보기가 생성될 때까지 사용하지 않도록 유지됩니다.

사용자 지정 분류기의 탐지 결과는 일반적으로 몇 시간 내에 결과 페이지에 표시됩니다.

분류자 정의

설명, 샘플 열 또는 둘 다를 사용하여 사용자 지정 분류자를 정의합니다.

설명은 데이터가 나타내는 것을 설명하고 Azure Databricks 분류자를 생성하는 방식에 직접적인 영향을 줍니다. 설명을 사용하여 Azure Databricks 일치 항목을 포함하거나 제외하도록 가르칠 수 있습니다(예: "공용 지원 또는 판매 라인이 아닌 개별 고객에게 속한 전화 번호").

샘플 열은 Azure Databricks 샘플링할 데이터의 모양을 학습하는 데 도움이 됩니다. 열을 샘플로 사용하려면 테이블에 대한 권한이 필요합니다 SELECT .

사용자 지정 분류자는 데이터 분류를 사용하도록 설정된 메타스토어의 모든 카탈로그에 적용됩니다. 카탈로그별 또는 스키마별 범위 지정은 지원되지 않습니다.

분류기 미리 보기

사용자 지정 분류자를 저장하기 전에 Azure Databricks 해당 검색 규칙을 확인할 수 있도록 미리 보기를 생성합니다. 미리 보기에서는 분류자에서 일반 언어로 검색하는 항목을 설명하고 일치하는 샘플 열 이름 및 값을 보여 줍니다.

미리 보기의 열과 값은 실제 테이블 데이터가 아닌 AI 생성 예제입니다. 미리 보기가 검색하려는 것과 일치하지 않는 경우 설명 또는 샘플 열을 편집하여 새 미리 보기를 생성합니다.

사용자 지정 분류자 관리

사용자 지정 분류자 쪽 패널에는 메타스토어에 대해 구성된 모든 사용자 지정 분류자가 나열됩니다. 이 패널에서 태그 이름으로 검색하거나, 기존 분류자를 편집하거나, 분류자를 삭제할 수 있습니다.

사용자 지정 분류자 측면 패널의 사용자 지정 분류자 목록입니다.

사용자 지정 분류자 편집

기존 사용자 지정 분류기를 업데이트하려면 다음을 수행합니다.

  1. 사용자 지정 분류자 쪽 패널에서 편집할 사용자 지정 분류자를 선택합니다. 편집 보기에는 분류자의 저장된 설명, 샘플 열 및 미리 보기가 표시됩니다.
  2. 설명을 편집하거나 샘플 열을 추가하거나 제거합니다. Azure Databricks 미리 보기를 자동으로 다시 생성합니다.
  3. 미리 보기가 올바르면 업데이트를 클릭합니다.

이전 구성에서의 기존 탐지는 그대로 유지됩니다.

사용자 지정 분류자를 만든 후에는 제어 태그 및 태그 값을 변경할 수 없습니다. 다른 태그로 전환하려면 사용자 지정 분류자를 삭제하고 새 태그를 만듭니다.

사용자 지정 분류자 삭제

  1. 사용자 지정 분류자 쪽 패널에서 삭제할 사용자 지정 분류자를 선택합니다.
  2. 삭제를 클릭합니다.
  3. 삭제를 확인하십시오.

사용자 지정 분류자를 삭제하는 경우:

  • 해당 분류자에 대해 새로운 탐지가 생성되지 않습니다.
  • 기존 탐지 항목은 데이터 분류 결과 페이지에서 제거됩니다.
  • 열에 이미 자동 적용된 태그는 자동으로 제거되지 않습니다.

사용자 지정 분류기의 감지 결과 보기

사용자 지정 분류자 검색을 보려면 기본 제공 분류와 동일한 단계를 수행합니다. 분류 결과 보기를 참조하세요.

Limitations

  • 메타스토어당 최대 50개의 사용자 지정 분류자를 만들 수 있습니다.
  • 각 사용자 지정 분류자는 설명, 샘플 열 또는 둘 다 있어야 합니다. 최대 10개의 샘플 열을 참조할 수 있습니다.
  • 관리 태그 명명은 태그 정책 규칙의 적용을 받습니다.
  • 사용자 지정 분류자는 메타스토어의 모든 데이터 분류 지원 카탈로그에 적용됩니다. 카탈로그별 또는 스키마별 범위 지정은 지원되지 않습니다.
  • 사용자 지정 분류자에서 사용하는 관리 태그는 만든 후에 변경할 수 없습니다. 다른 태그를 사용하려면 사용자 지정 분류자를 삭제하고 다시 만듭니다.
  • 신규 및 업데이트된 사용자 지정 분류자는 후속 데이터 분류 검사에만 적용됩니다. 기존 검사 결과는 자동으로 재분류되지 않으므로, 이전에 검사된 데이터에 대한 탐지 결과는 다음 검사가 완료된 후에 표시됩니다.
  • 지원되는 테이블 형식을 포함하여 사용자 지정 분류자에도 모든 데이터 분류 제한이 적용됩니다. 제한 사항을 참조하세요.

Troubleshooting

다음 항목은 사용자 지정 분류자의 일반적인 문제를 해결하는 데 도움이 됩니다.

사용자 지정 분류자 일시 중단됨

사용자 지정 분류자에서 더 이상 검색을 생성할 수 없는 경우 Azure Databricks 검색을 일시 중단하고 데이터 분류 결과 페이지에 경고를 표시합니다. 경고는 이유를 나타냅니다. 일시 중단된 사용자 지정 분류기는 새 탐지 결과를 생성하지 않습니다.

하나 이상의 사용자 지정 분류자를 일시 중단했음을 보여 주는 경고입니다.

Azure Databricks 다음과 같은 이유로 사용자 지정 분류자를 일시 중단합니다.

  • 제어 태그가 더 이상 유효하지 않습니다. 관리되는 태그 또는 태그 값이 삭제되었거나 태그에 필요한 값이 없습니다. 태그 또는 값을 복원하거나 사용자 지정 분류자를 삭제하고 유효한 태그를 사용하여 새 분류자를 만듭니다. 설명 또는 샘플 열을 편집해도 이 일시 중단이 해결되지 않습니다.
  • Azure Databricks 제공한 설명 및 샘플 열에서 검색 규칙을 생성할 수 없습니다. 사용자 지정 분류자를 편집하여 설명을 구체화하거나 액세스할 수 없거나 대표적이지 않은 샘플 열을 바꾼 다음 저장하여 분류자를 다시 생성합니다.

사용자 지정 분류자를 만들거나 나열할 때 사용 권한이 거부됨

메타스토어 관리자여야 합니다. 또한 사용자 지정 분류자를 만들거나 편집하려면 관리 태그에 대한 권한이 필요합니다 ASSIGN . 요구 사항을 참조하세요.

샘플 열을 선택할 수 없음

열이 포함된 테이블에 SELECT이(가) 있어야 합니다. 테이블에 없는 SELECT 경우 테이블 소유자에게 부여하거나 다른 열을 선택하도록 요청합니다.

추가 리소스

  • Last updated on