Microsoft Purview 통합 카탈로그의 데이터 품질 개요

Microsoft Purview 통합 카탈로그의 데이터 품질은 거버넌스 도메인 및 데이터 소유자가 데이터 에코시스템의 품질을 평가하고 감독하여 개선을 위한 대상 조치를 촉진할 수 있도록 합니다. 오늘날의 AI 기반 환경에서 데이터의 안정성은 AI 기반 인사이트 및 권장 사항의 정확성에 직접적인 영향을 미칩니다. 신뢰할 수 있는 데이터가 없으면 AI 시스템에 대한 신뢰가 약화되고 채택이 방해될 위험이 있습니다.

데이터 품질이 낮거나 호환되지 않는 데이터 구조는 비즈니스 프로세스와 의사 결정 기능을 방해할 수 있습니다. 통합 카탈로그의 데이터 품질은 사용자에게 oob(out-of-the-box) 규칙 및 AI 생성 규칙을 포함하여 코드 없는 규칙 또는 로우코드 규칙을 사용하여 데이터 품질을 평가할 수 있는 기능을 제공하여 이러한 문제를 해결합니다. 이러한 규칙은 열 수준에서 적용되고 집계되어 데이터 자산, 데이터 제품 및 거버넌스 도메인 수준에서 점수를 제공하여 각 도메인 내에서 데이터 품질에 대한 종단 간 가시성을 보장합니다.

또한 Microsoft Purview의 데이터 품질은 AI 기반 데이터 프로파일링 기능을 통합하여 프로파일링에 사용할 열을 권장하는 동시에 사람의 개입을 통해 이러한 권장 사항을 구체화할 수 있도록 합니다. 이러한 반복 프로세스는 데이터 프로파일링의 정확성을 향상시킬 뿐만 아니라 기본 AI 모델의 지속적인 개선에도 기여합니다.

데이터 품질을 적용함으로써 조직은 데이터 자산의 품질을 효과적으로 측정, 모니터링 및 향상시켜 AI 기반 통찰력의 신뢰성을 강화하고 AI 기반 의사 결정 프로세스에 대한 신뢰를 높일 수 있습니다.

데이터 품질 수명 주기

  1. 모든 데이터 품질 기능을 사용할 수 있도록 통합 카탈로그에서 사용자에게 데이터 품질 관리자 권한을 할당합니다.
  2. Microsoft Purview 데이터 맵에서 데이터 원본을 등록하고 검사합니다.
  3. 데이터 제품에 데이터 자산 추가
  4. 데이터 품질 평가를 위해 원본을 준비하려면 데이터 원본 연결을 설정합니다.
  5. 데이터 원본의 자산에 대한 데이터 프로파일링을 구성하고 실행합니다.
    1. 프로파일링이 완료되면 데이터 자산의 각 열에 대한 결과를 찾아 데이터의 현재 구조 및 상태를 이해합니다.
  6. 프로파일링 결과에 따라 데이터 품질 규칙을 설정하고 이를 데이터 자산에 적용합니다.
  7. 데이터 제품에 대한 데이터 품질 검사를 구성하고 실행하여 데이터 제품에서 지원되는 모든 자산의 품질을 평가합니다.
  8. 검사 결과를 검토 하여 데이터 제품의 현재 데이터 품질을 평가합니다.
  9. 데이터 자산의 수명 주기 동안 주기적으로 5-8단계를 반복하여 품질을 유지하고 있는지 확인합니다.
  10. 지속적으로 데이터 품질 모니터링
    1. 데이터 품질 작업을 검토하여 문제를 식별하고 resolve합니다.
    2. 품질 문제를 경고하도록 데이터 품질 알림을 설정합니다.

지원되는 데이터 품질 지역

데이터 품질은 현재 다음 지역에서 지원됩니다.

중요

데이터 품질 기능은 계정 및 데이터 원본이 Purview 지원 지역에 있는 경우에만 지원됩니다. 데이터 원본과 Purview 계정은 동일한 Azure 지역에 있어야 합니다. 동시 DQ 작업 실행 제한은 다음과 같습니다.

  • 수동 검사: 최대 10개의 동시 작업.
  • 예약된 검사: 최대 25개의 동시 작업.
  • 수동 프로필: 최대 10개의 동시 프로파일링 작업.
  • DQ 규칙 제안: 최대 10개의 동시 작업.

지원되는 다중 클라우드 데이터 원본

지원되는 데이터 원본 목록을 봅니다.

중요

Parquet 파일의 데이터 품질은 다음을 지원하도록 설계되었습니다.

  1. Parquet Part 파일이 있는 디렉터리입니다. 예: ./Sales/{Parquet Part Files}. 이후에는 정규화된 이름을 사용해야 https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}합니다. 디렉터리 및 하위 디렉터리 구조에 {n} 패턴이 포함되어 있지 않은지 확인합니다. 대신 {SparkPartitions}로 이어지는 직접 FQN을 사용하세요.
  2. 연도 및 월별로 분할된 판매 데이터와 같이 데이터 세트 내의 열로 분할된 분할된 Parquet 파일이 있는 디렉터리입니다. 예: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

일관된 Parquet 데이터 세트 스키마를 제공하는 이러한 두 가지 필수 시나리오가 모두 지원됩니다. 제한 사항: 데이터 품질은 Parquet 파일이 있는 임의의 디렉터리 계층 구조를 지원하도록 설계되지 않았습니다. (1) 또는 (2)의 생성 구조에서 데이터를 표시하는 것이 좋습니다.

현재 Microsoft Purview는 관리 ID 를 인증 옵션으로 사용하여 데이터 품질 검사만 실행할 수 있습니다. 데이터 품질 서비스는 Apache Spark 3.5 및 Delta Lake 3.2.1에서 실행됩니다.

데이터 품질 기능

  • 데이터 원본 연결 구성
    • Microsoft Purview 데이터 품질 SaaS 애플리케이션이 품질 검사 및 프로파일링을 위해 데이터에 대한 읽기 액세스 권한을 가질 수 있도록 연결을 구성합니다.
    • Microsoft Purview는 관리 ID를 인증 옵션으로 사용합니다.
  • 데이터 프로파일링
    • AI 기반 데이터 프로파일링 환경.
    • 업계 표준 통계 스냅샷(분포, 최소, 최대, 표준 편차, 고유성, 완전성, 중복 등).
    • 열 수준 프로파일링 측정값을 드릴다운합니다.
  • 데이터 품질 규칙
    • 6가지 산업 표준 데이터 품질 차원(완전성, 일관성, 준수, 정확성, 신선함 및 고유성)을 측정하는 기본 규칙입니다.
    • 사용자 지정 규칙 만들기 기능에는 몇 가지 기본 함수와 식 값이 포함됩니다.
    • AI 통합 환경으로 자동 생성된 규칙.
  • 데이터 품질 검사
    • 데이터 품질 검사를 위해 규칙을 선택하고 열에 할당합니다.
    • 엔터티 또는 테이블 수준에서 데이터 새로 고침 규칙을 적용하여 데이터 새로 고침 SLA를 측정합니다.
    • 기간(매시간, 매일, 매주, 매월 등)에 대한 데이터 품질 검사 작업을 예약합니다.
  • 데이터 품질 작업 모니터링
    • 데이터 품질 작업 상태(활성, 완료됨, 실패 등) 모니터링을 사용하도록 설정합니다.
    • 데이터 품질 검색 기록 찾아보기를 사용하도록 설정합니다.
  • 데이터 품질 점수 매기기
    • 규칙 수준의 데이터 품질 점수(열에 적용된 규칙의 품질 점수)
    • 데이터 자산, 데이터 제품 및 거버넌스 도메인에 대한 데이터 품질 점수(하나의 거버넌스 도메인에는 많은 데이터 제품이 있을 수 있고, 하나의 데이터 제품에는 많은 데이터 자산이 있을 수 있으며, 하나의 데이터 자산에는 많은 데이터 컬럼이 있을 수 있음).
  • 데이터 품질 경고
    • 데이터 품질 임계값이 예상을 미치는 경우 데이터 소유자 및 데이터 관리자에게 알리도록 경고를 구성합니다.
    • 데이터 품질 문제에 대한 알림을 보내도록 전자 메일 별칭 또는 메일 그룹을 구성합니다.
  • 데이터 품질 작업
    • 데이터 품질 관리자에 대한 진단 쿼리를 포함하여 데이터 품질 변칙 상태를 해결하기 위한 작업이 포함된 데이터 품질을 위한 작업 센터는 각 변칙 상태에 대해 수정할 특정 데이터에 집중합니다.
  • 데이터 품질 관리형 가상 네트워크
    • 프라이빗 엔드포인트를 사용하여 Microsoft Azure 데이터 원본에 연결하는 데이터 품질로 관리되는 가상 네트워크입니다.

데이터 상주 및 암호화

Microsoft 관리형 스토리지 계정은 데이터 품질 메타데이터 및 프로파일링 요약을 저장합니다. 데이터 원본과 동일한 지역에 저장되므로 데이터 상주가 그대로 유지됩니다. 모든 데이터가 암호화됩니다. Purview 리소스 공급자 지역 사용자 데이터 저장소는 메타데이터에 사용됩니다. 모든 암호화를 처리하며 모든 Purview 서비스에서 공통적입니다. CMK(고객 관리 암호화 키)를 사용하여 데이터 암호화를 더 제어하려면 별도의 프로세스를 사용합니다. Microsoft Purview 고객 키에 대해 자세히 알아보세요.

데이터 품질 컴퓨팅 가격 책정

데이터 품질 사용량은 DGPU(데이터 거버넌스 처리 장치) 종량제 미터를 기준으로 요금이 청구됩니다. 데이터 품질에 대한 가격 책정을 계산하는 방법에 대해 자세히 알아보세요.

제한 사항

관련 콘텐츠

다음 단계

  1. 사용자가 모든 데이터 품질 기능을 사용할 수 있도록 통합 카탈로그에서 사용자에게 데이터 품질 관리자 권한을 할당합니다.
  2. 데이터 품질 평가를 위해 원본을 준비하도록 데이터 원본 연결을 설정합니다.
  3. 데이터 원본의 자산에 대한 데이터 프로파일링을 구성하고 실행합니다.
  • Last updated on