Microsoft Purview에서 데이터 맵 채우기 모니터링

Microsoft Purview에서는 다양한 유형의 데이터 원본을 검색하고 시간이 지남에 따라 상태 검사를 볼 수 있습니다. Microsoft Purview와 다른 서비스를 연결하고 수집된 자산/관계의 추세를 볼 수도 있습니다. 이 문서에서는 데이터 맵 모집단의 조감도를 모니터링하고 가져오는 방법을 간략하게 설명합니다.

검사 실행 모니터링

1. 다음을 통해 Microsoft Purview 거버넌스 포털을 엽니다.

   • Microsoft Purview 계정을 직접 https://web.purview.azure.com 탐색하고 선택합니다.
   • Azure Portal 열고 Microsoft Purview 계정을 검색하고 선택합니다. Microsoft Purview 거버넌스 포털 단추를 선택합니다.

2. Microsoft Purview 계정을 열고 데이터 맵 ->모니터링을 선택합니다. 이 페이지에 액세스하려면 컬렉션에 대한 데이터 원본 관리자 역할이 있어야 합니다. 또한 데이터 원본 관리자 권한이 있는 컬렉션에 속하는 검사 실행이 표시됩니다.

3. 상위 수준 KPI는 기간 내에 총 검색 실행을 보여 줍니다. 기간은 지난 30일에서 기본값으로 설정되며, 지난 7일을 선택하도록 선택할 수도 있습니다. 선택한 시간 필터에 따라 성공, 실패, 취소 및 진행 중인 검사 실행의 분포를 그래프에서 주 또는 일별로 확인할 수 있습니다.

   

4. 그래프 아래쪽에는 자세히 살펴볼 수 있는 보기 추가 링크가 있습니다. 링크가 상태 검사 페이지를 엽니다. 여기에서 검사 이름과 해당 기간 동안 성공, 실패 또는 취소된 횟수를 확인할 수 있습니다. 원본 유형별로 목록을 필터링할 수도 있습니다.

   

5. 검사 이름을 선택하여 특정 검사를 추가로 탐색할 수 있습니다. 검색 기록 페이지에 연결되며, 여기서 실행 세부 정보가 포함된 실행 ID 목록을 찾을 수 있습니다.

   

6. 실행 ID를 클릭하여 검사 실행 세부 정보에 대한 자세한 내용을 검사 수 있습니다.

알려진 제한 사항:

현재 이 모니터링 환경에는 다음 정보가 포함되지 않습니다. 해당 검사 실행 세부 정보를 검사 수 있습니다.

• 상태 기간은 검색 단계(원본에서 검색)만 포함하지만 수집 단계는 포함하지 않습니다. 검사 실행 세부 정보 패널과 비교하면 불일치가 표시 될 수 있습니다.
• Azure SQL 데이터베이스에 대한 계보 추출 검사 실행은 다루지 않습니다.
• Azure Synapse Analytics 작업 영역, Azure 구독/리소스 그룹 및 AWS 계정 검색의 경우 부모 검사 실행의 상태/개수만 캡처하지만 리소스당 자식 검사 실행은 캡처하지 않습니다.

실행 세부 정보 검사

다른 위치에서 지정된 검사에 대한 검색 실행 기록으로 이동할 수 있습니다.

• 검사 실행모니터링 섹션에 설명된 대로 데이터 맵 ->모니터링으로 이동합니다.
• 데이터 맵 -원본으로> 이동 -> 원하는 데이터 원본 선택 ->검사, 최근 검사 또는 최근 실패한 검사를 참조하세요.
• 데이터 맵 -컬렉션으로> 이동 -> 원하는 컬렉션 선택 ->스캔 -> 자세히 보려는 검사 이름을 선택합니다.

검사 실행 기록의 보존 기간은 90일입니다.

실행 ID를 클릭하여 검사 실행 세부 정보에 대한 자세한 내용을 검사 수 있습니다.

• 실행 ID: 지정된 검사 실행을 식별하는 데 사용되는 GUID입니다.

• 실행 유형: 전체 또는 증분 검사.

• 검사 섹션에서는 Purview가 원본에 연결하고, 메타데이터/계보를 추출하고, 데이터를 분류하는 검색 단계에 대한 메트릭을 요약합니다.

  • 검사 상태:

    상태	설명
    완료	검사 단계가 성공합니다.
    실패	검사 단계가 실패합니다. 옆에 있는 "추가 정보" 링크를 클릭하여 오류 세부 정보를 검사 수 있습니다.
    취소됨	사용자가 검사 실행을 취소합니다.
    진행 중	검사가 진행 중입니다.
    대기	검사 실행이 사용 가능한 통합 런타임 리소스를 기다리고 있습니다. 자체 호스팅 통합 런타임을 사용하는 경우 각 노드는 컴퓨터 사양(CPU 및 메모리)에 따라 동시에 여러 동시 검사를 실행할 수 있습니다. 대기 중인 상태 더 많은 검사가 있습니다.
    제한	검사 실행이 제한되고 있습니다. 즉, 현재 이 Microsoft Purview 계정에 허용되는 최대 동시 수보다 더 많은 진행 중인 검사 실행이 있습니다. 여기에서 제한에 대해 자세히 알아보세요. 이 특정 검사 실행이 대기 중이며 다른 진행 중인 검사가 완료되면 실행됩니다.

    검사 실행은 "제한됨" 또는 "대기 중" 상태 동안 청구되지 않습니다.

  • 검사 유형: 수동 또는 예약된 검사입니다.

  • 검색된 자산: 원본에서 열거된 자산 수입니다. 전체 및 증분 검사 모두에 대해, 마지막 검사 실행 이후 기존 자산인지 또는 새로 생성/업데이트된 자산인지에 관계없이 구성된 scope 모든 자산이 포함됩니다. 증분 검사의 경우 새로 만들거나 업데이트된 자산에 대해서만 자세한 메타데이터가 추출됩니다.

  • 분류된 자산: 자산에 일치하는 분류가 있는지 여부에 관계없이 데이터를 분류하기 위해 샘플링된 자산 수입니다. 샘플링 메커니즘을 기반으로 검색된 자산의 하위 집합입니다. 증분 검사의 경우 분류를 위해 새로 만들거나 업데이트된 자산만 선택할 수 있습니다.

  • 기간: 검사 단계 기간 및 시작/종료 시간입니다.

• 데이터 수집 섹션에는 Purview가 데이터 맵을 식별된 메타데이터 및 관계로 채우는 수집 단계에 대한 메트릭이 요약되어 있습니다.

  • 수집 상태:

    상태	설명
    완료	모든 자산 및 관계가 데이터 맵에 성공적으로 수집됩니다.
    예외로 완료됨(이전의 "부분적으로 완료됨")	자산 및 관계의 일부가 데이터 맵에 성공적으로 수집되지만 일부는 실패합니다.
    실패	수집 단계가 실패합니다.
    취소됨	사용자가 검사 실행을 취소하므로 수집이 취소됩니다.
    진행 중	수집이 진행 중입니다.
    대기	수집은 사용 가능한 서비스 리소스를 기다리거나 메타데이터 검색을 기다리는 중입니다.

  • 수집된 자산: 데이터 맵에 수집된 자산 수입니다. 증분 검사의 경우 새로 만들거나 업데이트된 자산만 포함하며, 이 경우 "검색된 자산" 수보다 적을 수 있습니다. 파일 기반 원본을 검사할 때 리소스 집합 집계 전의 원시 자산 수입니다.

  • 수집된 관계: 데이터 맵에 수집된 관계 수입니다. 여기에는 계보 및 외래 키 관계와 같은 기타 관계가 포함됩니다.

  • 기간: 수집 기간 및 시작/종료 시간입니다.

예외 로그 보기(미리 보기)

검사 중에 일부 자산 또는 관계를 데이터 맵으로 수집하지 못하는 경우(예: 수집 상태 예외를 제외하고 완료된 것으로 종료됨) 검사 실행 세부 정보 패널에서 "로그 다운로드" 단추를 볼 수 있습니다. 오류의 세부 정보를 캡처하는 예외 로그 파일을 제공합니다.

다음 표에서는 로그 파일의 스키마를 보여줍니다.

열	설명
타임 스탬프	수집 작업이 발생하는 UTC 타임스탬프입니다.
Errorcode	예외의 오류 코드입니다.
OperationItem	일반적으로 정규화된 이름을 사용하여 실패한 자산/관계에 대한 식별자입니다.
메시지	어떤 이유로 인해 수집하지 못한 자산/관계에 대한 자세한 정보입니다. 리소스 집합에 대한 수집 실패가 있는 경우 동일한 명명 패턴과 일치하는 여러 자산에 적용될 수 있으며 메시지에 영향을 받은 개수가 포함됩니다.

현재 예외 로그에는 검사 단계(메타데이터 검색) 중에 발생한 오류가 포함되지 않습니다. 나중에 추가됩니다.

링크 모니터링

Microsoft Purview와 다른 서비스를 연결하여 해당 서비스 자산의 메타데이터 및 계보를 Microsoft Purview에서 사용할 수 있도록 하는 "링크"를 설정할 수 있습니다. 현재 링크는 Azure Data Factory 및 Azure Synapse Analytics에서 지원됩니다.

링크를 통해 수집된 자산 및 관계를 모니터링하려면 다음을 수행합니다.

1. Microsoft Purview 계정으로> 이동하여 Microsoft Purview 거버넌스 포털 -데이터 맵 ->모니터링 ->>링크를 엽니다. 모니터링 탭에 액세스하려면 모든 컬렉션에 대한 데이터 원본 관리자 역할이 있어야 합니다. 데이터 원본 관리자 권한이 있는 컬렉션에 속하는 결과가 표시됩니다. Azure Data Factory 모니터링하고 분석 링크를 Azure Synapse 루트 컬렉션에 대한 권한이 필요합니다.

2. 총 원본 수, 수집된 자산 및 관계(계보) 수, 시간에 따른 추세 차트를 포함한 상위 수준 KPI를 볼 수 있습니다. 다음에 추가 필터를 적용하여 결과의 범위를 좁힐 수 있습니다.

   • 원본 형식
   • 원본 이름
   • 날짜 범위: 기본값은 30일입니다. 지난 7일 또는 사용자 지정 날짜 범위를 선택할 수도 있습니다. 보존 기간은 45일입니다.

   메트릭은 오른쪽 위 모서리에 표시된 날짜 시간까지 보고됩니다. 그리고 집계는 매시간 발생합니다.

   

3. 그래프 아래쪽에는 자세히 살펴볼 수 있는 보기 추가 링크가 있습니다. 링크 상태 페이지에서 원본 유형, 수집된 자산, 수집된 관계 및 마지막 실행 날짜 시간과 함께 원본 이름 목록을 볼 수 있습니다. 이전 페이지의 필터는 이월되며 원본 유형, 원본 이름 및 날짜 범위를 기준으로 목록을 추가로 필터링할 수 있습니다.

   

4. 원본 이름을 클릭하여 각 원본으로 드릴다운하여 다음 수준 세부 정보를 볼 수 있습니다. 예를 들어 Azure Data Factory 경우 각 파이프라인 활동이 Microsoft Purview에 대한 자산 및 관계를 형식으로 <pipeline_name>/<activity_name>보고하는 방법을 보여 줍니다.

   

알려진 제한

• Azure Data Factory 및 Azure Synapse Analytics의 경우 현재 이 링크 모니터링은 복사 작업에서 생성된 자산과 관계를 캡처하지만 데이터 흐름 및 SSIS 활동은 캡처하지 않습니다.
• 집계 및 날짜 필터는 UTC 시간입니다.

검사가 더 이상 실행되지 않음

Microsoft Purview 검색이 성공적으로 실행되었지만 이제 실패하는 경우 다음 사항을 검사.

1. 먼저 오류 메시지를 확인하여 오류 세부 정보를 확인합니다.
2. 리소스에 대한 자격 증명이 변경되었거나 회전되었나요? 그렇다면 검사가 올바른 자격 증명을 사용하도록 업데이트해야 합니다.
3. Azure Policy 스토리지 계정에 대한 업데이트를 방지하고 있나요? 그렇다면 Microsoft Purview 예외 태그 가이드 에 따라 Microsoft Purview 계정에 대한 예외를 만듭니다.
4. 자체 호스팅 통합 런타임을 사용하고 있나요? 최신 소프트웨어가 최신 상태이고 네트워크에 연결되어 있는지 확인합니다.

다음 단계

• Microsoft Purview에서 지원되는 데이터 원본 및 파일 형식
• 데이터 원본 관리
• 검사 및 수집