중요
Microsoft Purview 통합 카탈로그 및 클래식 Microsoft Purview 데이터 거버넌스 기능(이전의 Azure Purview)은 사용 중지됩니다. Microsoft는 Microsoft Fabric에서 데이터 거버넌스 기능을 통합하고 있습니다. 더 이상 새 계정을 만들 수 없으며 기존 기능은 2027년 11월 12일까지 유지 관리 모드로 유지됩니다. 사용 중지 일정, 전환 지침 및 권장되는 다음 단계는 Microsoft Purview 데이터 거버넌스 사용 중지 공지를 참조하세요.
이 문서에서는 Microsoft Purview 데이터 맵의 검사 및 수집 기능에 대한 개요를 제공합니다. 이러한 기능은 Microsoft Purview 계정을 원본에 연결하여 데이터 맵 및 통합 카탈로그를 채우므로 Microsoft Purview를 통해 데이터 탐색 및 관리를 시작할 수 있습니다.
- 검사는데이터 원본 에서 메타데이터를 캡처하여 Microsoft Purview로 가져옵니다.
- 수집은 메타데이터를 처리하고 다음 두 가지 모두의 통합 카탈로그에 저장합니다.
- 데이터 원본 검사 - 검사한 메타데이터가 데이터 맵에 추가됩니다.
- 계보 연결 - 변환 리소스는 원본, 출력 및 활동에 대한 메타데이터를 데이터 맵에 추가합니다.
검색
Microsoft Purview 계정에 데이터 원본을 등록 한 후 데이터 원본을 검사합니다. 검사 프로세스는 데이터 원본에 연결하고 이름, 파일 크기, 열 등과 같은 기술 메타데이터를 캡처합니다. 또한 구조화된 데이터 원본에 대한 스키마를 추출하고, 스키마에 분류를 적용하고, 데이터 맵이 Microsoft Purview 포털에 연결된 경우 민감도 레이블을 적용합니다. 검사 프로세스를 트리거하여 즉시 실행하거나 주기적으로 실행하도록 예약하여 Microsoft Purview 계정을 최신 상태로 유지할 수 있습니다.
각 스캔에 대해 전체 소스가 아닌 필요한 정보만 스캔하도록 프로세스를 사용자 지정할 수 있습니다.
검사에 대한 인증 방법 선택
Microsoft Purview는 기본적으로 안전합니다. 암호나 비밀을 직접 저장하지 않으므로 원본에 대한 인증 방법을 선택해야 합니다. 여러 가지 방법으로 Microsoft Purview 계정을 인증할 수 있지만 각 데이터 원본에 대해 모든 방법이 지원되는 것은 아닙니다.
- 관리 ID
- 서비스 주체
- SQL 인증
- Windows 인증
- 역할 ARN
- 위임된 인증
- 소비자 키
- 계정 키 또는 기본 인증
개별 데이터 원본에 대한 자격 증명을 저장하고 관리할 필요가 없으므로 가능하면 관리 ID를 사용합니다. 이 방법을 사용하면 사용자와 팀이 검사 인증을 설정하고 문제를 해결하는 데 소요되는 시간을 크게 줄일 수 있습니다. Microsoft Purview 계정에 대해 관리 ID를 사용하도록 설정하면 Microsoft Entra ID(Entra ID)에 ID가 만들어지고 계정의 수명 주기에 연결됩니다.
검사 범위 지정
원본을 검색할 때 전체 데이터 원본을 검색하거나 검색할 특정 엔터티(폴더 또는 테이블)만 선택할 수 있습니다. 사용 가능한 옵션은 검사하는 원본에 따라 다릅니다. 일회성 검사와 예약된 검사 모두에 대해 이러한 옵션을 정의할 수 있습니다.
예를 들어 Azure SQL Database에 대한 검색을 만들고 실행할 때 검색할 테이블을 선택하거나 전체 데이터베이스를 선택할 수 있습니다.
각 엔터티(폴더 또는 테이블)에 대해 세 가지 선택 상태(완전히 선택됨, 부분적으로 선택됨, 선택되지 않음)가 있습니다. 다음 예제에서는 폴더 계층 구조에서 부서 1 을 선택하면 부서 1 이 완전히 선택된 것으로 간주됩니다. Department 1의 상위 엔터티( Company 및 example)는 동일한 상위 항목(예: Department 2) 아래의 다른 엔터티가 선택되지 않았기 때문에 부분적으로 선택된 것으로 간주됩니다. 선택 상태가 다른 엔터티에 대해 UI에 다른 아이콘이 사용됩니다.
검사를 실행한 후 원본 시스템에 새 자산이 추가될 가능성이 있습니다. 기본적으로 검사를 다시 실행할 때 부모가 전체 또는 부분적으로 선택된 경우 특정 부모 아래의 향후 자산이 자동으로 선택됩니다. 앞의 예제에서 부서 1 을 선택하고 스캔을 실행한 후 스캔을 다시 실행할 때 부서 1 폴더 또는 회사 및 예제 아래에 있는 새 자산이 포함됩니다.
토글 버튼을 사용하면 아래 이미지와 같이 사용자가 부분적으로 선택한 부모 아래에 새 자산을 자동으로 포함하도록 제어할 수 있습니다. 기본적으로 토글은 꺼져 있으며 부분적으로 선택된 부모에 대한 자동 포함 동작은 비활성화됩니다. 토글이 꺼져 있으면 회사 및 예제 와 같이 부분적으로 선택된 상위 항목 아래의 새 자산은 검사를 다시 실행할 때 포함되지 않습니다. Department 1 의 새 자산만 향후 검사에 포함됩니다.
토글이 켜져 있는 경우, 검사를 다시 실행할 때 부모가 전체 또는 부분적으로 선택된 경우 부모 아래의 새 자산이 자동으로 선택됩니다. 포함 동작은 토글이 도입되기 전과 동일합니다.
참고
- 토글 단추를 사용할 수 있는지는 데이터 원본 유형에 따라 다릅니다. 현재 Azure Blob Storage, Azure Data Lake Storage Gen 1, Azure Data Lake Storage Gen 2, Azure Files 및 Azure 전용 SQL 풀(이전의 SQL DW)을 비롯한 원본에 대해 공개 미리 보기로 사용할 수 있습니다.
- 토글이 도입되기 전에 만들거나 예약한 모든 검사의 경우 토글 상태가 켜 짐으로 설정되며 변경할 수 없습니다. 토글이 도입된 후 만들거나 예약된 검사의 경우 검사가 저장된 후에는 토글 상태를 변경할 수 없습니다. 토글 상태를 변경하려면 새 스캔을 만들어야 합니다.
- 토글이 꺼져 있는 경우 Azure Data Lake Storage Gen 2와 같은 스토리지 유형의 원본의 경우 검사 작업이 완료된 후 원본 유형별 찾아보기 환경을 완전히 사용할 수 있기까지 최대 4시간이 걸릴 수 있습니다.
알려진 제한
토글이 꺼져 있는 경우:
- 부분적으로 선택된 부모 아래의 파일 엔터티는 검사되지 않습니다.
- 상위 항목 아래의 모든 기존 엔터티가 명시적으로 선택된 경우 상위 엔터티가 완전히 선택된 것으로 간주되고 검사를 다시 실행할 때 상위 항목 아래의 새 자산이 포함됩니다.
검사 수준 사용자 지정
데이터 맵 용어에서는 메타데이터 범위 및 기능에 따라 세 가지 수준의 검사가 있습니다.
- L1 스캔: 파일 이름, 크기 및 정규화된 이름과 같은 기본 정보 및 메타데이터를 추출합니다.
- L2 스캔: 구조화된 파일 형식 및 데이터베이스 테이블에 대한 스키마를 추출합니다.
- L3 검사: 해당하는 경우 스키마를 추출하고 샘플링된 파일에 시스템 및 사용자 지정 분류 규칙을 적용합니다.
새 스캔을 설정하거나 기존 스캔을 편집할 때 스캔 레벨 구성을 지원하는 스캔 데이터 소스에 대한 스캔 레벨을 사용자 정의할 수 있습니다.
기본적으로 "자동 검색"이 선택됩니다. 즉, Microsoft Purview는 이 데이터 원본에 사용할 수 있는 가장 높은 검사 수준을 적용합니다. Azure SQL Database를 예로 들면 데이터 원본이 Microsoft Purview에서 이미 분류를 지원했기 때문에 검사가 실행될 때 "자동 검색"이 "수준 3"으로 확인됩니다. 검사 실행 세부 정보의 검사 수준은 적용된 실제 수준을 보여줍니다.
검사 수준을 새 기능으로 사용자 지정하기 전에 완료된 검사 기록의 모든 검사 실행에 대해 검사 수준이 자동 검색으로 설정되고 표시됩니다.
데이터 원본에 대해 더 높은 검사 수준을 사용할 수 있게 되면 검사 수준이 자동 검색 으로 설정된 저장된 검사 또는 예약된 검사가 새 검사 수준을 자동으로 적용합니다. 예를 들어 지정된 데이터 원본에 대해 새 기능으로 분류를 사용하도록 설정한 경우 이 데이터 원본에 대한 모든 기존 검사가 분류를 자동으로 적용합니다.
각 검사 실행에 대한 검사 모니터링 인터페이스에 검사 수준 설정이 표시됩니다.
수준 1을 선택하면 검사는 특정 데이터 소스의 기존 메타데이터 가용성을 기반으로 자산 이름, 자산 크기, 수정된 타임스탬프 등과 같은 기본 기술 메타데이터만 반환합니다. SQL Database의 경우 프로세스는 데이터 맵의 테이블과 같은 자산 엔터티를 만들지만 테이블 스키마를 추출하지는 않습니다. (참고: 사용자는 원본 시스템에서 필요한 권한이 있는 경우 라이브 보기를 통해 테이블 스키마를 계속 볼 수 있습니다.)
수준 2를 선택하면 검사는 테이블 스키마와 기본 기술 메타데이터를 반환하지만 데이터 샘플링 및 분류를 수행하지는 않습니다. Azure SQL Database의 경우 테이블 자산 엔터티는 분류 정보 없이 테이블 스키마를 캡처합니다.
수준 3을 선택하면 검사에서 데이터 샘플링 및 분류를 수행합니다. 새로운 기능이 도입될 때 검사 수준 이전의 Azure SQL Database 검사에 대한 표준 구성입니다.
예약된 스캔을 더 낮은 스캔 레벨로 설정하고 나중에 더 높은 스캔 레벨로 수정하는 경우, 다음 스캔 실행은 자동으로 전체 스캔을 수행하고 더 높은 스캔 레벨 설정에 의해 도입된 메타데이터로 데이터 소스의 모든 기존 데이터 자산을 업데이트합니다. 예를 들어 Azure SQL Database에서 수준 2 로 설정된 예약된 검사를 수준 3으로 변경하면 다음 검사 실행은 전체 검사이며 기존의 모든 Azure SQL Database 테이블을 업데이트하고 분류 정보로 자산을 봅니다. 이후 모든 검사는 수준 3으로 설정된 증분 검사로 재개됩니다.
예약된 검사를 더 높은 검사 수준으로 설정하고 나중에 더 낮은 검사 수준으로 수정하는 경우, 다음 검사 실행에서 증분 검사를 계속 수행하고 데이터 소스의 모든 새 데이터 자산에는 더 낮은 검사 수준 설정에 의해 도입된 메타데이터만 있습니다. 예를 들어 Azure SQL Database에서 수준 3 으로 설정된 예약된 검사를 수준 2로 변경하면 다음 검사 실행은 증분 검사이며 데이터 맵에 추가된 모든 새 Azure SQL Database 테이블 및 보기 자산에는 분류 정보가 없습니다. 모든 기존 데이터 자산은 레벨 3으로 설정된 이전 검사에서 생성된 분류 정보를 계속 유지합니다.
참고
- 검사 수준 사용자 지정은 현재 Azure SQL Database, Azure SQL Managed Instance, Azure Cosmos DB for NoSQL, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Data Lake Storage Gen2, Azure Blob Storage, Azure Files, Azure Synapse Analytics, Azure 전용 SQL 풀(이전의 SQL DW), Azure Data Explorer, Dataverse, Azure Multiple(Azure 구독), Azure Multiple(Azure 리소스 그룹), Snowflake, Azure Databricks Unity 카탈로그
- 현재 이 기능은 Azure 통합 런타임 및 Managed Virtual Network 통합 런타임 v2에서만 사용할 수 있습니다.
검사 규칙 집합
검사 규칙 집합은 원본 중 하나에 대해 검사가 실행될 때 검색하는 정보의 종류를 결정합니다. 사용 가능한 규칙은 검색하는 원본의 종류에 따라 다르지만 검색해야 하는 파일 형식 및 필요한 분류 의 종류 등을 포함합니다.
많은 데이터 소스 유형에는 이미 시스템 검사 규칙 집합이 있지만 조직에 맞게 검사를 조정하기 위해 고유한 검사 규칙 집합을 만들 수도 있습니다.
검사 예약
Microsoft Purview에서는 선택한 특정 시간에 매일, 매주 또는 매월 검사를 선택할 수 있습니다. 지원되는 일정 옵션에 대해 자세히 알아보세요. 활발히 개발 중이거나 자주 변경되는 구조가 있는 데이터 원본에는 일별 또는 주별 검사가 적합할 수 있습니다. 월별 검사는 자주 변경되지 않는 데이터 원본에 더 적합합니다. 검색하려는 원본의 관리자와 협력하여 원본에 대한 컴퓨팅 요구가 낮은 시간을 식별합니다.
검사에서 삭제된 자산을 검색하는 방법
Microsoft Purview 카탈로그는 검사를 실행할 때만 데이터 저장소의 상태를 인식합니다. 카탈로그가 파일, 테이블 또는 컨테이너의 삭제 여부를 알 수 있도록 마지막 스캔 출력을 현재 스캔 출력과 비교합니다. 예를 들어 마지막으로 Azure Data Lake Storage Gen2 계정을 검사했을 때 folder1이라는 폴더가 포함되어 있다고 가정해 보겠습니다. 동일한 계정을 다시 검색하면 folder1 이 누락됩니다. 따라서 카탈로그에서는 폴더가 삭제되었다고 가정합니다.
팁
삭제된 파일이 검색되는 방식으로 인해 삭제된 자산을 검색하고 해결하려면 여러 번 성공적인 스캔이 필요할 수 있습니다. 통합 카탈로그가 범위가 지정된 검사에 대한 삭제를 등록하지 않는 경우 여러 전체 검사를 시도하여 문제를 해결합니다.
삭제된 파일 검색
누락된 파일을 검색하는 논리는 동일한 사용자와 다른 사용자가 여러 번 스캔할 수 있도록 작동합니다. 예를 들어 사용자가 폴더 A, B 및 C의 Data Lake Storage Gen2 데이터 저장소에 대한 일회성 검사를 실행한다고 가정해 보겠습니다. 나중에 동일한 계정의 다른 사용자가 동일한 데이터 저장소의 폴더 C, D 및 E에 대해 다른 일회성 검사를 실행합니다. 폴더 C를 두 번 스캔했기 때문에 카탈로그는 폴더 C에 삭제 가능성을 확인합니다. 그러나 폴더 A, B, D, E는 한 번만 검사되었으며 카탈로그에서 삭제된 자산을 확인하지 않습니다.
삭제된 파일을 카탈로그에서 제외하려면 정기적인 검사를 실행하는 것이 중요합니다. 카탈로그는 다른 검사가 실행될 때까지 삭제된 자산을 검색할 수 없기 때문에 검사 간격이 중요합니다. 따라서 특정 저장소에서 한 달에 한 번 검사를 실행하는 경우 카탈로그는 한 달 후에 다음 검사를 실행할 때까지 해당 저장소에서 삭제된 데이터 자산을 검색할 수 없습니다.
Data Lake Storage Gen2와 같은 대규모 데이터 저장소를 열거할 때 정보를 누락하는 여러 가지 방법(열거 오류 및 삭제된 이벤트 포함)이 있습니다. 특정 검사에서 파일이 생성되거나 삭제된 사실을 놓칠 수 있습니다. 따라서 카탈로그에서 파일이 삭제된 것이 확실하지 않으면 카탈로그에서 파일이 삭제되지 않습니다. 이 전략은 검사된 데이터 저장소에 없는 파일이 카탈로그에 여전히 있을 때 오류가 발생할 수 있음을 의미합니다. 경우에 따라 삭제된 특정 자산을 잡기 전에 데이터 저장소를 두세 번 스캔해야 할 수 있습니다.
참고
- 삭제용으로 표시된 자산은 성공적인 스캔 후 삭제됩니다. 삭제된 자산은 처리 및 제거되기 전까지 한동안 카탈로그에 계속 표시될 수 있습니다.
- 삭제 검색은 Microsoft Purview 내에서 Azure Synapse Analytics 작업 영역, Azure Arc 지원 SQL Server, Azure Blob Storage, Azure Files, Azure Cosmos DB, Azure Data Explorer, Azure Database for MySQL, Azure Database for PostgreSQL, Azure 전용 SQL 풀, Azure Machine Learning, Azure SQL Database 및 Azure SQL 관리되는 인스턴스 원본에 대해서만 지원됩니다. 이러한 원본의 경우 데이터 원본에서 자산이 삭제되면 후속 검사에서 Microsoft Purview의 해당 메타데이터 및 계보가 자동으로 제거됩니다.
수집
수집은 다양한 프로세스를 통해 수집된 메타데이터로 데이터 맵을 채우는 프로세스입니다.
참고
모든 자식 개체(참조된 엔터티)와 연락처(소유자, 전문가)의 총 수는 20,000개의 엔터티를 초과해서는 안 됩니다.
검사에서 수집
검사 프로세스는 기술 메타데이터 또는 분류를 식별하여 수집으로 보냅니다. 수집은 검사에서 입력한 내용을 분석하고, 리소스 집합 패턴을 적용하고, 사용 가능한 계보 정보를 채운 다음, 데이터 맵을 자동으로 로드합니다. 수집이 완료된 후에만 자산과 스키마를 검색하거나 큐레이팅할 수 있습니다. 스캔이 완료되었지만 데이터 맵 또는 카탈로그에 자산이 표시되지 않는 경우 수집 프로세스가 완료될 때까지 기다려야 합니다.
계보 연결에서 수집
Azure Data Factory 및 Azure Synapse와 같은 리소스를 Microsoft Purview에 연결하여 데이터 원본 및 계보 정보를 데이터 맵으로 가져올 수 있습니다. 예를 들어 복사 파이프라인이 Microsoft Purview에 연결한 Azure Data Factory에서 실행되는 경우 서비스는 입력 원본, 활동 및 출력 원본에 대한 메타데이터를 수집합니다. 정보가 데이터 맵에 추가됩니다.
스캔을 통해 데이터 맵에 데이터 소스를 추가하면 활동에 대한 계보 정보가 기존 소스에 추가됩니다. 데이터 맵에 아직 데이터 원본을 추가하지 않은 경우 계보 수집 프로세스에서 계보 정보와 함께 루트 컬렉션에 데이터 원본을 추가합니다.
사용 가능한 계보 연결에 대한 자세한 내용은 계보 사용 설명서를 참조하세요.
다음 단계
자세한 내용이나 원본 스캔에 대한 구체적인 지침을 보려면 아래 링크를 따르세요.