리소스 집합 패턴 규칙 만들기

중요

Microsoft Purview 통합 카탈로그 및 클래식 Microsoft Purview 데이터 거버넌스 기능(이전의 Azure Purview)은 사용 중지됩니다. Microsoft는 Microsoft Fabric에서 데이터 거버넌스 기능을 통합하고 있습니다. 더 이상 새 계정을 만들 수 없으며 기존 기능은 2027년 11월 12일까지 유지 관리 모드로 유지됩니다. 사용 중지 일정, 전환 지침 및 권장되는 다음 단계는 Microsoft Purview 데이터 거버넌스 사용 중지 공지를 참조하세요.

대규모 데이터 처리 시스템은 일반적으로 스토리지에 단일 테이블을 여러 파일로 저장합니다. 이 개념은 리소스 집합을 사용하여 Microsoft Purview에 표시됩니다. 리소스 집합은 저장소의 많은 자산을 나타내는 Microsoft Purview 통합 카탈로그의 단일 개체입니다. 자세한 내용은 리소스 세트 이해를 참조하세요.

스토리지 계정을 검사할 때 Microsoft Purview는 정의된 패턴 집합을 사용하여 자산 그룹이 리소스 집합인지 확인합니다. 경우에 따라 리소스 세트 그룹화가 데이터 자산을 정확하게 반영하지 않을 수 있습니다. 리소스 집합 패턴 규칙을 사용하면 Microsoft Purview에서 리소스 집합으로 그룹화된 자산을 검색하는 방법과 카탈로그 내에 표시되는 방법을 사용자 지정하거나 재정의할 수 있습니다.

패턴 규칙은 현재 다음 소스 유형에서 지원됩니다.

  • Azure Data Lake Storage Gen2
  • Azure Blob 저장소
  • Azure Files
  • Amazon S3

리소스 집합 패턴 규칙을 만들려면 고급 리소스 집합 기능 집합을 사용하도록 설정해야 합니다. 자세한 내용은 고급 리소스 집합 이해를 참조하세요.

리소스 집합 패턴 규칙을 만드는 방법

아래 단계에 따라 새 리소스 집합 패턴 규칙을 만듭니다.

  1. 데이터 맵으로 이동하여 소스 관리를 선택하고 패턴 규칙을 선택한 다음 새로 만들기 를 선택하여 새 규칙 집합을 만듭니다.

  2. 리소스 세트 패턴 규칙의 scope를 입력합니다. 규칙 집합을 만들려는 스토리지 계정 유형과 스토리지 계정의 이름을 선택합니다. 각 규칙 집합은 폴더 경로 필드에 지정된 폴더 경로 scope를 기준으로 적용됩니다.

    리소스 집합 패턴 규칙 구성 만들기

  3. 구성 scope에 대한 규칙을 입력하려면 + 새 규칙을 선택합니다.

  4. 다음 필드에 입력하여 규칙을 만듭니다.

    1. 규칙 이름: 구성 규칙의 이름입니다. 이 필드는 규칙이 적용되는 자산에 영향을 주지 않습니다.

    2. 정규화된 이름: 텍스트, 동적 대체기 및 정적 대체기의 조합을 사용하여 자산을 구성 규칙과 일치시키는 정규화된 경로입니다. 이 경로는 구성 규칙의 scope를 기준으로 합니다. 정규화된 이름을 지정하는 방법에 대한 자세한 지침은 아래 구문 섹션을 참조하세요.

    3. 표시 이름: 자산의 표시 이름입니다. 이 필드는 선택 사항입니다. 일반 텍스트 및 정적 대체자를 사용하여 자산이 카탈로그에 표시되는 방식을 사용자 지정합니다. 자세한 지침은 아래의 구문 섹션을 참조하세요.

    4. 리소스 집합으로 그룹화하지 않음: 사용하도록 설정하면 일치하는 리소스가 리소스 집합으로 그룹화되지 않습니다.

      새 구성 규칙을 만듭니다.

  5. 추가를 선택하여 규칙을 저장합니다.

참고

패턴 규칙이 만들어지면 모든 새 검사는 수집 중에 규칙을 적용합니다. 통합 카탈로그의 기존 자산은 최대 몇 시간이 걸릴 수 있는 백그라운드 프로세스를 통해 업데이트됩니다.

패턴 규칙 구문

리소스 세트 패턴 규칙을 생성할 때 다음 구문을 사용하여 규칙을 적용할 자산을 지정합니다.

동적 대체자(작은 괄호)

단일 대괄호는 패턴 규칙에서 동적 대체자 로 사용됩니다. 형식을 {<replacerName>:<replacerType>}사용하여 규정된 이름에 동적 대체자를 지정하십시오. 일치하는 경우 동적 대체자는 자산을 리소스 집합으로 표시해야 함을 나타내는 그룹화 조건으로 사용됩니다. 자산이 자원 세트로 그룹화되는 경우, 자원 세트 규정된 경로에는 교체자가 지정된 위치가 포함됩니다 {replacerName} .

예를 들어 두 자산 folder1/file-1.csvfolder2/file-2.csv 이 있고 규칙 {folder:string}/file-{NUM:int}.csv과 일치하는 경우 리소스 집합은 단일 엔터티 {folder}/file-{NUM}.csv가 됩니다.

특별한 경우: 리소스 집합으로 그룹화하지 않을 때의 동적 대체기

패턴 규칙에 대해 리소스 세트로 그룹화하지 않음 을 사용하도록 설정된 경우 대체자 이름은 선택적 필드입니다. {:<replacerType>} 유효한 구문입니다. 예를 들어 file-{:int}.csv 리소스 file-2.csv 집합 대신 두 개의 서로 다른 자산을 성공적으로 매칭 file-1.csv 하고 만듭니다.

정적 대체자(대괄호)

대괄호는 패턴 규칙의 정규화된 이름에서 정적 대체자 로 사용됩니다. 형식을 {{<replacerName>:<replacerType>}}사용하여 정규화된 이름에 정적 대체자를 지정합니다. 일치하는 경우 고유한 각 정적 대체기 값 집합이 서로 다른 리소스 집합 그룹을 만듭니다.

예를 들어 두 자산 folder1/file-1.csvfolder2/file-2.csv 이 있고 규칙 {{folder:string}}/file-{NUM:int}.csv과 일치하는 경우 두 개의 리소스 세트가 만들어지고 folder1/file-{NUM}.csvfolder2/file-{NUM}.csv.

정적 대체자는 패턴 규칙에 일치하는 자산의 표시 이름을 지정하는 데 사용할 수 있습니다. 규칙의 표시 이름에 사용하면 {{<replacerName>}} 자산 이름에서 일치하는 값이 사용됩니다.

사용 가능한 대체 유형

다음은 정적 및 동적 대체에서 사용할 수 있는 사용 가능한 유형입니다.

유형 구조
문자열 공백과 같은 구분 기호를 포함하여 하나 이상의 유니코드 문자로 구성된 시리즈입니다.
int 1개 이상의 0-9 ASCII 문자로 구성된 일련의 0으로, 접두사가 0일 수 있습니다(예: 0001).
GUID RFC 4122에 정의된 UUID의 일련의 32 또는 8-4-4-4-12 문자열 표현입니다.
date RFC 3339에 지정된 구분 기호(yyyymmdd, yyyy-mm-dd, yymmdd, yy-mm-dd)가 선택적으로 6개 또는 8개의 0-9 ASCII 문자 시리즈입니다.
시간 선택적으로 구분 기호가 있는 4개 또는 6개의 0-9 ASCII 문자 시리즈: RFC 3339에 지정된 HHmm, HH:mm, HHmmss, HH:mm:ss.
타임스탬프 RFC 3339에 지정된 구분 기호(yyyy-mm-ddTHH:mm, yyyymmddhhmm, yyyy-mm-ddTHH:mm:ss, yyyymmddHHmmss)와 같이 선택적으로 구분 기호가 있는 12개 또는 14개의 0-9 ASCII 문자 시리즈입니다.
부울 'true' 또는 'false'를 포함할 수 있으며 대/소문자를 구분하지 않습니다.
숫자 0개 이상의 0-9 ASCII 문자 시리즈로, 접두사 0(예: 0001) 뒤에 선택적으로 점 '.'이 올 수 있으며 1개 이상의 0-9 ASCII 문자가 붙을 수 있으며, 접두사 0(예: .100)일 수 있습니다.
헥스 집합 0-1 및 A-F에서 하나 이상의 일련의 ASCII 문자로, 값은 접두사 0일 수 있습니다.
로캘 RFC 5646에 지정된 구문과 일치하는 문자열입니다.

리소스 집합 패턴 규칙이 적용되는 순서

다음은 패턴 규칙을 적용하는 작업 순서입니다.

  1. 자산이 두 개의 규칙과 일치하는 경우 보다 구체적인 범위가 우선합니다. 예를 들어 a scope container/folder 의 규칙은 scopecontainer의 규칙보다 먼저 적용됩니다.

  2. 특정 scope 내의 규칙 순서. UX에서 편집할 수 있습니다.

  3. 자산이 지정된 규칙과 일치하지 않으면 기본 리소스 집합 추론이 적용됩니다.

예제

예 1

전체 및 델타 로드로 SAP 데이터 추출

입력

파일:

  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

패턴 규칙

범위:https://myazureblob.blob.core.windows.net/bar/

표시 이름: '외부 고객'

정규화된 이름:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

리소스 집합: true

출력

단일 리소스 집합 자산

표시 이름: 외부 고객

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

예 2

avro 형식의 IoT 데이터

입력

파일:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

패턴 규칙

범위:https://myazureblob.blob.core.windows.net/bar/

규칙 1

표시 이름: 'machine-89'

정규화된 이름:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

리소스 집합: true

규칙 2

표시 이름: 'machine-90'

정규화된 이름:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

리소스 집합: true

출력

두 개의 리소스 집합

리소스 집합 1

표시 이름: machine-89

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

리소스 집합 2

표시 이름: machine-90

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

예 3

avro 형식의 IoT 데이터

입력

파일:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

패턴 규칙

범위:https://myazureblob.blob.core.windows.net/bar/

표시 이름: 'machine-{{machineid}}'

정규화된 이름:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

리소스 집합: true

출력

리소스 집합 1

표시 이름: machine-89

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

리소스 집합 2

표시 이름: machine-90

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

예 4

리소스 집합으로 그룹화하지 마세요.

입력

파일:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

패턴 규칙

범위:https://myazureblob.blob.core.windows.net/bar/

표시 이름:Machine-{{machineid}}

정규화된 이름:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

리소스 집합: false

출력

4개의 개별 자산

자산 1

표시 이름: machine-89

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

자산 2

표시 이름: machine-89

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

자산 3

표시 이름: machine-89

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

자산 4

표시 이름: machine-90

정규화된 이름:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

다음 단계

Azure 데이터 레이크 Gen2 저장소 계정을 등록하고 검사하여 시작합니다.