リソース セット パターン ルールの作成

重要

Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。

アットスケール データ処理システムは、通常、1 つのテーブルを複数のファイルとしてストレージに格納します。 この概念は、リソース セットを使用して Microsoft Purview で表されます。 リソース セットは、ストレージ内の多数の資産を表す Microsoft Purview 統合カタログの 1 つのオブジェクトです。 詳細については、 リソース・セットについてを参照してください。

ストレージ アカウントをスキャンするときに、Microsoft Purview は定義されたパターンのセットを使用して、資産のグループがリソース セットであるかどうかを判断します。 場合によっては、リソース セットのグループ化にデータ資産が正確に反映されていないことがあります。 リソース セット パターン ルールを使用すると、Microsoft Purview がリソース セットとしてグループ化されている資産を検出する方法と、それらがカタログ内でどのように表示されるかをカスタマイズまたはオーバーライドできます。

パターン・ルールは現在、以下のソース・タイプでサポートされています。

• Azure Data Lake Storage Gen2
• Azure Blob Storage
• Azure Files
• Amazon S3

リソース・セット・パターン・ルールを作成するには、詳細リソース・セット機能セットを有効にする必要があります。 詳細については、「 高度なリソース セットについて」を参照してください。

リソース セット パターン ルールの作成方法

次の手順に従って、新しいリソース セット パターン ルールを作成します。

1. [データ マップ] にアクセスし、[ ソース管理] を選択し、[ パターン ルール]、[ 新規 ] の順に選択して新しいルール セットを作成します。

2. リソース セットのパターン ルールの範囲を入力します。 ストレージ アカウントの種類と、ルール セットを作成するストレージ アカウントの名前を選択します。 各ルール セットは、[ フォルダー パス] フィールドで指定されたフォルダー パス スコープを基準として適用されます。

   

3. 構成スコープのルールを入力するには、[ + 新しいルール] を選択します。

4. ルールを作成するには、次のフィールドに入力します。

   1. ルール名: 構成ルールの名前。 このフィールドは、ルールが適用される資産には影響しません。

   2. 修飾名: テキスト、動的置換、および静的置換の組み合わせを使用してアセットを構成ルールに一致させる修飾パス。 このパスは、構成ルールのスコープを基準にしています。 修飾名を指定する方法の詳細については、以下の 構文 のセクションを参照してください。

   3. 表示名: 資産の表示名。 このフィールドはオプションです。 プレーン テキストと静的置換を使用して、カタログでのアセットの表示方法をカスタマイズします。 詳細な手順については、以下の 構文 のセクションを参照してください。

   4. リソース セットとしてグループ化しない: 有効にする場合、一致したリソースはリソース セットにグループ化されません。

      

5. [ 追加] を選択してルールを保存します。

注:

パターン ルールが作成されると、すべての新しいスキャンに取り込み時にルールが適用されます。 統合カタログ内の既存のアセットはバックグラウンド プロセスを介して更新されます。これには最大で数時間かかる場合があります。

パターン規則の構文

リソース・セット・パターン・ルールを作成するときは、次の構文を使用して、どのアセット・ルールが適用されるかを指定します。

動的置換 (単一角かっこ)

単一角かっこは、パターン・ルールの 動的置換として 使用されます。 フォーマット {<replacerName>:<replacerType>} を使用して、修飾名に動的置換を指定します。 一致する場合、動的置換は、資産をリソース・セットとして表す必要があることを示すグループ化条件として使用されます。 資産がリソース・セットにグループ化されている場合、リソース・セット修飾パスには、置換が指定された {replacerName} が含まれます。

たとえば、2 つの資産が folder1/file-1.csv され、 folder2/file-2.csv ルール {folder:string}/file-{NUM:int}.csv に一致する場合、リソース セットは 1 つのエンティティ {folder}/file-{NUM}.csvになります。

特殊なケース: リソース セットにグループ化されない場合の動的置換

パターン・ルールに対して「 リソース・セットとしてグループ化しない 」が有効になっている場合、置換名はオプション・フィールドです。 {:<replacerType>} は有効な構文です。 たとえば、 file-{:int}.csv は正常に file-1.csv と file-2.csv に一致し、リソース セットではなく 2 つの異なるアセットを作成します。

静的置換 (二重括弧)

二重角かっこは、パターン・ルールの修飾名の 静的置換として 使用されます。 フォーマット {{<replacerName>:<replacerType>}} を使用して、修飾名に静的置換者を指定します。 一致する場合、一意の静的置換値の各セットは異なるリソース・セット・グループを作成します。

たとえば、2 つの資産が folder1/file-1.csv され、 folder2/file-2.csv がルール {{folder:string}}/file-{NUM:int}.csv に一致する場合、2 つのリソース セットが folder1/file-{NUM}.csv と folder2/file-{NUM}.csv で作成されます。

静的置換を使用して、パターン ルールに一致するアセットの表示名を指定できます。 ルールの表示名に {{<replacerName>}} を使用すると、アセット名の一致値が使用されます。

利用可能な代替の種類

以下は、静的および動的置換で使用できるタイプです。

型	構造
string	一連の 1 つ以上の Unicode 文字 (スペースなどの区切り記号を含む)。
int	1 つ以上の 0 から 9 の ASCII 文字のシリーズ。プレフィックスは 0 にできます (0001 など)。
guid	RFC 4122 で定義されている UUID の一連の 32 または 8-4-4-4-12 文字列表現。
date	RFC 3339 で指定されている、オプションで区切り記号を持つ 6 または 8 の 0 から 9 の ASCII 文字のシリーズ: yyyymmdd、yyyy-mm-dd、yymmdd、yy-mm-dd。
time	RFC 3339 で指定されている、オプションで区切り記号を持つ 4 または 6 の 0 から 9 の ASCII 文字 (HHmm、HH:mm、HHmmss、HH:mm:ss)。
timestamp	RFC 3339 で指定されている、オプションで区切り記号を持つ 12 または 14 の 0 から 9 の ASCII 文字: yyyy-mm-ddTHH:mm、yyyymmddhhmm、yyyy-mm-ddTHH:mm:ss、yyyymmddHHmmss。
ブール値	'true' または 'false' を含むことができます。大文字と小文字は区別されません。
番号	0 以上の 0 から 9 の ASCII 文字のシリーズ。プレフィックスは 0 (例: 0001) の後にオプションでドット '." が続きます。また、1 つまたは複数の 0 から 9 の ASCII 文字のシリーズ。接尾辞は 0 (.100 など) にすることができます。
16 進数	セット 0 から 1 と A から F までの一連の 1 つ以上の ASCII 文字。値のプレフィックスは 0 にすることができます
ロケール	RFC 5646 で指定されている構文に一致する文字列。

リソース セットのパターン ルールが適用される順序

パターン ルールを適用するための操作の順序を次に示します。

1. 資産が 2 つのルールに一致する場合は、より具体的なスコープが優先されます。 たとえば、スコープ container/folder 内のルールは、スコープ container のルールの前に適用されます。

2. 特定の範囲内のルールの順序。 これは UX で編集できます。

3. 資産が指定されたルールと一致しない場合は、既定のリソース セットのヒューリスティックが適用されます。

例

例 1

完全および差分読み込みへの SAP データ抽出

入力

ファイル:

• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
• https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

パターン ルール

スコープ:https://myazureblob.blob.core.windows.net/bar/

表示名: '外部顧客'

修飾名:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

リソース セット: true

出力

1 つのリソース セット資産

表示名: 外部顧客

修飾名:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

例 2

Avro 形式の IoT データ

入力

ファイル:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

パターン ルール

スコープ:https://myazureblob.blob.core.windows.net/bar/

ルール 1

表示名: 'machine-89'

修飾名:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

リソース セット: true

ルール 2

表示名: 'machine-90'

修飾名:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

リソース セット: true

出力

2 つのリソース セット

リソース セット 1

表示名: machine-89

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

リソース セット 2

表示名: machine-90

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

例 3

Avro 形式の IoT データ

入力

ファイル:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

パターン ルール

スコープ:https://myazureblob.blob.core.windows.net/bar/

表示名: 'machine-{{machineid}}'

修飾名:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

リソース セット: true

出力

リソース セット 1

表示名: machine-89

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

リソース セット 2

表示名: machine-90

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

例 4

リソース セットにグループ化しない

入力

ファイル:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

パターン ルール

スコープ:https://myazureblob.blob.core.windows.net/bar/

表示名:Machine-{{machineid}}

修飾名:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

リソース セット: false

出力

4 つの個別のアセット

資産 1

表示名: machine-89

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

資産 2

表示名: machine-89

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

資産 3

表示名: machine-89

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

資産 4

表示名: machine-90

修飾名:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

次の手順

Azure Data Lake Gen2 ストレージ アカウントを登録してスキャンして開始します。