重要
Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。
この記事は、Microsoft Purview でリソース セットを使用してデータ資産を論理リソースにマップする方法を理解するのに役立ちます。
注:
ロールアウトされるこの時点で、高度なリソース セット機能は Microsoft Purview 統合カタログのすべてのお客様が利用できます。 高度なリソース セットの価格は、 従来の Microsoft Purview データ ガバナンスの既存の料金と一致しています。
背景情報
アットスケール データ処理システムは、通常、1 つのテーブルを複数のファイルとしてストレージに格納します。 Microsoft Purview 統合カタログでは、この概念はリソース セットを使用して表されます。 リソース セットは、ストレージ内の多数の資産を表すカタログ内の 1 つのオブジェクトです。
たとえば、Spark クラスターが DataFrame を Azure Data Lake Storage (ADLS) Gen2 データ ソースに永続化したとします。 Spark ではテーブルは単一の論理リソースのように見えますが、ディスク上には数千個の Parquet ファイルが存在する可能性が高く、それぞれが DataFrame の内容のパーティションを表します。 IoT データと Web ログ データには同じ課題があります。 ログ ファイルを 1 秒に数回出力するセンサーがあるとします。 その 1 つのセンサーから数十万のログ ファイルが作成されるまで、それほど時間はかからないでしょう。
Microsoft Purview がリソース セットを検出する方法
Microsoft Purview では、Azure Blob Storage、ADLS Gen1、ADLS Gen2、Azure Files、Amazon S3 でのリソース セットの検出がサポートされています。
Microsoft Purview では、スキャン時にリソース セットが自動的に検出されます。 この機能は、スキャンによって取り込まれたすべてのデータを調べ、定義されたパターンのセットと比較します。
たとえば、URL が https://myaccount.blob.core.windows.net/mycontainer/machinesets/23/foo.parquet のデータ ソースをスキャンするとします。 Microsoft Purview はパス セグメントを調べ、それらが組み込みパターンと一致するかどうかを判断します。 GUID、数値、日付形式、ローカリゼーション コード (en-us など) などのパターンが組み込まれています。 この場合、数値パターンは 23 と一致します。 Microsoft Purview は、このファイルが https://myaccount.blob.core.windows.net/mycontainer/machinesets/{N}/foo.parquet という名前のリソース セットの一部であると想定しています。
または、 https://myaccount.blob.core.windows.net/mycontainer/weblogs/en_au/23.json のような URL の場合、Microsoft Purview はローカライズ パターンと数値パターンの両方に一致し、 https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json という名前のリソース セットを生成します。
この戦略を使用すると、Microsoft Purview は次のリソースを同じリソース セットにマップします https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json:
https://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/1004.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/234.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/de_Ch/23434.json
Microsoft Purview がリソース セットとして検出しないファイルの種類
Microsoft Purview では、Word、Excel、PDF などのほとんどのドキュメント ファイルの種類をリソース セットとして分類しようとしません。 CSV 形式は例外です。CSV 形式は一般的なパーティション分割ファイル形式であるためです。
Microsoft Purview がリソース セットをスキャンする方法
Microsoft Purview は、リソース セットの一部であると思われるリソースを検出すると、フル スキャンからサンプル スキャンに切り替わります。 サンプル スキャンは、リソース セットに含まれると見なされるファイルのサブセットのみを開きます。 ファイルを開くたびに、スキーマが使用され、分類子が実行されます。 次に、Microsoft Purview は、開いているリソースの中から最新のリソースを検索し、カタログ内のリソース セット全体について、エントリ内のそのリソースのスキーマと分類を使用します。
高度なリソース セット
Microsoft Purview では、 高度なリソース セット 機能を使用して、リソース セット資産をカスタマイズし、さらに強化することができます。 高度なリソース セットを使用すると、Microsoft Purview は取り込まれたデータの基になるパーティションを認識し、スキャン中に Microsoft Purview がリソース セットをグループ化する方法をカスタマイズする リソース セット パターン 規則の作成が可能になります。
高度なリソース セットが有効になっている場合、Microsoft Purview は追加の集計を実行して、リソース セット資産に関する次の情報を計算します。
- リソース セットを構成するファイルのサンプル パス。
- リソース セットを構成するファイルの数を示すパーティション数。
- リソース セットを構成するすべてのファイルの合計サイズ。
これらのプロパティは、リソース セットのアセットの詳細ページにあります。
高度なリソース セットを有効にする
高度なリソース セットは、すべての新しい Microsoft Purview インスタンスで既定でオフになっています。 ルート コレクションでデータ キュレーター ロールを持つユーザーのみが、リソース セットの詳細設定を管理できます。 高度なリソース セットを有効にするには、次の図に示すように、 Microsoft Purview ポータル>設定>アカウントに移動し、 高度なリソース セットのトグルを選択します。
高度なリソース セットを有効にすると、新しく取り込まれたすべてのアセットで追加のエンリッチメントが行われます。 これらのエンリッチメントは、取り込み後、アセットで使用できるようになるまでに最大 12 時間 かかる場合があります。 Microsoft Purview チームは、機能をオンに切り替えた後、新しいデータ レイク データをスキャンするまで 1 時間待つことをお勧めします。
重要
高度なリソース セットを有効にすると、資産と分類の分析情報の更新レートに影響します。 高度なリソース セットがオンになっている場合、資産と分類の分析情報は 1 日に 2 回更新されます。
また、高度なリソース セットを有効にすると、スキーマの更新が表示されるまでに最大 12 時間 かかる場合があります。
組み込みのリソース セット パターン
Microsoft Purview では、次のリソース セットのパターンがサポートされています。 これらのパターンは、ディレクトリ内の名前またはファイル名の一部として表示できます。
正規表現ベースのパターン
| パターン名 | 表示名 | 説明 |
|---|---|---|
| Guid | {GUID} | RFC 4122 で定義されているグローバル一意識別子 |
| 番号 | {N} | 1 つ以上の数字 |
| 日付/時刻の形式 | {Year}{Month}{Day}{N} | さまざまな日付/時刻の形式がサポートされていますが、すべて {Year}[delimiter]{Month}[delimiter]{Day} または一連の {N} で表されます。 |
| 4ByteHex | {HEX} | 4 桁の 16 進数。 |
| ローカリゼーション | {LOC} | BCP 47 で定義されている言語タグでは、- 名と _ 名の両方がサポートされています (例: en_ca と en-ca) |
複雑なパターン
| パターン名 | 表示名 | 説明 |
|---|---|---|
| SparkPath | {SparkPartitions} | Spark パーティション ファイル識別子 |
| Date(yyyy/mm/dd)InPath | {年}/{月}/{日} | 複数のフォルダーにまたがる年/月/日のパターン |
統合カタログでのリソース セットの表示方法
Microsoft Purview は、資産のグループをリソース セットに照合するときに、カタログの表示名として使用する最も有用な情報を抽出しようとします。 適用される既定の名前付け規則の例をいくつか示します。
例 1
修飾名: https://myblob.blob.core.windows.net/sample-data/name-of-spark-output/{SparkPartitions}
表示名: "スパーク出力の名前"
例 2
修飾名: https://myblob.blob.core.windows.net/my-partitioned-data/{Year}-{Month}-{Day}/{N}-{N}-{N}-{N}/{GUID}
表示名: "My partitioned data"
例 3
修飾名: https://myblob.blob.core.windows.net/sample-data/data{N}.csv
表示名: "data"
パターン ルールを使用したリソース セットのグループ化のカスタマイズ
ストレージ アカウントをスキャンするときに、Microsoft Purview は定義されたパターンのセットを使用して、資産のグループがリソース セットであるかどうかを判断します。 場合によっては、Microsoft Purview のリソース セットのグループ化にデータ資産が正確に反映されていないことがあります。 これらの問題には、次のものが含まれます。
- 資産がリソース セットとして正しくマークされていません。
- 資産を間違ったリソース セットに配置しています。
- 資産をリソース セットではないと誤ってマークしています。
Microsoft Purview がリソース セットとしてグループ化されている資産を検出する方法と、それらがカタログ内での表示方法をカスタマイズまたはオーバーライドするには、Management Center でパターン ルールを定義できます。 詳細な手順と構文については、 リソース セット パターン ルールを参照してください。
リソース セットの既知の制限事項
- 既定では、リソース セット資産は、 高度なリソース セット が有効になっている場合にのみスキャンによって削除されます。 この機能がオフの場合、リソース セット資産は手動または API 経由でのみ削除できます。
次の手順
Microsoft Purview の使用を開始するには、「 クイック スタート: Microsoft Purview アカウントを作成する」を参照してください。