重要
Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。
この記事では、Microsoft Purview データ マップのスキャンと取り込み機能の概要について説明します。 これらの機能により、Microsoft Purview アカウントをソースに接続してデータ マップと統合カタログが設定されるため、Microsoft Purview を通じてデータの探索と管理を開始できるようになります。
- スキャンは、データ ソースからメタデータをキャプチャし、Microsoft Purview に取り込みます。
-
インジェストでは メタデータが処理され、以下の両方の統合カタログに格納されます。
- データ ソース スキャン - スキャンされたメタデータがデータ マップに追加されます。
- 系列接続 - 変換リソースは、ソース、出力、およびアクティビティに関するメタデータをデータマップに追加します。
スキャン
Microsoft Purview アカウントにデータ ソースを 登録 したら、データ ソースをスキャンします。 スキャン プロセスはデータ ソースに接続し、名前、ファイル サイズ、列などの技術メタデータをキャプチャします。 また、構造化データ ソースのスキーマを抽出し、スキーマに分類を適用し、 データ マップが Microsoft Purview ポータルに接続されている場合は秘密度ラベルを適用します。 スキャン プロセスをすぐに実行するようにトリガーすることも、定期的に実行するようにスケジュールして、Microsoft Purview アカウントを最新の状態に保つこともできます。
スキャンごとに、ソース全体ではなく必要な情報のみをスキャンするようにプロセスをカスタマイズできます。
スキャンの認証方法を選択する
Microsoft Purview は既定でセキュリティで保護されています。 パスワードやシークレットは直接保存されないため、ソースの認証方法を選択する必要があります。 Microsoft Purview アカウントはいくつかの方法で認証できますが、データ ソースごとにすべての方法がサポートされているわけではありません。
- マネージド ID
- サービス プリンシパル
- SQL 認証
- Windows 認証
- ロール ARN
- 代理認証
- コンシューマー キー
- アカウント キーまたは基本認証
可能な限りマネージド ID を使用してください。個々のデータ ソースの資格情報を格納および管理する必要がないためです。 この方法では、スキャンの認証の設定とトラブルシューティングに費やす時間を大幅に削減できます。 Microsoft Purview アカウントのマネージド ID を有効にすると、ID が Microsoft Entra ID (Entra ID) で作成され、アカウントのライフサイクルに関連付けられます。
スキャンの範囲を指定する
ソースをスキャンするときは、データ ソース全体をスキャンするか、スキャンする特定のエンティティ (フォルダーまたはテーブル) のみを選択できます。 使用可能なオプションは、スキャンしているソースによって異なります。 これらのオプションは、ワンタイムスキャンとスケジュールスキャンの両方に定義できます。
たとえば、 Azure SQL Database のスキャンを作成して実行する場合、スキャンするテーブルを選択したり、データベース全体を選択したりすることができます。
各エンティティ (フォルダーまたはテーブル) には、完全に選択、部分的に選択、未選択の 3 つの選択状態が存在します。 次の例では、フォルダ階層で Department 1 を選択すると、 Department 1 は完全に選択されたと見なされます。 部門 1 の親エンティティ (会社と例) は、同じ親の下にある他のエンティティ (たとえば、部門 2) は選択されていないため、部分的に選択されたと見なされます。 選択状態が異なるエンティティの UI では、異なるアイコンが使用されます。
スキャンを実行すると、新しいアセットがソース システムに追加される可能性があります。 デフォルトでは、スキャンを再実行したときに親が完全または部分的に選択されている場合、特定の親の下にある将来のアセットが自動的に選択されます。 前の例では、「 部門 1 」を選択してスキャンを実行した後、スキャンをもう一度実行すると、「 部門 1 」フォルダーまたは「 会社 と 例 」の下にある新しいアセットが含まれます。
次の図に示すように、トグル ボタンを使用すると、部分的に選択された親の下に新しいアセットを自動的に含めるかどうかを制御できます。 既定では、トグルはオフになっており、部分的に選択された親の自動包含動作は無効になっています。 トグルをオフにすると、部分的に選択された親 ( 会社 や 例 など) の下にある新しいアセットは、スキャンを再度実行するときに含まれません。 Department 1 の下にある新しい資産のみが将来のスキャンに含まれます。
トグルがオンになっている場合、スキャンをもう一度実行したときに親が完全または部分的に選択されると、親の下にある新しいアセットが自動的に選択されます。 包含動作は、トグルが導入される前と同じです。
注:
- トグル ボタンを使用できるかどうかは、データ ソースの種類によって異なります。 現在、Azure Blob Storage、Azure Data Lake Storage Gen 1、Azure Data Lake Storage Gen 2、Azure Files、Azure Dedicated SQL プール (旧称 SQL DW) などのソースでパブリック プレビューとして利用できます。
- トグルが導入される前に作成またはスケジュールされたスキャンの場合、トグルの状態は [ オン ] に設定され、変更できません。 トグルの導入後に作成またはスケジュールされたスキャンについては、スキャンの保存後にトグル状態を変更することはできません。 切り替え状態を変更するには、新しいスキャンを作成する必要があります。
- トグルがオフになっている場合、Azure Data Lake Storage Gen 2 のようなストレージの種類のソースの場合、スキャン ジョブが完了してからソース の種類ごとの参照 エクスペリエンスが完全に使用可能になるまでに最大 4 時間かかることがあります。
既知の制限
トグルがオフになっている場合:
- 部分的に選択された親の下のファイル エンティティはスキャンされません。
- 親の下にあるすべての既存のエンティティが明示的に選択されている場合、親は完全に選択されたと見なされ、親の下にある新しいアセットは、スキャンを再度実行すると含まれます。
スキャン レベルのカスタマイズ
データマップの用語では、メタデータの範囲と機能に基づいて、3つの異なるレベルのスキャンが存在します。
- L1 スキャン: ファイル名、サイズ、完全修飾名などの基本情報とメタデータを抽出します
- L2 スキャン: 構造化ファイルの種類とデータベース テーブルのスキーマを抽出します
- L3 スキャン: 該当する場合はスキーマを抽出し、サンプリングしたファイルをシステムとカスタム分類規則の対象にします
新しいスキャンを設定するか、既存のスキャンを編集するときに、スキャン・レベル構成をサポートするスキャン・データ・ソースのスキャン・レベルをカスタマイズできます。
既定では、[自動検出] が選択されます。これは、Microsoft Purview がこのデータ ソースで使用可能な最高のスキャン レベルを適用することを意味します。 Azure SQL Database を例にとると、データソースは Microsoft Purview で分類を既にサポートしているため、スキャンを実行すると「自動検出」は「レベル 3」として解決されます。 スキャン実行の詳細のスキャン レベルには、実際に適用されたレベルが表示されます。
スキャン レベルを新しい機能としてカスタマイズする前に完了したスキャン履歴のすべてのスキャン実行については、スキャン レベルが設定され、[ 自動検出] として表示されます。
データ ソースでより高いスキャン レベルを使用できるようになると、スキャン レベルが [自動検出 ] に設定されている保存済みスキャンまたはスケジュール済みスキャンに新しいスキャン レベルが自動的に適用されます。 たとえば、特定のデータ ソースに対して新機能としての分類が有効になっている場合、このデータ ソースの既存のすべてのスキャンに分類が自動的に適用されます。
スキャン・レベルの設定は、スキャン実行ごとにスキャン・モニター・インターフェースに表示されます。
レベル 1 を選択した場合、スキャンでは、特定のデータ ソースの既存のメタデータ可用性に基づいて、アセット名、アセット サイズ、変更されたタイムスタンプなどの基本的な技術メタデータのみが返されます。 SQL Database の場合、プロセスでは、データ マップ内のテーブルなどのアセット エンティティが作成されますが、テーブル スキーマは抽出されません。 (注: ユーザーは、ソース システムで 必要なアクセス許可 を持っている場合、引き続きライブ ビューを介してテーブル スキーマを表示できます)。
レベル 2 を選択した場合、スキャンによってテーブル スキーマと基本的な技術メタデータが返されますが、データのサンプリングと分類は実行されません。 Azure SQL Database の場合、テーブル資産エンティティは分類情報を使用せずにテーブル スキーマをキャプチャします。
レベル 3 を選択すると、スキャンによってデータのサンプリングと分類が実行されます。 これは、新機能が導入されたスキャン レベル以前の Azure SQL Database スキャンの標準構成です。
スケジュールされたスキャンを低いスキャン レベルに設定し、後でそれをより高いスキャン レベルに変更した場合、次のスキャンの実行は自動的にフル スキャンを実行し、より高いスキャン レベルの設定によって導入されたメタデータを使用して、データ ソースのすべての既存のデータ資産を更新します。 たとえば、Azure SQL Database で レベル 2 に設定されたスケジュールされたスキャンを レベル 3 に変更すると、次のスキャンの実行はフル スキャンであり、既存のすべての Azure SQL Database テーブルとビュー アセットを分類情報で更新します。 その後、すべてのスキャンは、 レベル 3 に設定された増分スキャンとして再開されます。
スケジュールされたスキャンをより高いスキャンレベルに設定し、後で低いスキャンレベルに変更した場合、次のスキャン実行は増分スキャンを続行し、データソースのすべての新しいデータアセットには、より低いスキャンレベル設定によって導入されたメタデータのみが含まれます。 たとえば、Azure SQL Database で レベル 3 に設定されたスケジュールされたスキャンを レベル 2 に変更すると、次のスキャン実行は増分スキャンになり、データ マップに追加されたすべての新しい Azure SQL Database テーブルとビュー アセットには分類情報がありません。 既存のすべてのデータ資産には、 レベル 3 に設定された以前のスキャンから生成された分類情報が引き続き保持されます。
注:
- スキャン レベルのカスタマイズは現在、次のデータ ソースで使用できます。Azure SQL Database、Azure SQL マネージド インスタンス、Azure Cosmos DB for NoSQL、Azure Database for PostgreSQL、Azure Database for MySQL、Azure Data Lake Storage Gen2、Azure Blob Storage、Azure Files、Azure Synapse Analytics、Azure Dedicated SQL プール (旧称 SQL DW)、Azure Data Explorer、Dataverse、Azure Multiple (Azure サブスクリプション)、 Azure Multiple (Azure リソース グループ)、Snowflake、 Azure Databricks Unity カタログ
- 現在、この機能は Azure Integration Runtime と Managed Virtual Network Integration Runtime v2 でのみ使用できます。
スキャン ルール セット
スキャンルールセットは、スキャンがソースの1つに対して実行されているときにスキャンが検索する情報の種類を決定します。 使用可能なルールは、スキャンするソースの種類によって異なりますが、スキャンする必要がある ファイルの種類 や必要な 分類 の種類などが含まれます。
多くのデータ・ソース・タイプには、 すでにシステム・スキャン・ルール・セットがありますが、 独自のスキャン・ルール・セットを作成 して、スキャンを組織に合わせて調整することもできます。
スキャンのスケジュールを設定する
Microsoft Purview では、毎日、毎週、または毎月、選択した特定の時刻のスキャンを選択できます。 サポートされている スケジュール オプションの詳細については、こちらをご覧ください。 毎日または毎週のスキャンは、現在開発中の構造や頻繁に変更される構造を持つデータ ソースに適している場合があります。 月次スキャンは、頻繁に変更されないデータ ソースに適しています。 スキャンするソースの管理者と協力して、ソースのコンピューティング需要が少ない時間を特定します。
スキャンで削除されたアセットが検出される方法
Microsoft Purview カタログは、スキャンの実行時にのみデータ ストアの状態を認識します。 カタログがファイル、テーブル、またはコンテナーが削除されたかどうかを知るために、カタログは最後のスキャン出力と現在のスキャン出力を比較します。 たとえば、前回 Azure Data Lake Storage Gen2 アカウントをスキャンしたときに、 folder1 という名前のフォルダーが含まれていたとします。 同じアカウントが再度スキャンされると、 folder1 が見つかりません。 したがって、カタログではフォルダーが削除されたと見なされます。
ヒント
削除されたファイルの検出方法によっては、削除されたアセットを検出して解決するために、複数回の正常なスキャンが必要になる場合があります。 統合カタログで範囲指定スキャンの削除が登録されていない場合は、複数のフル スキャンを試して問題を解決します。
削除されたファイルを検出する
不足しているファイルを検出するロジックは、同じユーザーおよび異なるユーザーによる複数のスキャンに対して機能します。 たとえば、ユーザーがフォルダー A、B、C にあるデータ レイク ストレージ Gen2 データ ストアに対して 1 回限りのスキャンを実行したとします。その後、同じアカウントの別のユーザーが、同じデータ ストアのフォルダー C、D、E で別のワンタイム スキャンを実行します。 フォルダー C は 2 回スキャンされたため、カタログは削除の可能性をチェックします。 ただし、フォルダー A、B、D、E は 1 回だけスキャンされ、カタログでは削除されたアセットがないかチェックされません。
削除されたファイルをカタログに表示しないようにするには、定期的なスキャンを実行することが重要です。 カタログは別のスキャンが実行されるまで削除されたアセットを検出できないため、スキャン間隔は重要です。 そのため、特定のストアで月に 1 回スキャンを実行すると、1 か月後に次のスキャンを実行するまで、カタログはそのストアで削除されたデータ資産を検出できません。
Data Lake Storage Gen2 のような大規模なデータ ストアを列挙する場合、情報の欠落につながる方法 (列挙エラーや破棄イベントなど) が複数あります。 特定のスキャンでは、ファイルが作成または削除されたことを見逃す可能性があります。 したがって、カタログでファイルが確実に削除されない限り、カタログからファイルが削除されることはありません。 この戦略は、スキャンされたデータ ストアに存在しないファイルがカタログにまだ存在する場合にエラーが発生する可能性があることを意味します。 場合によっては、特定の削除されたアセットをキャッチする前に、データ ストアを 2 回または 3 回スキャンする必要がある場合があります。
注:
- 削除対象とマークされたアセットは、スキャンが成功すると削除されます。 削除されたアセットは、処理されて削除される前に、しばらくの間カタログに表示され続ける場合があります。
- 削除の検出は、Microsoft Purview 内の次のソースでのみサポートされています。Azure Synapse Analytics ワークスペース、Azure Arc 対応 SQL Server、Azure Blob Storage、Azure Files、Azure Cosmos DB、Azure Data Explorer、Azure Database for MySQL、Azure Database for PostgreSQL、Azure Dedicated SQL プール、Azure Machine Learning、Azure SQL Database、Azure SQL マネージド インスタンス。 これらのソースでは、データ ソースから資産が削除されると、後続のスキャンで Microsoft Purview 内の対応するメタデータと系列が自動的に削除されます。
インジェスト
インジェストは、さまざまなプロセスを通じて収集されたメタデータをデータマップに入力するプロセスです。
注:
すべての子オブジェクト (参照先エンティティ) と連絡先 (所有者、エキスパート) の合計数が 20,000 エンティティを超えてはなりません。
スキャンからの取り込み
スキャン プロセスでは、技術メタデータまたは分類が識別され、取り込みに送信されます。 インジェストは、スキャンからの入力を分析し、 リソースセットパターンを適用し、利用可能な 系列 情報を入力してから、データマップを自動的にロードします。 アセットとスキーマを検出またはキュレーションできるのは、取り込みが完了した後のみです。 スキャンが完了しても、データ マップまたはカタログにアセットが表示されない場合は、取り込みプロセスが完了するまで待つ必要があります。
系列接続からのインジェスト
Azure Data Factory や Azure Synapse などのリソースを Microsoft Purview に接続して、データ ソースと系列の情報を Data Map に取り込むことができます。 たとえば、Microsoft Purview に接続した Azure Data Factory でコピー パイプラインが実行されている場合、サービスは入力ソース、アクティビティ、出力ソースに関するメタデータを取り込みます。 情報はデータマップに追加されます。
スキャンを使用してデータ・マップにデータ・ソースを追加すると、アクティビティに関する系列情報が既存のソースに追加されます。 データ・ソースをデータ・マップにまだ追加していない場合は、系列取り込みプロセスによって、系列情報とともにルート・コレクションに追加されます。
使用可能な系列接続の詳細については、 系列ユーザーガイドを参照してください。
次の手順
詳細、またはソースのスキャンに関する具体的な手順については、以下のリンクを参照してください。