接続先のデータ ソース データ マップ

重要

Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。

この記事では、Microsoft Purview データ マップでサポートされているデータ ソース、ファイルの種類、スキャンの概念の一覧を示します。

種類別のデータ ソースの一覧

次の表は、Microsoft Purview データ マップで使用できる技術メタデータを持つすべてのデータ ソースと、サポートされているその他の機能を示しています。 [ データ ソース ] 列でデータ ソース名を選択し、そのソースをデータ マップに接続する手順を確認します。

Azure

Azure リソースは、各データ ソースのページに特に明記されていない限り、Microsoft Purview アカウントと同じテナントでのみ使用できます。

データ ソース 分類を自動的に適用できます データ マップ資産に秘密度ラベルを適用できます ポリシーを適用できます データ系統 ライブ ビューでアクセス可能
接続とスキャン手順のリンクを選択します。 スキャン手順を表示するには、[ はい ] を選択します。 スキャン中に分類がどのように適用されるかについて説明します。 秘密度のラベル付け (プレビュー) について説明します。 [ はい ] を選択すると、サポートされているポリシーが表示されます。たとえば、データ所有者、セルフサービス アクセス、保護などです。 詳細については、[ はい ] を選択してください。 ライブ ビューについて学びましょう。
複数のソース はい ソースに依存 はい いいえ 制限付き
Azure Blob ストレージ ○ はい はい (プレビュー) 制限あり* はい
Azure Cosmos DB for SQL API ○ はい 不要 いいえ* 不要
Azure Data Explorer ○ はい 不要 いいえ* 不要
Azure Data Factory 不要 不要 不要 はい いいえ
Azure Data Lake Storage Gen2 ○ はい はい (プレビュー) 制限あり* はい
Azure Data Share 不要 不要 不要 はい いいえ
Azure Database for MySQL ○ はい 不要 いいえ* 不要
Azure Database for PostgreSQL ○ はい 不要 いいえ* 不要
Azure Databricks Hive メタストア はい** 不要 不要 はい いいえ
Azure Databricks Unity Catalog はい*** 不要 不要 はい いいえ
Azure 専用 SQL プール (旧称 SQL DW) はい いいえ 不要 いいえ* 不要
Azure Files ○ はい 不要 制限あり* 不要
Azure Machine Learning 不要 不要 不要 はい いいえ
Azure SQL データベース ○ はい はい^ はい (プレビュー) はい
Azure SQL Managed Instance ○ はい はい いいえ* 不要
Azure Synapse Analytics (ワークスペース) ○ はい 不要 はい - Synapse パイプライン 不要

* データ ソース内の資産の系列に加えて、Data Factory または Synapse パイプラインでデータ セットがソース/シンクとして使用されている場合は、系列もサポートされます。

** Azure Databricks データ ソースの Unity カタログのみに対する分類サポート。

カスタム分類は、Azure Databricks Unity カタログ ソースではサポートされていません。

^ 保護ポリシーは、Azure SQL Database ではサポートされていません。

Database

データ ソース 分類を自動的に適用できます データ マップ資産に秘密度ラベルを適用できます ポリシーを適用できます データ系統 ライブ ビューでアクセス可能
接続とスキャン手順のリンクを選択します。 スキャン手順を表示するには、[ はい ] を選択します。 スキャン中に分類がどのように適用されるかについて説明します。 秘密度のラベル付け (プレビュー) について説明します。 [ はい ] を選択すると、サポートされているポリシーが表示されます。たとえば、データ所有者、セルフサービス アクセス、保護などです。 詳細については、[ はい ] を選択してください。 ライブ ビューについて学びましょう。
Amazon RDS はい いいえ 不要 不要 不要
Amazon Redshift 不要 不要 不要 不要 不要
Cassandra 不要 不要 不要 はい いいえ
Db2 不要 不要 不要 はい いいえ
Google BigQuery 不要 不要 不要 はい いいえ
Hive メタストア データベース 不要 不要 不要 はい* 不要
MongoDB 不要 不要 不要 不要 不要
MySQL 不要 不要 不要 はい いいえ
Oracle はい いいえ 不要 はい* 不要
PostgreSQL 不要 不要 不要 はい いいえ
SAP ビジネス ウェアハウス 不要 不要 不要 不要 不要
SAP HANA 不要 不要 不要 不要 不要
Snowflake ○ はい 不要 はい* 不要
SQL Server ○ はい 不要 いいえ* 不要
Azure-Arc 上の SQL Server はい いいえ はい いいえ* 不要
Teradata はい いいえ 不要 はい* 不要

* データ ソース内の資産の系列に加えて、Data Factory または Synapse パイプラインでデータ セットがソース/シンクとして使用されている場合は、系列もサポートされます。

File

データ ソース 分類を自動的に適用できます データ マップ資産に秘密度ラベルを適用できます ポリシーを適用できます データ系統 ライブ ビューでアクセス可能
接続とスキャン手順のリンクを選択します。 スキャン手順を表示するには、[ はい ] を選択します。 スキャン中に分類がどのように適用されるかについて説明します。 秘密度のラベル付け (プレビュー) について説明します。 [ はい ] を選択すると、サポートされているポリシーが表示されます。たとえば、データ所有者、セルフサービス アクセス、保護などです。 詳細については、[ はい ] を選択してください。 ライブ ビューについて学びましょう。
Amazon S3 はい いいえ 不要 制限あり* 不要
Hadoop 分散ファイル システム (HDFS) はい いいえ 不要 不要 不要

* データ ソース内の資産の系列に加えて、Data Factory または Synapse パイプラインでデータ セットがソース/シンクとして使用されている場合は、系列もサポートされます。

サービスとアプリ

データ ソース 分類を自動的に適用できます データ マップ資産に秘密度ラベルを適用できます ポリシーを適用できます データ系統 ライブ ビューでアクセス可能
接続とスキャン手順のリンクを選択します。 スキャン手順を表示するには、[ はい ] を選択します。 スキャン中に分類がどのように適用されるかについて説明します。 秘密度のラベル付け (プレビュー) について説明します。 [ はい ] を選択すると、サポートされているポリシーが表示されます。たとえば、データ所有者、セルフサービス アクセス、保護などです。 詳細については、[ はい ] を選択してください。 ライブ ビューについて学びましょう。
Airflow 不要 不要 不要 はい いいえ
Dataverse ○ はい 不要 不要 不要
Erwin 不要 不要 不要 はい いいえ
Fabric 不要 不要 不要 はい はい
Looker 不要 不要 不要 はい いいえ
Power BI いいえ 不要 不要 はい はい**
Qlik Sense 不要 不要 不要 不要 不要
Salesforce 不要 不要 不要 不要 不要
SAP ECC 不要 不要 不要 はい* 不要
SAP S/4HANA 不要 不要 不要 はい* 不要
Tableau 不要 不要 不要 不要 不要

* データ ソース内の資産の系列に加えて、Data Factory または Synapse パイプラインでデータ セットがソース/シンクとして使用されている場合は、系列もサポートされます。

** Fabric テナント内の Power BI アイテムは、ライブ ビューを使用して利用できます。

注:

現時点では、Microsoft Purview データ マップ は、名前に /、\、または # を含む資産をスキャンすることはできません。 スキャンの範囲を設定し、アセット名にそれらの文字を含むアセットのスキャンを回避するには、「Azure SQL データベースを登録してスキャンする」の例を使用します。

重要

セルフホステッド統合ランタイムの使用を計画している場合、一部のデータ ソースのスキャンには、セルフホステッド統合ランタイム コンピューターでの追加セットアップが必要です。 たとえば、JDK、Microsoft Visual C++ Redistributable、または特定のドライバーなどです。 ソースについては、 前提条件の詳細については、各ソースの記事を参照してください。 すべての要件は、[ 前提条件 ] セクションに一覧表示されます。

データ マップ スキャナーのリージョン

次の一覧は、データ マップ スキャナーが実行される Azure データ ソース (データ センター) リージョンを示しています。 Azure データ ソースがこの一覧以外のリージョンにある場合、スキャナーは Microsoft Purview インスタンスのリージョンで実行されます。

  • オーストラリア東部
  • オーストラリア南東部
  • ブラジル南部
  • カナダ中部
  • カナダ東部
  • インド中部
  • 中国北部 3
  • 東アジア
  • 米国東部
  • 米国東部 2
  • フランス中部
  • ドイツ中西部
  • 東日本
  • 韓国中部
  • 米国中央北部
  • 北ヨーロッパ
  • カタール中部
  • 南アフリカ北部
  • 米国中央南部
  • 東南アジア
  • スイス北部
  • アラブ首長国連邦北部
  • 英国南部
  • USGov バージニア
  • 米国中央西部
  • 西ヨーロッパ
  • 米国西部
  • 米国西部 2
  • 米国西部 3

スキャンでサポートされているファイルの種類

次のセクションに一覧表示されているファイルの種類は、該当する場合、スキャン、スキーマ抽出、分類をサポートしています。 さらに、データ マップでは、 カスタム ファイル拡張子とカスタム パーサーがサポートされています。

拡張機能でサポートされている構造化ファイル形式には、スキャン、スキーマ抽出、アセットと列レベルの分類があります。

  • AVRO
  • CSV
  • GZIP
  • JSON
  • ORC
  • PARQUET*
  • PSV
  • SSV
  • TSV
  • TXT
  • XML

*非圧縮 PARQUET ファイルの場合、すべての Parquet 形式がサポートされています。 圧縮された PARQUET ファイルの場合、snappy Parquet 形式のみがサポートされています。

拡張機能でサポートされているドキュメント ファイル形式には、スキャンとアセット レベルの分類があります。

  • DOC
  • DOCM
  • DOCX
  • DOT
  • ODP
  • ODS
  • ODT
  • PDF
  • ポット
  • PPS
  • PPSX
  • PPT
  • PPTM
  • PPTX
  • XLC
  • XLS
  • XLSB
  • XLSM
  • XLSX
  • XLT

注:

既知の制限事項:

  • Microsoft Purview Data Map スキャナーは、前のセクションに記載されている構造化ファイルの種類のスキーマ抽出のみをサポートします。
  • AVRO、ORC、および PARQUET ファイルの種類の場合、スキャナーは複雑なデータ型 (MAP、LIST、STRUCT など) を含むファイルのスキーマ抽出をサポートしません。
  • 非圧縮 PARQUET ファイルの場合、すべての Parquet 形式がサポートされます。 圧縮 PARQUET ファイルの場合、スキーマの抽出と分類では、snappy parquet 形式のみがサポートされています。
  • GZIP ファイルの種類の場合、GZIP はその中の 1 つの CSV ファイルにマップする必要があります。 GZIP ファイルは、システムとカスタムの分類規則の対象です。 現在、スキャナーは、内部の複数のファイルにマップされた GZIP ファイル、または CSV 以外のファイルの種類のスキャンをサポートしていません。
  • Parquet ファイルの場合、セルフホステッド統合ランタイムを使用している場合は、IR マシンに 64 ビット JRE 11 (Java ランタイム環境) または OpenJDK をインストールする必要があります。 Java ランタイム インストール ガイドを参照してください。
  • デルタ形式はサポートされていません。 Microsoft Azure Data Lake Storage Gen2 などのストレージ データ ソースから直接デルタ形式をスキャンしている場合、「 リソース セットについて」の説明に従って、デルタ形式の Parquet ファイルのセットが解析されてリソース セットとして処理されます。 パーティション分割に使用される列は、リソース セットのスキーマの一部として認識されません。
  • サポートされていない Parquet エンコード: Microsoft Purview では、Microsoft Fabric レイクハウスで実行時間の長さエンコード (RLE) を使用する Parquet ファイルのスキーマ抽出はサポートされていません。 RLE でエンコードされた列を含むテーブルは、テーブル、列、データ型などのスキーマ メタデータの抽出に失敗する可能性があります。 このプロセスでは、引き続き資産レベルのメタデータ (L1) が検出されます。 完全なスキーマ抽出を有効にするには、ディクショナリやプレーン エンコーディングなどのサポートされているエンコード形式を使用して、影響を受けるテーブルを再作成します。

区切りファイルの種類 (CSV、PSV、SSV、TSV、TXT) の場合:

  • 列が 1 つだけの区切りファイルは、CSV ファイルであると判断できず、スキーマを持たないファイルです。
  • データ型の検出はサポートされていません。 データ型は、すべての列に "文字列" として表示されます。
  • サポートされている区切り記号は、コンマ (',')、セミコロン(';')、縦線 ('|')、およびタブ ('\t') のみです。
  • 3 行未満の区切りファイルは、ユーザー設定の区切り記号を使用している場合、CSV ファイルであると判断できません。 たとえば、~ 区切り記号で行が 3 行未満のファイルは、CSV ファイルであると判断できません。
  • フィールドに二重引用符が含まれている場合、二重引用符はフィールドの先頭と末尾にのみ表示でき、一致させる必要があります。 フィールドの中央に表示される二重引用符、または先頭と末尾に表示されるが一致しない二重引用符は、不正データとして認識され、ファイルからスキーマは解析されません。 ヘッダー行と列数が異なる行は、エラー行と判断されます。 エラー行数をサンプリングされた行数で除算した値が 0.1 未満である必要があります。

スキーマの抽出

スキャン中にスキーマ抽出をサポートするデータ ソースの場合、列数によってアセット スキーマが直接切り捨てられることはありません。

入れ子になったデータ

入れ子になったデータは、JSON コンテンツでのみサポートされます。 システムでサポートされているすべてのファイルの種類で、列に入れ子になった JSON コンテンツがある場合、スキャナーは入れ子になった JSON データを解析し、アセットの [スキーマ] タブ内に表示します。

入れ子になったデータまたは入れ子になったスキーマ解析は、SQL ではサポートされていません。 入れ子になったデータを含む列は報告され、そのまま分類され、サブデータは解析されません。

分類用のデータをサンプリングする

データ マップの用語では、

  • L1 スキャン: 基本情報と、ファイル名、サイズ、完全修飾名などのメタデータを抽出します。
  • L2 スキャン: 構造化ファイルの種類とデータベース テーブルのスキーマを抽出します。
  • L3 スキャン: 該当する場合はスキーマを抽出し、サンプリングされたファイルをシステムとカスタムの分類規則の対象にします。

スキャン レベルのカスタマイズについて詳しくは、こちらをご覧ください。

すべての構造化ファイル形式について、Microsoft Purview Data Map スキャナーは次の方法でファイルをサンプリングします。

  • 構造化ファイルの種類の場合は、各列の上位 128 行または最初の 1 MB のいずれか低い方をサンプリングします。
  • ドキュメント ファイル形式の場合は、各ファイルの最初の 20 MB をサンプリングします。
  • ドキュメント ファイルが 20 MB を超える場合、スキャナーはディープ スキャンを実行しません (分類の対象)。 その場合、Microsoft Purview は、ファイル名や完全修飾名などの基本的なメタデータのみをキャプチャします。
  • 表形式データ ソース (SQL) の場合は、上位 128 行をサンプリングします。
  • Azure Cosmos DB for NoSQL の場合、コンテナー内の最初の 10 個のドキュメントから最大 300 個の個別のプロパティがスキーマ用に収集されます。 プロパティごとに、スキャナーは最大 128 個のドキュメントまたは最初の 1 MB から値をサンプリングします。
  • DOCX ファイルなどの非構造化データ形式の場合、8 つの個別の値の条件を満たす必要はありません。 関連するキーワードが 1 つあれば、分類には十分です。

リソース セット ファイルのサンプリング

フォルダまたはパーティション・ファイルのグループがシステム・リソース・セット・ポリシーまたは顧客定義のリソース・セット・ポリシーと一致する場合、Data Mapはそれを リソース・セットとして検出します。 スキャナーがリソース セットを検出すると、それに含まれる各フォルダーがサンプリングされます。 リソース セットの詳細については、「 Microsoft Purview データ マップのリソース セット」を参照してください。

ファイルの種類別のリソース セットのファイル サンプリング:

  • 区切りファイル (CSV、PSV、SSV、TSV): スキャナーは、リソース セットと見なされるフォルダーまたはパーティション ファイルのグループ内のファイル 100 個に 1 個 (L3 スキャン) をサンプリングします。
  • Data Lake ファイルの種類 (Parquet、Avro、Orc): スキャナーは、リソース セットと見なされるパーティション ファイルのフォルダーまたはグループ内の 18,446,744,073,709,551,615 (long max) ファイル (L3 スキャン) 中の 1 つをサンプリングします。
  • その他の構造化ファイルの種類 (JSON、XML、TXT): スキャナーは、リソース セットと見なされるフォルダーまたはパーティション ファイルのグループ内の 100 ファイルに 1 つ (L3 スキャン) をサンプリングします。
  • SQL オブジェクトと Azure Cosmos DB エンティティ: スキャナー L3 が各ファイルをスキャンします。
  • ドキュメント ファイルの種類: スキャナー L3 が各ファイルをスキャンします。 リソース セットのパターンは、これらのファイルの種類には適用されません。

次の手順

  • 最終更新: