系列ユーザーガイドMicrosoft Purview データカタログ

[アーティクル]
09/21/2023

この記事では、Microsoft Purview データカタログのデータ系列機能の概要について説明します。

背景

Microsoft Purview のプラットフォーム機能の 1 つは、データプロセスによって作成されたデータセット間の系列を表示する機能です。 Data Factory、Data Share、Power BI などのシステムでは、データの移動に伴う系列がキャプチャされます。カスタム系列レポートは、Atlas フックと REST API を使用してサポートされます。

系列コレクション

エンタープライズデータシステムから Microsoft Purview で収集されたメタデータは、エンドツーエンドのデータ系列を示すためにステッチされます。 Microsoft Purview に系列を収集するデータシステムは、大きく次の 3 種類に分類されます。

データ処理システム
データストレージシステム
データ分析とレポートシステム

各システムは、異なるレベルの系列スコープをサポートします。現在利用可能な系列の範囲を確認するには、以下のセクションまたはシステムの個々の系列記事を確認してください。

既知の制限

プロセスアクティビティのソースとして使用されるデータベースビュー (Azure Data Factory、Synapse Pipelines、Azure SQL Database、Azure Data Share) は、現在、Microsoft Purview のデータベーステーブルオブジェクトとしてキャプチャされています。データベースもスキャンされている場合、ビュー資産は Microsoft Purview で個別に検出されます。このシナリオでは、同じ名前の 2 つの資産が Microsoft Purview でキャプチャされ、1 つはデータ系列を持つテーブルとして、もう 1 つはビューとしてキャプチャされます。
ストアドプロシージャに drop ステートメントまたは create ステートメントが含まれている場合、それらは現在系列でキャプチャされません。

データ処理システム

データ統合と ETL ツールは、実行時に系列を Microsoft Purview にプッシュできます。 Data Factory、Data Share、Synapse、Azure Databricks などのツールは、このカテゴリのデータ処理システムに属します。データ処理システムは、データセットをさまざまなデータベースとストレージソリューションのソースとして参照して、ターゲットデータセットを作成します。系列の Microsoft Purview と現在統合されているデータ処理システムの一覧を次の表に示します。

データ処理システム	サポートされているスコープ
気流	エアフロー系列
Azure Data Share	共有スナップショット
Azure Data Factory	コピーアクティビティデータフローアクティビティ SSIS パッケージアクティビティの実行
Azure SQL Database (プレビュー)	ストアドプロシージャの実行の系列抽出
Azure Synapse Analytics	コピーアクティビティデータフローアクティビティ

データストレージシステム

Oracle、Teradata、SAP などのデータベース & ストレージソリューションには、スクリプト言語を使用してデータを変換するためのクエリエンジンがあります。ビュー/ストアドプロシージャ/等からのデータ系列情報は Microsoft Purview に収集され、他のシステムからの系列とステッチされます。系列は、Microsoft Purview データスキャンを使用して次のデータソースでサポートされています。サポートされている系列シナリオの詳細については、それぞれの記事を参照してください。

[カテゴリ]	データソース
Azure	Azure Databricks
Database	カサンドラ
	Db2
	Google BigQuery
	Hive メタストアデータベース
	Mysql
	Oracle
	Postgresql
	スノーフレーク
	Teradata
サービスとアプリ	アーウィン
	見物人
	SAP ECC
	SAP S/4HANA

データ分析とレポートシステム

Azure Machine Learning や Power BI などのデータ分析およびレポートシステムは、Microsoft Purview に系列を報告します。これらのシステムでは、ストレージシステムのデータセットを使用し、メタモデルを通じてプロセスを実行して、BI ダッシュボード、ML 実験などを作成します。

データ分析 & レポートシステム	サポートされているスコープ
Power BI	データセット、データフロー、レポート & ダッシュボード

系列の概要

Microsoft Purview の系列には、データセットとプロセスが含まれています。データセットはノードとも呼ばれますが、プロセスはエッジとも呼ばれます。

データセット (ノード): プロセスへの入力として提供されるデータセット (構造化または非構造化)。たとえば、SQL テーブル、Azure BLOB、ファイル (.csv や .xml など) はすべてデータセットと見なされます。 Microsoft Purview の系列セクションでは、データセットは四角形のボックスで表されます。
プロセス (Edge): データセットに対して実行されるアクティビティまたは変換をプロセスと呼びます。たとえば、ADF コピーアクティビティ、Data Share スナップショットなどです。 Microsoft Purview の系列セクションでは、プロセスは丸い端のボックスで表されます。

Microsoft Purview で資産の系列情報にアクセスするには、次の手順に従います。

次の方法で Microsoft Purview ガバナンスポータルを開きます。
- Microsoft Purview アカウントに https://web.purview.azure.com 直接移動して選択します。
- Azure portal を開き、Microsoft Purview アカウントを検索して選択します。 [Microsoft Purview ガバナンスポータル] ボタンを選択します。
Microsoft Purview ガバナンスポータル の [ホーム ] ページで、データセット名または ADF コピーアクティビティやデータフローアクティビティなどのプロセス名を検索します。 Enter キーを押します。
検索結果からアセットを選択し、[ 系列 ] タブを選択します。

資産レベルの系列

Microsoft Purview では、データセットとプロセスの資産レベル系列がサポートされています。資産レベルの系列を表示するには、カタログの現在の資産の [ 系列 ] タブに移動します。現在のデータセット資産ノードを選択します。既定では、データに属する列の一覧が左側のウィンドウに表示されます。

手動系列

Microsoft Purview のデータ系列は、オンプレミス、マルチクラウド、SaaS 環境の多くの資産に対して自動化されます。自動化されたソースをさらに追加し続けますが、手動系列を使用すると、コードを使用せずに、オートメーションがまだサポートされていないソースの系列メタデータを文書化できます。

資産の手動系列を追加するには、次の手順に従います。

データカタログで資産を検索し、それを選択して詳細を表示します。
[ 編集] を選択し、[ 系列 ] タブに移動し、下部のパネルで [ 手動系列の追加 ] を選択します。
資産系列を構成するには:
1. [資産] ドロップダウンを選択して、候補リストから資産を見つけるか 、詳細を表示 して完全なカタログを検索します。リンクするアセットを選択します。
2. スワップアイコンを選択して、リレーションシップの方向を [生成 ] (ダウンストリーム系列の場合) または [消費 ] (アップストリーム系列の場合) として構成します。
3. 系列を削除する場合は、ごみ箱アイコンを選択します。
2 つのデータ資産間に系列を追加する場合は、列レベルの系列を追加して構成できます。行の先頭にある展開アイコンを選択し、対応するドロップダウンリストからアップストリーム列とダウンストリーム列を選択して、列マッピングを構成します。プラスアイコンを選択して列系列を追加します。ごみ箱アイコンを選択して既存のものを削除します。
もう一度 [手動系列の追加] ボタンを選択すると、資産レベル の系列をさらに追加 できます。完了したら、[ 保存 ] ボタンを選択して系列を保存し、編集モードを終了します。

手動系列の既知の制限事項

現在のアセットピッカーエクスペリエンスでは、一度に 1 つの資産のみを選択できます。
列レベルの手動系列は、現在、2 つのデータ資産間の系列に対してサポートされていますが、プロセス資産が間に関係している場合はサポートされません。
ソース資産とターゲット資産の両方にデータキュレーションアクセスが必要です。
これらの資産タイプは現在、自動系列をサポートしているため、手動系列を許可していません。
- Azure Data Factory
- Synapse パイプライン
- Power BI データセット
- Teradata ストアドプロシージャ
- Azure SQL ストアドプロシージャ

データセット列系列

データセットの列レベルの系列を表示するには、カタログ内の現在の資産の [ 系列 ] タブに移動し、次の手順に従います。

系列タブに移動したら、左側のウィンドウで、データ系列に表示する各列の横にある [チェック] ボックスを選択します。
左側のペインまたは系列キャンバスのデータセットで、選択した列にカーソルを合わせると、列マッピングが表示されます。すべての列インスタンスが強調表示されます。
列の数が左側のウィンドウに表示できる列数を超える場合は、フィルターオプションを使用して、名前で特定の列を選択します。または、マウスを使用してリストをスクロールすることもできます。
系列キャンバスにさらにノードとエッジが含まれている場合は、フィルターを使用して、名前でデータ資産または処理ノードを選択します。または、マウスを使用して系列ウィンドウの周りをパンすることもできます。
左側のウィンドウのトグルを使用して、系列キャンバス内のデータセットの一覧を強調表示します。トグルをオフにすると、選択した列の少なくとも 1 つを含むアセットが表示されます。トグルをオンにすると、すべての列を含むデータセットのみが表示されます。

列系列を処理する

コピーアクティビティなどのデータプロセスをデータカタログで表示することもできます。たとえば、この系列フローで、コピーアクティビティを選択します。

コピーアクティビティが展開され、[ 資産に切り替える ] ボタンを選択すると、プロセス自体の詳細が表示されます。

データプロセスでは、1 つ以上の入力データセットを使用して 1 つ以上の出力を生成できます。 Microsoft Purview では、列レベルの系列をプロセスノードで使用できます。

列パネルのドロップダウンから入力データセットと出力データセットを切り替えます。
入力データセットから対応する出力データセットに流れる系列を表示するには、1 つ以上のテーブルから列を選択します。

系列内の資産を参照する

[任意の 資産の資産に切り替える ] を選択して、系列ビューから対応するメタデータを表示します。これを行うと、系列ビューからカタログ内の別の資産を参照する効果的な方法です。
系列キャンバスは、一般的なデータセットにとって複雑になる可能性があります。煩雑にならないように、既定のビューには、フォーカスしているアセットの系列の 5 つのレベルのみが表示されます。系列の残りの部分は、系列キャンバスでバブルを選択することで展開できます。また、データコンシューマーは、関心のないキャンバス内の資産を非表示にすることもできます。散らかりを減らすには、系列キャンバスの上部にある [ その他の系列 ] をオフにします。このアクションでは、系列キャンバス内のすべてのバブルが非表示になります。
系列キャンバスのスマートボタンを使用して、系列の最適なビューを取得します。
1. 全画面表示
2. サイズに合わせてズームする
3. 拡大/縮小
4. 自動整列
5. ズームプレビュー
6. その他のオプション:
  1. 現在の資産を中央揃えする
  2. 既定のビューにリセットする

系列ユーザーガイドMicrosoft Purview データカタログ

背景