Microsoft Purview による Azure Data Lake 全体のデータ管理

この記事では、Azure Purview を使用して、高品質で信頼できるデータの生成と配信が可能な、データ ガバナンスと管理のための基盤を構築するソリューションについて説明します。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

Azure Purview により、すべてのソース (データ レイク内およびエンド レポート ツール内) からのデータに対応する、単一の統合されたデータ管理サービスが提供されます。

Azure Purview を Data Lake サービスに接続する場合のシナリオ。

1. Azure Purview は、自動的にデータ資産をカタログ化するために、データ レイク インジェスト、ストレージ、および分析のパイプラインへのセキュリティ強化された接続を提供します。 さらに、こうしたサービス間の系列も提供します。 具体的な Azure サービスには、Data Factory、Data Lake Storage、Azure Synapse Analytics などがあります。

2. Azure Purview は、Power BI などのレポート生成および視覚化ツールとネイティブに接続します。 エンド レポートで使用されるデータの系列を示します。 さらに、Power BI 資産からの機密情報を共有して不正なデータの使用を防止します。

機能

• カタログ。 Azure Purview Data Catalog は、ソースからデータの主要な特性 (スキーマ、技術的プロパティ、位置情報など) を自動的にキャプチャして記述できます。 Azure Purview 用語集では、検索と検出が向上するように、ビジネスに適したデータの定義が優先されるようにします。

• 分類。 Azure Purview は、事前に定義された 100 種類の機密データ種別によって、自動的にデータセットとデータ要素を分類します。 さらに、独自のカスタム分類法を定義することもできます。これは、手動で適用することも、自動的に適用することもできます。

• 系列。 Azure Purview は、Data Factory、Azure Synapse Analytics、および Power BI のパイプライン全体にわたる系列を動的に視覚化します。 こうした視覚化により、詳細なレベルでデータのエンドツーエンドのフローが示されます。

• アクセスの制御。 Azure Purview アクセス制御ポリシーを使用すると、カタログからデータ資産へのアクセスを基になるソースで直接的に定義および許可できるようになります。

• 所有権。 Azure Purview を使用すると、データ所有権とスチュワードシップをカタログ内のデータ資産と用語集の項目に適用できるようになります。

• 分析情報。 Azure Purview の分析情報では、CDO、データ専門家、およびデータ ガバナンス専門家がデータ ランドスケープを詳しく解釈できるようにする、事前に定義された複数のレポートを使用できます。

コンポーネント

• Azure Purview は、オンプレミス、マルチクラウド、およびサービスとしてのソフトウェア (SaaS) のデータを管理する統合されたデータ カタログです。 このデータ ガバナンス サービスは、データ ランドスケープのマップを維持します。 自動化されたデータ検出、機密データ分類、データ系列などの機能があります。

• Data Factory は、完全に管理されたサーバーレスのデータ統合サービスです。ETL と ELT のプロセスを構築するために役立ちます。

• Data Lake Storage は、高パフォーマンスの分析ワークロードに対応する、非常にスケーラブルで強力なセキュリティを備えたコスト効果の高いクラウド ストレージです。

• Azure Synapse Analytics は、データ統合、エンタープライズ データウェア ハウス、およびビッグ データ分析が 1 つにまとめられた無制限の分析サービスです。

• Power BI は、ソフトウェア サービスとアプリのコレクションです。 それらのサービスにより、複数のデータ ソースを接続して視覚化するレポートを作成および共有します。 Power BI を Azure Purview と併用すると、データのカタログ化と分類が可能になり、全体の隅々までを示す詳細な系列が提示されます。

• Azure Private Link は、仮想ネットワークからサービスとしての Azure プラットフォーム (PaaS) サービス、独自のサービス、または Microsoft パートナーのサービスへのプライベート接続を可能にします。

• Azure Key Vault は、シークレット (トークン、パスワード、API のキーなど) を格納してアクセスを制御します。 また Key Vault は、暗号化キーを作成および制御し、セキュリティ証明書を管理します。

• Microsoft Entra ID はクラウドベースの ID およびアクセス管理サービスを提供します。 これらの機能により、ユーザーはサインインしてリソースにアクセスするための方法を利用できます。

• Azure Monitor では、環境と Azure リソースに関するデータの収集と分析が行われます。 このデータには、アプリのテレメトリ (パフォーマンス メトリックやアクティビティ ログなど) が含まれます。

シナリオの詳細

Azure に読み込むデータが増えるにつれて、すべてのデータ ソースとデータ コンシューマーの全体にわたって適切な管理が必要になるデータも増えます。

Azure データ資産に高品質なデータが含まれていないと、Azure のビジネス価値は低下します。 解決策は、高品質で信頼できるデータを生成して配信できるデータ ガバナンスと管理のための基盤を構築することです。

データは、オンプレミス、クラウド、およびマルチクラウド ストレージの全体にわたって大規模に管理して、セキュリティ、プライバシーおよび使用状況に関するコンプライアンス要件が満たされるようにする必要があります。 適切に管理されたデータにより、自己検出、データ共有、データ品質を向上させることもできます。これにより、アプリケーションと分析でのデータの使用が向上します。

Azure Purview は、データ全体にわたるポリシーと標準の検索、分類、定義、および適用のためのガバナンスを提供します。 定義、分類、およびガバナンスのプロセスをデータ間で一様に適用するために使用できます。 すべてのデータ ソースをカタログ化して、機密情報を特定し、データ系列を定義します。 データに定義と所有権を適用できる集中プラットフォームを実現します。 レポートと分析情報に関する単一のビューは、データへの適用が必要になるデータ標準の生成に役立ちます。

Azure Purview は、その他の Azure サービスと連携することで、Azure Data Lake オファリングとパートナー サービス全体にわたるデータを自動的に検出、カタログ化、分類および管理できます。

考えられるユース ケース

データ管理の要件は、それぞれの業界によって異なります。 すべての業界について、データとデータ アーキテクチャのサイズと複雑さが増していくにつれて、大規模にデータを管理する必要性が増大します。 これは、適切に管理されたデータによる次の結果から利益が得られる組織に適しています。

• クラウドの導入を加速するデータの自動検出。
• データに関する法律と規則に準拠するためのデータのセキュリティ強化。
• 分析能力強化のためのマネージド データのアクセス、検出、および品質の向上。

共同作成者

この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。

プリンシパル作成者:

• Isabel Arevalo | シニア クラウド ソリューション アーキテクト

次のステップ

• Azure Purview のお客様事例
• Microsoft Purview の技術ドキュメントとベスト プラクティス
• Microsoft Purview とは?
• Power BI とは?
• Microsoft Entra Connect とは
• Data Factory とは
• Data Lake Storage の概要
• Azure Databricks とは
• Azure Monitor の概要
• Azure Synapse Analytics とは
• Azure Key Vault とは

関連リソース

• 規制対象業界のデータ分析ワークロード
• Azure Synapse サーバーレスを使用してデータ レイクまたはレイクハウスのクエリを実行する
• Azure で使用する分析データ ストアの選択
• Azure でのデータ分析とテクノロジの選択