このブラウザーはサポートされなくなりました。
Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
Microsoft Purview 統合カタログのデータ品質により、ガバナンス ドメインとデータ所有者は、データ エコシステムの品質を評価して監視できるようになり、目標とする改善アクションが容易になります。 今日の AI 主導の環境では、データの信頼性が AI 主導の分析情報と推奨事項の精度に直接影響します。 信頼できるデータがないと、AI システムに対する信頼が損なわれ、導入が妨げられるリスクがあります。
データ品質の低下や互換性のないデータ構造は、ビジネス プロセスと意思決定機能を妨げる可能性があります。 データ品質は、既定の (OOB) ルールや AI によって生成されたルールなど、コードなし/低コードルールを使用してデータ品質を評価する機能をユーザーに提供することで、これらの課題に対処します。 これらのルールは列レベルで適用され、集計され、データ資産、データ製品、ガバナンス ドメインのレベルでスコアが提供され、各ドメイン内のデータ品質がエンドツーエンドで可視化されます。
データ品質には、AI を利用したデータ プロファイリング機能も組み込まれており、プロファイリングの列を推奨しながら、人間の介入によってこれらの推奨事項を改善できます。 この反復プロセスは、データ プロファイルの精度を向上させるだけでなく、基になる AI モデルの継続的な改善にも貢献します。
データ品質を適用することで、組織はデータ資産の品質を効果的に測定、監視、強化し、AI 主導の分析情報の信頼性を強化し、AI ベースの意思決定プロセスに対する信頼を高めることができます。
現在、データ品質は 次のリージョンでサポートされています。
サポートされているデータ ソースの一覧を表示します。
重要
Parquet ファイルのデータ品質は、次をサポートするように設計されています。
https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}に従う必要があります。 ディレクトリ/サブディレクトリ構造に {n} パターンがないことを確認します。{SparkPartitions} につながる直接の FQN である必要があります。これらの重要なシナリオはどちらもサポートされています。これは、一貫性のある Parquet データセット スキーマを示します。 制約： Parquet Files を使用したディレクトリの N 個の任意の階層をサポートするようには設計されていないか、サポートされません。 (1) または (2) 構築構造でデータを提示することをお勧めします。
現在、Microsoft Purview では、 マネージド ID を 認証オプションとして使用するデータ品質スキャンのみを実行できます。 データ品質サービスは 、Apache Spark 3.4 と Delta Lake 2.4 で実行されます。
データ品質メタデータとプロファイルの概要は、Microsoft マネージド ストレージ アカウントに格納されます。 これらはデータ ソースと同じリージョンに格納されるため、データ所在地はそのまま残ります。 すべてのデータが暗号化されます。 Microsoft では、すべての暗号化を処理し、すべての Microsoft Purview サービスで一般的なメタデータに Microsoft Purview Resource Provider リージョン ユーザー データ ストアを利用しています。 CMK (カスタマー マネージド暗号化キー) を使用してデータ暗号化をより詳細に制御する場合は、別のプロセスがあります。 ( Microsoft Purview カスタマー キーの詳細については、こちらをご覧ください)。
データ品質の使用状況は、データ ガバナンス処理ユニット (DGPU) 従量課金制メーターに基づいて課金されます。 DGPU は、60 分間消費されるサービス パフォーマンスの量であり、基本、標準、高度の 3 つの異なるパフォーマンス オプションで利用できます。 基本 SKU オプションは、より高いオプションが選択されるまで、既定のパフォーマンス オプションとして設定されます。 たとえば、顧客が 1 日に 100 個のデータ品質ルールを実行し、各実行で Basic SKU で 0.02 DGPU が生成される場合、その日の DGPU の合計は 2 つの DGPU になり、顧客のコストは 30 ドルになります。 基本 SKU の価格は、処理単位あたり 15 ドル、Standard SKU の価格は 1 つの処理単位あたり 60 ドル、事前 SKU の価格は処理単位あたり 240 ドルです。 Microsoft Purview 統合カタログ価格の詳細については、こちらを参照してください。
標準 SKU でテストされる、さまざまなデータ ボリュームの基本ルールから複雑なルールに対して使用される処理単位の例を次に示します。
| ルールの複雑さ | 10,000 レコード | - | 100,000 レコード | - | 1,000,000 レコード | - | 10,000,000 レコード | - | 100,000,000 レコード | - | 1,000,000,000 レコード | - |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 期間 | PU | 期間 | PU | 期間 | PU | 期間 | PU | 期間 | PU | 期間 | PU | |
| シンプル | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 16s | 0.02 | 経過時間: 1m 16s | 0.02 | 経過時間: 1m 31s | 0.03 |
| 中 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 16s | 0.02 | 経過時間: 1m 31s | 0.03 | 経過時間: 2m 1s | 0.03 |
| 高 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 1s | 0.02 | 経過時間: 1m 31s | 0.03 | 経過時間: 1m 32s | 0.03 | 経過時間: 2m 1s | 0.03 | 経過時間: 2m 51s | 0.04 |
トレーニング
モジュール
Microsoft Purview のデータ ガバナンス ソリューションについて説明します - Training
Microsoft Purview のデータ ガバナンス ソリューションについて説明します。
認定資格
Microsoft Certified: Azure Data Engineer Associate - Certifications
多数の Azure サービスを使用して、Microsoft Azure で Data Engineering ワークロードを実装および管理するための一般的な Data Engineering タスクに対する理解を示します。
ドキュメント
Microsoft Purview 統合カタログを使用して Azure Storage 内の資産にデータ品質スキャンを適用する方法について説明します。
Microsoft Purview 統合カタログでデータ プロファイルを構成して実行する方法について説明します。
Microsoft Purview 統合カタログのデータ品質ルールの概要と、それらを使用してデータの品質と信頼性を高める方法について説明します。