Azure Data Lake で Azure Synapse Link for Dataverse を作成する
Azure Synapse Link を使用して、自分の Microsoft Dataverse データを Azure Data Lake Storage Gen2 に接続し、さまざまな分析シナリオを有効にできます。 この記事では、次のタスクを実行する方法を示します:
- Azure Synapse Link サービスを使用してご利用の Dataverse データを Azure Data Lake Storage Gen2 アカウントに接続します。
- Azure Synapse Link に含まれる Dataverse テーブルを管理します。
- ご利用の Azure Synapse Link を監視します。
- Azure Synapse Link のリンクを解除します。
- Azure Synapse Link を再リンクします。
- Azure Data Lake でデータを表示し、ファイル構造を理解する。
注意
Azure Synapse Link for Dataverse は以前は、Data Lake へのエクスポートと呼ばれていました。 このサービスは、2021 年 5 月より名称が変更され、Azure Synapse Analytics だけでなく、Azure Data Lake へのデータのエクスポートも継続されます。
前提条件
- Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 アカウントと所有者およびストレージ BLOB データ共同作成者ロールのアクセス権を持っている必要があります。 ストレージ アカウントでは、初期セットアップと差分同期の両方で 階層型名前空間 を有効にする必要があります。初期設定のみ、ストレージ アカウント キーへのアクセスを許可するが必要です。
注意
- ストレージのアカウントは、 Power Apps のテナントと同じ Microsoft Entra テナントに作成する必要があります。
- リンクされたストレージ アカウントに対して、選択した仮想ネットワークおよび IP アドレスからのアクセスを許可するように設定するには、マネージド アイデンティティで Azure Synapse Link を作成する必要があります。Azure Data Lake Storage には、Azure のマネージド アイデンティティを使用します (マネージド アイデンティティが設定されていない場合、初期設定とデルタ同期の両方で Azure リソースのパブリック ネットワーク アクセスを有効にする必要があります)。
- ストレージ アカウントを持つリソース グループへの閲覧者ロール アクセスが必要です。
- 環境を Azure Data Lake Storage Gen2 にリンクするには、Dataverse システム管理者のセキュリティ ロールが付与されている必要があります。
- 有効な変更の追跡をするテーブルにのみエクスポートできます。
- 1 つの Dataverse 環境での Azure Synapse Link プロファイルの作成は、最大 10 個に制限されています。
Dataverse を Azure Data Lake Storage Gen2 に接続する
Power Apps にサインインし、好みの環境を選択します。
左側のナビゲーション ウィンドウで、Azure Synapse Link を選択します。 Azure Synapse Link がサイドパネル ペインに表示されない場合は、…詳細 を選択し、すべて検出を選択します。 Azure Synapse Link は データ管理 セクションにあります。
コマンド バーで、+ データ レイクへの新規リンクを選択します。
サブスクリプション、リソース グループ、ストレージ アカウントを選択します。 ストレージ アカウントが前提条件セクションで指定された要件を満たしていることを確認してください。 次へ を選択します。
注意
環境のデータ レイクへのリンクの一環として、自分のストレージ アカウントに Azure Synapse Link サービス アクセスを付与します。 Azure Data Lake Storage アカウントの作成および構成の前提条件 およびストレージ アカウントの所有者ロールを自分に付与する方法、に従うことを確認してください。 さらに、 Power Platform データフローのサービスへのアクセス権を自分のストレージ アカウントに付与します。 詳細: データフローでセルフサービス データを準備する。
エクスポートするテーブルを追加してから、保存を選択します。 変更の追跡が有効なテーブルにのみエクスポートできます。 詳細情報: 変更追跡を有効化する。
この記事の手順に従って、1 つの環境から Azure サブスクリプション内の複数の Azure Data Lake へのリンクを作成します。 同様に、すべて同じテナント内で複数の環境から同じ Azure Data Lake へのリンクを作成できます。
注意
Azure Synapse Link for Dataverse サービスは、すぐに使える機能として Power Platform にシームレスに統合されています。 Power Platform データ ストレージとガバナンスに関して設定されたセキュリティとガバナンスの標準を満たしています。 詳細情報: データ ストレージとガバナンス
Azure Synapse Link サービスによってエクスポートされたデータは、Transport Layer Security (TLS) 1.2 以降を使用して転送時に暗号化され、保存時に Azure Data Lake Storage Gen2 で暗号化されます。 さらに、BLOB ストレージ内の一時データも暗号化されて保存されます。 Azure Data Lake Storage Gen2 の暗号化は、データの保護、エンタープライズ セキュリティ ポリシー、規制コンプライアンス要件の順守に役立ちます。 詳細: Azure データ保存時の暗号化
テーブル データの Data Lake への移動を管理する
Azure Synapse Link を設定した後、次の 2 つの方法のいずれかでエクスポートされたテーブルを管理できます。
Power Apps メーカー ポータルの Azure Synapse Link エリアで、コマンド バーのテーブルの管理を選択して 1 つ以上のリンク テーブルを追加または削除します。
Power Apps メーカー ポータルにある テーブル エリアで、テーブルの隣にある … を 選択してから、テーブル データをエクスポートするリンクされた Data Lake を選択します。
Azure Synapse Link を監視する
Azure Synapse Link を設定した後、テーブル タブで Azure Synapse Link を監視することができます。
- 選択した Azure Synapse Link の一部であるテーブルのリストが表示されます。
- 同期のステータスには、さまざまな段階があります。 NotStartedは、テーブルが同期の待機中であることを示します。 テーブルの初期同期が 完了 になると、増分更新が行われない後処理の段階が発生します。 データのサイズによっては数時間かかる場合があります。 増分更新が開始すると、最後の同期の日付が定期的に更新されます。
- カウント列には、書き込まれた行数が表示されます。 追加のみ がいいえに設定されている場合は、レコードの総数を表わします。 追加のみ がはいに設定されている場合は、変更の総数を表わします。
- 追加のみとパーティション戦略の列には、さまざまな詳細構成の使用状況が表示されます。
Azure Synapse Link のリンクを解除する
希望する Azure Synapse Link を選択してリンクを解除します。
コマンド バーからData Lake のリンクを解除するを選択します。
両方の Data Lake ファイルシステムを削除するには、Data Lake ファイル システムの削除を選択します。
はいを選択し、すべてのリンクが解除されて削除されるまで数分待ちます。
Azure Synapse Link の再リンク
リンク解除時にファイル システムを削除した場合は、上記の手順で同じ Data Lake を再リンクします。 リンク解除時にファイル システムを削除しなかった場合は、データをクリアしないと再リンクできません:
Azure Data Lake にアクセスします。
Dataverse コンテナを削除します。
Power Apps にアクセスし、Data Lake を再リンクします。
Azure Data Lake Storage Gen2 でデータを表示する
希望する Azure Synapse Link を選択し、続いてトップパネルから Azure Data Lake にアクセスを選択します。
ファイルシステム を展開し、次に dataverse-environmentName-organizationUniqueName を選択します。
model.json ファイルには、その名前とバージョンとともに、Data Lake にエクスポートされたテーブルの一覧が含まれます。 model.json ファイルには、初期同期状態と同期完了時間も含まれています。
Data Lake にエクスポートされたテーブルごとに、コンマ区切り (CSV 形式) されたスナップショットのファイルを含むフォルダーが表示されます。
データ レイクのみを使用して Synapse ワークスペースを既存の Azure Synapse Link プロファイルにリンクする
Web ブラウザー アドレス バーで、
?athena.updateLake=trueを exporttodatalake で終わる Web アドレスに追加します。Azure Synapse Link 領域から既存のプロファイルを選択し、拡張オプションを選択します。
Azure Synapse Analytics ワークスペースへのリンク を選択し、すべてがリンクされるまで数分待ちます。
スナップショットの継続的な更新
Microsoft Dataverse データは、トランザクションの作成、更新、削除を通じて継続的に変更できます。 スナップショットは、定期的に (この場合は 1 時間ごとに) 更新されるデータの読み取り専用コピーを提供します。 これにより、任意の時点で、データ分析の利用者がレイクのデータを確実に消費できるようになります。
初期エクスポートの一部としてテーブルが追加されると、テーブル データは Data Lake 内の対応するフォルダーの下にある table.csv ファイルに書き込まれます。 これは T1 サイクル間隔で、スナップショットの読み取り専用の、例えば テーブル-T1.csv— という名前のファイル、または、Account-T1.csv または Contacts-T1.csv— が作成されます。 さらに、これらのスナップショット ファイルをポイントするように model.json ファイルが更新されます。 model.json を開くと、スナップショットの詳細を表示できます。
次に、Data Lake の Account.csv パーティション ファイルとスナップショット フォルダーの例を示します。
Dataverse の変更は、トリクル フィード エンジンを使用して、対応する CSV ファイルに継続的にプッシュされます。 これは T2 サイクル間隔で、別のスナップショットが取得されます。 例えばテーブル-T2.csv—の場合、Accounts-T2.csv または Contacts-T2.csv (テーブルに変更があると想定) — および model.json が新しいスナップショット ファイルに更新されます。 T2 以降のスナップショット データを表示する新しいユーザーは、新しいスナップショット ファイルに送信されます。 これにより、元のスナップショット ビューアは古いスナップショット T1 ファイルで引き続き動作し、新しいビューアは最新の更新を読み取ることができます。 これは、下流プロセスの実行時間が長い場合に役立ちます。
注意
データが更新された場合にのみ、新しいスナップショット ファイルが作成されます。 最新の 5 つのスナップショット ファイルのみが保持されます。 停滞しているデータは、Azure Data Lake Storage Gen 2 アカウントから自動的に削除されます。
model.json ファイルの例を次に示します。このファイルは、常に最新のタイムスタンプ付きアカウント スナップショッ トファイルを示します。
次の手順
Azure Synapse Link for Dataverse サービスを正常に使用した後、ハブの検出を使用してデータを分析して使用する方法について説明します。 ハブの検出にアクセスするには、Power Apps > Azure Synapse Link に移動します。 リンクされたサービスを選択してから、ハブの検出 タブを選択します。ここでは、データから最大の価値を引き出すのに役立つ推奨ツールとキュレーションされたドキュメントを見つけることができます。
関連項目
Power BI を使用して Data Lake にある Dataverse データを分析する
Azure Data Factory を使用して Data Lake にある Dataverse データを取り込む
Azure Synapse Link for Dataverse 高度な構成
Azure Synapse Link に関するよくあるご質問
注意
ドキュメントの言語設定についてお聞かせください。 簡単な調査を行います。 (この調査は英語です)
この調査には約 7 分かかります。 個人データは収集されません (プライバシー ステートメント)。