Dataverse 環境へのショートカットを作成します

[アーティクル]
11/14/2024

追従するこの記事の手順に従って、Fabricワークスペースにデータを統合するための Dataverse ショートカット Microsoft Sustainability Manager を作成して使用します。これらの手順では、環境、社会、ガバナンス (ESG) データモデルスキーマに変換するためのデータも準備されます。

前提条件

Fabricワークスペースに環境データと分析情報機能をデプロイします。
Sustainability Managerが Dataverse 環境にインストールされ、設定されていることを確認します。
Dataverse システム管理者セキュリティロール.があることを確認してください
Fabricワークスペースの管理者であることを確認してください。
Dataverse レイクハウスからFabricへのリンクを有効にします。

手順1: ショートカットを作成する Dataverse

この手順では、 Dataverse IngestedRawData レイクハウスからのSustainability Managerデータが存在する 環境へのショートカットを作成します。

持続可能性ソリューションを展開した Fabric のワークスペースを開きます。ソリューションを開くには、リストビューからソリューションを選択します。管理対象機能ページにアクセスするには、 「展開された機能の管理」 リストビューからESGデータエステート機能を選択します。
ESGデータエステート管理機能ページから、 IngestedRawData 選択を取得します。

レイクハウス, 選択 データを取得から、選択 新しいショートカットに進みます。

選択 Dataverse をショートカットタイプとして使用します。
Dataverse 環境の接続資格情報を設定するためのウィザードが表示されます。選択 新しい接続を作成 し、環境URLとシステム管理者権限を持つ資格情報を提供します。 Fabricはこれらの資格情報を使用して、 Dataverse 環境への接続を設定し、データに安全にアクセスします。

すべて選択リストからSustainability Managerテーブルを選択し、選択次へを選択します。プレフィックス msdyn_ で始まるテーブルを探します。

選択したSustainability Managerテーブルとそのショートカット名のリストが表示されます。

各ショートカットは、サフィックス _partitioned を付けて作成されます。すべてのテーブル名からサフィックスを削除するには、ノートブックを作成し、 IngestedRawData レイクハウスをノートブックに追加して、次のロジックを実行します。 "[LAKEHOUSE_NAME]" を、 Dataverse テーブルショートカットを含むレイクハウス名に置き換えます。たとえば、 SDS_ESGDE_test_IngestedRawData_LH です。

TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"

for table in spark.catalog.listTables(TARGET_DB):
    if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
        updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
        try:
            spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
            print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
        except Exception as e:
            print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")

テーブルは IngestedRawData レイクハウスで利用できるようになり、ESGデータモデルに変換する準備が整いました。

ステップ 2: データを変換する

Sustainability Managerデータが IngestedRawData レイクハウスに統合された後、データをESGデータモデルスキーマに変換して統合および調整する必要があります。機能の展開により、調和されたデータを保存するための ProcessedESGData レイクハウスがワークスペースに作成されました。

ESGデータモデルスキーマは、ESGデータエンティティを、HR、IT、財務生産など、企業の他の機能領域を記述する他のデータエンティティにリンクします。

Sustainability ManagerデータをESGデータモデルスキーマに変換するために、この機能では、ワークスペースの ConfigAndDemoData レイクハウスに保存されているライブラリを使用して、事前構築された変換およびオーケストレーションテクノロジを使用するノートブックとデータパイプラインが提供されます。

LoadReferenceTables_INTB ノートブックを実行して、Sustainability Managerデータをロードし、 ProcessedESGData レイクハウスのESGデータモデルスキーマに変換します。

データパイプラインは次の手順を実行します。

最初の手順はデフォルトで非アクティブ化されており、Sustainability Managerのデータがすでにレイクハウステーブルとしてロードされているため、この方法では必要ありません。
Sustainability ManagerデータをESGデータモデルスキーマに変換するプロセスは、次の2段階に分かれています。

まず、 TransformMSMDataToProcessedESGData_INTB ノートブックは、 Microsoft Sustainability Manager データを中間の生データインポートテーブルに変換します。
次に、 TransformRawImportESGDataToProcessedESGData_INTB ノートブックは、生データインポートテーブルからESGデータモデルスキーマにデータを変換します。