创建 Dataverse 环境的快捷方式

按照本文中的步骤创建和使用 Dataverse 快捷方式将 Microsoft Sustainability Manager 数据集成到 Fabric 工作区。 这些步骤还为转换为环境、社会和治理 (ESG) 数据模型架构准备数据。

先决条件

  • 在 Fabric 工作区中部署环境数据和见解功能。
  • 确保在您的 Dataverse 环境中安装并设置了 Sustainability Manager。
  • 确保您具有 Dataverse 系统管理员安全角色。
  • 确保您是 Fabric 工作区的管理员。
  • 从 Dataverse 环境启用链接到 Fabric。
  • 确保 Dataverse 环境和 Fabric 工作区位于同一地理位置。

步骤 1:创建 Dataverse 快捷方式

在此步骤中,您将创建一个 Dataverse 环境的快捷方式,在此环境中 Sustainability Manager 数据来自 IngestedRawData 湖屋。

  1. 打开 Fabric 中您部署可持续发展解决方案的工作区。 要打开解决方案,从列表视图中选择该解决方案。 要转到托管功能页面,从管理已部署的功能列表视图中选择“ESG 数据资产”功能。

  2. 从 ESG 数据资产托管功能页面,选择 IngestedRawData 湖屋。

选择 IngestedRawData 湖屋的屏幕截图。

  1. 在湖屋中,选择获取数据,然后选择新建快捷方式

创建新快捷方式的屏幕截图。

  1. 选择 Dataverse 作为快捷方式类型。

  2. 此时将显示一个向导,用于为 Dataverse 环境设置连接凭据。 选择创建新连接,然后使用系统管理员权限提供环境 URL 和凭据。 Fabric 使用这些凭据来设置与 Dataverse 环境的连接并安全地访问数据。

连接向导的屏幕截图。

  1. 从列表中选择所有 Sustainability Manager 表,然后选择下一步。 查找以前缀 msdyn_ 开头的表。

搜索 msdyn 的屏幕截图。

  1. 此时将显示选定 Sustainability Manager 表及其快捷方式名称的列表。

每个快捷方式创建时都带有后缀 _partitioned。 若要从所有表名称中删除此后缀,可以创建一个笔记本,将 IngestedRawData 湖屋添加到笔记本,然后运行以下逻辑。 将“[LAKEHOUSE_NAME]”替换为包含 Dataverse 表快捷方式的湖屋名称。 例如,SDS_ESGDE_test_IngestedRawData_LH

TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"

for table in spark.catalog.listTables(TARGET_DB):
    if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
        updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
        try:
            spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
            print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
        except Exception as e:
            print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")      

这些表现已在 IngestedRawData 湖屋中,并已准备好转换为 ESG 数据模型

步骤 2:转换数据

在 Sustainability Manager 数据集成到 IngestedRawData 湖屋后,您需要通过将数据转换为 ESG 数据模型架构来统一和协调数据。 功能部署在工作区中创建了 ProcessedESGData 湖屋,用于存储协调数据。

ESG 数据模型架构将 ESG 数据实体链接到描述公司其他职能领域(如 HR、IT 或财务生产)的其他数据实体。

为了将 Sustainability Manager 数据转换为 ESG 数据模型架构,该功能提供笔记本和数据管道,这些笔记本和数据管道使用存储在工作区中 ConfigAndDemoData 湖屋中的库使用预构建的转换和编排技术。

运行 LoadReferenceTables_INTB 笔记本来加载 Sustainability Manager 数据并将其转换为 ProcessedESGData 湖屋中的 ESG 数据模型架构。

运行管道的屏幕截图。

此数据管道运行以下步骤:

  1. 第一步默认停用,此方法不需要,因为 Sustainability Manager 中的数据已加载为湖屋表。

  2. 将 Sustainability Manager 数据转换为 ESG 数据模型架构的过程分为两个阶段:

  • 首先,TransformMSMDataToProcessedESGData_INTB 笔记本将 Microsoft Sustainability Manager 数据转换为中间原始数据导入表。
  • 然后,TransformRawImportESGDataToProcessedESGData_INTB 笔记本将数据从原始数据导入表转换为 ESG 数据模型架构。