按照本文中的步骤创建和使用 Dataverse 快捷方式将 Microsoft Sustainability Manager 数据集成到 Fabric 工作区。 这些步骤还为转换为环境、社会和治理 (ESG) 数据模型架构准备数据。
先决条件
- 在 Fabric 工作区中部署环境数据和见解功能。
- 确保在您的 Dataverse 环境中安装并设置了 Sustainability Manager。
- 确保您具有 Dataverse 系统管理员安全角色。
- 确保您是 Fabric 工作区的管理员。
- 从 Dataverse 环境启用链接到 Fabric。
- 确保 Dataverse 环境和 Fabric 工作区位于同一地理位置。
步骤 1:创建 Dataverse 快捷方式
在此步骤中,您将创建一个 Dataverse 环境的快捷方式,在此环境中 Sustainability Manager 数据来自 IngestedRawData 湖屋。
打开 Fabric 中您部署可持续发展解决方案的工作区。 要打开解决方案,从列表视图中选择该解决方案。 要转到托管功能页面,从管理已部署的功能列表视图中选择“ESG 数据资产”功能。
从 ESG 数据资产托管功能页面,选择 IngestedRawData 湖屋。
- 在湖屋中,选择获取数据,然后选择新建快捷方式。
选择 Dataverse 作为快捷方式类型。
此时将显示一个向导,用于为 Dataverse 环境设置连接凭据。 选择创建新连接,然后使用系统管理员权限提供环境 URL 和凭据。 Fabric 使用这些凭据来设置与 Dataverse 环境的连接并安全地访问数据。
- 从列表中选择所有 Sustainability Manager 表,然后选择下一步。 查找以前缀 msdyn_ 开头的表。
- 此时将显示选定 Sustainability Manager 表及其快捷方式名称的列表。
每个快捷方式创建时都带有后缀 _partitioned。 若要从所有表名称中删除此后缀,可以创建一个笔记本,将 IngestedRawData 湖屋添加到笔记本,然后运行以下逻辑。 将“[LAKEHOUSE_NAME]”替换为包含 Dataverse 表快捷方式的湖屋名称。 例如,SDS_ESGDE_test_IngestedRawData_LH。
TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"
for table in spark.catalog.listTables(TARGET_DB):
if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
try:
spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
except Exception as e:
print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
这些表现已在 IngestedRawData 湖屋中,并已准备好转换为 ESG 数据模型。
步骤 2:转换数据
在 Sustainability Manager 数据集成到 IngestedRawData 湖屋后,您需要通过将数据转换为 ESG 数据模型架构来统一和协调数据。 功能部署在工作区中创建了 ProcessedESGData 湖屋,用于存储协调数据。
ESG 数据模型架构将 ESG 数据实体链接到描述公司其他职能领域(如 HR、IT 或财务生产)的其他数据实体。
为了将 Sustainability Manager 数据转换为 ESG 数据模型架构,该功能提供笔记本和数据管道,这些笔记本和数据管道使用存储在工作区中 ConfigAndDemoData 湖屋中的库使用预构建的转换和编排技术。
运行 LoadReferenceTables_INTB 笔记本来加载 Sustainability Manager 数据并将其转换为 ProcessedESGData 湖屋中的 ESG 数据模型架构。
此数据管道运行以下步骤:
第一步默认停用,此方法不需要,因为 Sustainability Manager 中的数据已加载为湖屋表。
将 Sustainability Manager 数据转换为 ESG 数据模型架构的过程分为两个阶段:
- 首先,TransformMSMDataToProcessedESGData_INTB 笔记本将 Microsoft Sustainability Manager 数据转换为中间原始数据导入表。
- 然后,TransformRawImportESGDataToProcessedESGData_INTB 笔记本将数据从原始数据导入表转换为 ESG 数据模型架构。