数据导入
在可持续性会计和报告领域，数据转换和导入在确保准确、可靠以及全面的可持续性见解方面发挥着至关重要的作用。 但是，各组织在有效管理和利用可持续性数据进行报告方面往往面临技术和业务挑战。
其中的一些主要挑战包括：
数据粒度和复杂性：管理来自多个来源和类别的各种可持续性数据，对于创建包括碳、水和废料效率在内的环境效率进展的全面粒度图至关重要。
数据质量和一致性：在组织的可持续发展历程中，准确、可靠且一致的数据对于准确的报告和合规性非常重要。
可扩展性和性能：在保持最佳性能的同时，高效处理大型数据集不论是在近期还是长远来看对组织来说都至关重要。
数据可用性：数据可能有不同的格式，或者需要手动捕获。
此外，企业还面临着越来越大的来自利益干系人、投资者、客户和监管机构的压力，要求其披露全面的可持续性信息。 满足这些期望需要高效的数据转换和引入过程。
本节重点介绍基于现有 Microsoft Sustainability Manager 功能的引入过程的最新增强和功能。 新功能为管理数据转换和数据引入过程提供了一个精简的高级平台。 它提供了简化的用户界面、多种数据引入方法、模板和映射功能。
数据导入用户体验
简化的引导式用户界面是组织成功执行数据转换和引入环境数据所急需的功能。
Sustainability Manager 数据引入体验让数据模型在引入体验中处于前沿，可以限制用户错误。 用户可以根据自己的要求和设计考虑，利用灵活性和多种引入方法。 此外，通过使用相同引入的一次性导入，可以跨多个实体和类别引入数据。 这些引入机制在碳、水和废料方面实现了标准化。
数据引入过程的一个重要方面是数据转换、数据映射和数据导入的分离。 这种分离还有助于降低在提取、转换和加载数据时出现人为错误的风险。
在数据连接过程中，组织用户可以使用数据转换工具边栏来：
配置要导入的数据集。
使用清单验证数据集。 清单确保成功导入数据，并解决与必需数据列、数据类型不匹配、填充选项集值和查找引用数据相关的问题。
内置引入方法和设计注意事项
Sustainability Manager 提供四种引入方法，具体取决于：
- 数据类型
- 源
- 数据转换需要
- 用户经验水平
- 导入频率
在考虑以下注意事项的情况下，您可以使用这些不同的方法。
| 方法和说明 | 设计注意事项 | 使用场景 |
|---|---|---|
| Excel 模板内置在 Microsoft Sustainability Manager 中，用户可以下载、准备数据并导入到特定实体。 | Excel 模板会定期刷新。 我们建议您在每次导入过程中下载最新的 Excel 模板。 由于 Excel 模板遵循数据模型命名约定，因此不需要将数据映射到模型。 Excel 模板表示最简单的数据导入形式。 它们适用于 Excel 文件可以支持的较小数据集以及初始系统准备。 Excel 模板包含用于启用数据导入的预定义实体集。 | Excel 模板最适合在数据准备/转换在 Sustainability Manager 之外完成，并且数据已准备好直接导入时使用。 示例：咖啡制造商 Contoso coffee 可以使用 Excel 模板使用参考数据模板设置设施，然后使用活动和排放数据模板设置碳活动和预先计算的排放数据。 然后，他们可以通过一次引入对所有三种类型的数据进行一项导入。 |
| Power Query 引导式体验是一个以数据映射为中心的体验，通过购物车体验引导最终用户最大限度地减少引入错误。 | Power Query 提供了一种全面的数据转换和引入方法，使其能够高效地处理各种数据源。 Power Query 对在 Microsoft Sustainability Manager 中提供内置连接器的数据源有帮助，可以简化数据导入过程。 Power Query 引导体验在整个引入过程中提供了灵活性和详细的指导，允许用户根据需要添加和删除实体。 | 当您有以下需要时使用 Power Query：- 从各个来源导入多个实体的数据。 - 在 Microsoft Sustainability Manager 中提供内置的 Power Query 连接器。 - 需要频繁的数据导入和刷新 - 需要在引入过程中转换数据。 - 更愿意使用在实体操作和数据映射方面具有灵活性的引导式体验。 - 在映射到数据模型之前，需要通过数据转换来处理不同的源类型。 示例：咖啡制造商 Contoso Coffee 希望从供应链 ERP 和 Azure Synapse 中供应商提供的数据导入排放数据。 Contoso 可以按照 Power Query 引导体验使用编辑器中提供的详细指导进行转换和映射。 |
| 合作伙伴连接器 – 用于从合作伙伴解决方案导入数据的连接器目录。 | Sustainability Manager 包括用于从合作伙伴解决方案导入数据的连接器。 平台提供来自运营数据提供商的预生成和自定义连接器的目录。 使用伙伴连接器导入数据的一个重要方面是，数据映射和转换封装在连接器中。 它们不必在导入过程中执行。 | 当您需要从合作伙伴解决方案导入数据，并且目录中存在相应的连接器时使用。 示例：Contoso Coffee 使用 Arcadia 的公用事业云解决方案来捕获其设施购买的电力和天然气数据。 他们利用 Arcadia 连接器将购买的电力数据导入 Sustainability Manager。 此连接器允许他们计算其所有全球设施的范围 2 排放。 |
| 将数据手动导入到 Sustainability Manager | Microsoft Sustainability Manager 提供两种手动导入数据的方法。 第一种方法允许输入单个记录，对于导入配置数据（如参考数据）非常有用。 第二种方法允许批量导入活动记录和参考数据记录。 对于范围 3、类别 8 和类别 13，您需要选择数据子类别来访问批量上载选项。 更新活动数据记录时，必须删除以前导入的数据并重新导入所有数据。 | 当您需要导入活动、水或废料数据的单独记录时，考虑使用 Sustainability Manager 中的手动数据导入选项。此外，当您想要导入参考数据或有大量活动数据需要批量导入时，使用这些选项。 如果您有用于批量导入的特定数据格式，如 Excel、CSV 或 XML，手动批量上载选项是理想选择。 例如，设置组织数据的可持续发展专家将进入设置 > 公司配置文件 > 常规手动定义组织的属性。 |
下表汇总了组织在设计数据导入过程时的设计注意事项。 我们建议您认真考虑每种引入方法的优缺点及其设计权衡。
| 引入方法 | Excel 模板 | Power Query 引导式体验 | 合作伙伴连接器 | 手动输入 |
|---|---|---|---|---|
| 典型用户角色 | 业务角色 | 业务/技术角色 | 技术角色 | 业务角色 |
| 无法计划？ | ✗ | ✓ | ✓ | ✗ |
| 数据加载量 | 批量 | 批量 | 批量 | 单个、批量 |
| 允许数据转换？ | ✗ | ✓ | ✗ | ✗ |
| 提供增量刷新？ | ✗ | ✓ | ✓ | ✗ |
| 导入过程中进行数据替代？ | ✗ | ✓ | ✗ | ✗ |
| 可以导入多个实体？ | ✓ | ✓ | ✗* | ✗ |
| 提供引入错误处理？ | ✓ | ✓ | ✓ | 不适用 |
备注
在一次引入中使用合作伙伴连接器导入多个实体是在产品路线图中进行。
要了解详细信息，请查看 Microsoft Sustainability Manager 中的数据导入概述。
总之，在将数据导入 Microsoft Sustainability Manager 时，以下注意事项非常重要：
从更简单的 Excel 模板引入体验方法开始。 基于数据的复杂性和对数据模型的理解，使用 Power Query 引导式体验来创建连续的数据导入。
在 Power Query 引导式引入体验期间，请记住以下提示：
- 使用 Power Query 功能执行数据转换。
- 使用数据转换工具和清单来查看数据表及其各自的数据类型。
- 在映射源数据时，使用自动映射功能。
安排刷新时隙和规则，以在创建和验证连接后能够连续导入所需的数据。
完全和增量数据刷新
定期从数据源导入数据是各组织为报告目的计算最新可持续性数据的必要条件。 组织可以通过两种模式从源系统获取数据。
完全数据刷新：将源系统数据的完整副本导入 Microsoft sustainability Manager 应用程序。
增量数据刷新：仅从源系统提取和导入自上次刷新以来更新或新建的记录。
增量数据刷新允许组织在每次新数据可进行数据刷新时引入新数据。 如果在每次查询期间需要完全刷新数据，组织也可以选择完全刷新。 此功能仅对基于 Power Query 的导入可用。
要利用此内置功能，需要在为数据源创建连接时创建刷新策略。 Microsoft Sustainability Manager 为基于 Power Query 的导入方法提供了此功能。 在创建连接的过程中，用户可以定义运行数据导入作业的计划和频率，并可以在需要时选择删除以前导入的数据的选项。 通过此操作，可以计划增量刷新。
建议在以下情况下进行完全数据刷新：
当源系统数据模型发生任何更改时，这些更改需要反映在应用程序中以进行数据转换或映射。
当源数据发生重大更改，并且增量刷新不足以捕获更改时。
当修改了源系统的业务逻辑并且需要重新计算现有数据时。
当数据质量或数据完整性由于错误、损坏或恶意攻击而受到损害时。
建议在以下情况下进行增量数据刷新：
当组织需要从多个数据源批量导入数据时
当组织需要根据特定时间线及时刷新数据时
当源系统提供历史累积数据，组织需要在初始数据加载后导入新的可用数据（插入或追加）时
例如，如果 Sustainability Manager 从供应商更新的 SharePoint 文档库中的 Excel 文件引入数据，需要刷新策略来定期使用最新数据。
数据连接级别的计划提供设计数据导入计划的方法。 它不解决仅从各个源系统提取增量数据的问题。 通过增量刷新过程，数据管理员可以配置仅用于提取增量数据的粒度规则。 该流程可以在数据连接中的每个查询级别提供额外的筛选器、规则和时间戳。
要了解有关增量刷新的详细信息，请转到 Microsoft Sustainability Manager 中的增量数据刷新
数据源的网络连接
在设计数据导入策略的过程中，组织经常面临安全高效地连接到远程数据源的难题。 这些远程数据源可能在云中或本地。 组织用于保护数据资产的不同安全标准和措施这这一难题进一步复杂化。 因此，网络组件需要仔细考虑各个选项，以确保数据的安全性和可靠性。
本节介绍连接到远程数据源的两种方法。 这些数据源可能存在于虚拟网络中的 Azure 云中，也可能存在于本地位置。 要在虚拟网络中从 Sustainability Manager 连接到 Azure 数据服务，组织可以使用虚拟网络数据网关。 要连接到本地数据源，可以使用本地数据网关。
下表呈现了从位于本地基础结构的远程源导入数据时的一些重要网络主题和设计注意事项：
| 主题 | 设计注意事项 |
|---|---|
| 虚拟网络数据网关 | 使用虚拟网络数据网关连接到位于 Azure 中由虚拟网络保护的数据源。 此方法在数据源不能公开访问的情况下非常有用。 要了解如何配置虚拟网络数据网关，请转到使用虚拟网络数据网关和数据源 |
| 本地数据网关 | 使用本地网关作为本地可持续性数据源和 Sustainability Manager 之间的安全桥梁。 您需要下载、安装和配置本地数据网关。 要了解更多信息，请转到什么是本地数据网关？ |
| 数据源身份验证 | 优先考虑访问可持续性数据的强身份验证机制。 避免使用弱凭据，考虑使用基于 Windows 或 OAuth 的身份验证来增强安全性。 |
| 将 IP 从出站本地数据源添加到允许列表 | 确保提供 IP 地址的允许列表，以实现本地资源和 Sustainability Manager 之间的出站通信。 要查看允许列表的 IP 地址范围，请转到托管连接器出站 IP 地址 |
| 绩效 | 优化查询以最大限度地减少通过网络传输的数据。 优化的查询可减少延迟、提高性能，并节省网络资源。 |
| 监视和审核 | 通过对网关实施监视和记录，并对组织的安全利益干系人进行定期审查，来防止安全漏洞。 要了解有关从数据网关收集日志的更多信息，请转到本地数据网关故障排除 |
总之，做出安全可靠的网络设计选择对于确保远程数据源的强大导入机制至关重要。 其中包括执行必要的步骤来：
- 为远程本地数据源和虚拟网络安全的 Azure 托管数据源安装网关。
- 使用强身份验证机制。
- 将出站 IP 地址添加到允许列表中，以启用来自本地数据位置的通信。
- 最大程度地减少通过网络传输的数据。
- 执行定期安全审核。
错误处理
数据导入过程中的错误处理对于确保您的数据正确导入起着至关重要的作用，仪表板会显示可持续性报告和分析的最新信息。 Sustainability Manager 允许用户查看和修复数据导入中的错误。 这些错误报告现在可用于全部三个导入类型、模板、Power Query 引导式流和合作伙伴体验。
有关详细信息，请转到 Microsoft Sustainability Manager 中数据导入的错误处理