数据迁移

已完成

部署 Microsoft Power Platform 解决方案时,数据非常重要。 如果系统中没有数据,用户也就无法为客户提供帮助。 通常,当您用基于 Microsoft Dataverse 的解决方案替换另一个商业应用程序时,有些数据会在部署过程中迁移到新系统,以便用户开始使用该应用时可以看到相关业务数据。

数据迁移方法和工具

要将数据迁移到 Microsoft Dataverse,可以使用的工具和方法有很多。 以下列表非详尽,但是包含一些最常用的选项:

  • 从 Excel 获取数据 - 在 Maker Portal 中,您可在查看表时选择获取数据选项,然后从 Microsoft Excel 或 .csv 文件导入数据。
  • 旧数据导入实用程序 - 您可以从 .csv、.xls、.xml 和 zip 文件导入数据到表中。
  • Microsoft Power Platform 数据流 - 在 maker portal 中,您可以从数据菜单中选择数据流,然后配置从各种云数据源导入。 来自这些数据源的数据可在导入前使用 Microsoft Power Query 进行转换。
  • 提取、转换和加载 (ETL) - 您可以提取、转移和加载 (ETL) 软件(比如 Microsoft Azure 数据工厂)。 数据工厂具有 Microsoft Dataverse 连接器。
  • 外包工具 - 使用其他来源(比如 Kingwayoft)的工具。
  • 自定义应用 - 使用通过 API 开发的自定义应用。

什么时候执行数据迁移

出于以下原因,您在项目期间必须要多次执行数据迁移:

  • 开发者和功能顾问需要数据来构建应用。
  • 用户需要数据来执行用户验收测试 (UAT)。
  • 测试者需要数据来执行集成和性能测试。
  • 主题专家需要数据来执行数据验证测试。

示例数据

数据迁移取决于您从源系统获取数据的能力。 此流程经常会延迟,因此您可能需要创建示例数据,以用于早期开发和测试活动。

测试数据迁移

数据验证是评估数据迁移成败的重要部分。 数据验证测试涉及的两个方面分别为数据数量和数据质量。 数据数量指预计将在 Dataverse 中创建的行数,数据质量指由数据映射定义的数据值的正确性。

数据数量可能不是源环境与测试环境之间记录的一对一匹配,尤其是交易数据,因为目标环境中的数据模型设计可能不同。 再举个例子,有些数据质量问题是客户数据的系统性问题。 如果公司在同一组织有很多不同的客户记录,那么当您集成其财务系统时,您在数据改进上会受到一些限制。 测试团队需要了解类似问题,然后才能有效实施其测试计划。

一些数据(比如记录的所有权、创建时间/创建人以及修改时间/修改人信息)可能会有所不同。 这一因素可能还会受到已不再存在和不同所有权用户的影响。 出于本原因,您不能直接进行表的对比。 但是,测试应验证有没有妥善处理这一情况,并按预期映射。

数据迁移策略和测试策略中应明确在数据质量和数量上的预期。 同样,因新架构的差异或所应用的交易逻辑,所显示的数据值可能会有所出入。 关键业务用户必须参与本项测试活动,尤其是质量测试活动。 客户还应考虑使用单独环境来测试数据,而不是将其与 UAT 测试合并到一起,因为这样可能会导致 UAT 用户修改其迁移数据。 运行数量也必须计划好,刚开始应该是一个小的子级,然后再扩展到总量的 70% - 80%,以确保所迁移数据的正确性。

数据验证测试对于保障数据迁移顺利完成来说非常重要,因其能够对应用的正确运行和采用产生重大影响。 必须提高用户对导入生产系统的数据质量的重视。

解决方案架构师需要确定客户在本关键活动中是否有所缺失,然后确认是否计划在投入使用之前先对所导入的数据进行验证,以保障数据质量。

数据验证测试期间要问一问自己的几个关键问题:

  • 是否已确定数据验证的范围?
  • 是否已确定执行数据验证测试的主题专家? 这份名单是否包含用户和经理?
  • 是否考虑使用较小规模的记录集和性能测试进行集成/迁移?
  • 是否已确定数据验证测试的策略、结果和计划?
  • 是否已确定每个测试周期的运行数量和数据量?
  • 是否已明确数据质量和数据数量的验证标准?
  • 是否留出了单独的数据验证环境?
  • 密钥测试用户是否知道数据迁移期间所应用的转换逻辑?

提高数据迁移的优先级

不要低估数据迁移的工作量。

数据迁移计划应在项目启动后立即开始制定。 数据迁移过程中可能会发现在需求分析中没有获取的数据元素和业务流程。 必须向客户提出这些疏漏,这样就可以在不影响项目的情况下决定如何处理新发现的数据。