数据管理概念

已完成

数据管理框架由以下概念组成:

  • 数据实体 – 数据实体是一个或多个基础表的概念抽象和封装。 数据实体表示一个通用数据概念或功能,例如客户或供应商。 数据实体旨在让熟悉业务概念的用户轻松理解数据实体。 创建数据实体后,您可以通过 Excel 加载项重复使用它们,使用它们定义导入/导出包,或使用它们进行集成。

  • 数据项目 – 当您从工作区选择导入导出时,将自动创建数据项目,并且应至少具有一个作业。 它包含配置的数据实体,其中包括映射和默认处理选项。 数据项目允许用户设置实体(这些实体应该是项目的一部分)并定义每个实体使用的格式。 它允许用户定义从源文件到暂存的映射,并指定默认处理选项。

  • 数据作业 – 使用数据作业执行实际导入或导出操作。 数据作业包含数据项目的执行实例、上传的文件、计划或定期信息以及要用于该作业的处理选项。

    执行导入或导出操作时将创建数据作业。 数据作业创建数据项目的实例,然后运行它。 如果您正在执行计划外的导入或导出,则每个数据项目通常只存在一个作业。 如果多次使用不同的数据执行本操作,则您可以使用相同的数据项目通过不同的作业多次导入数据。

    每个数据项目都可以有一个或多个数据作业。 例如,如果您正在执行单次计划外的数据导入,则可能有一个文件正在导入。 在这种情况下,单个数据项目将具有一个数据作业。

    另外还要考虑的一种应用场景是,您是否多次使用同一个数据项目和不同的数据导入数据。 在这种情况下,一个数据项目可以存在多个数据作业。 每个数据作业可以有一个或多个作业历史记录。

    例如,一个数据作业在修复错误后可能会运行多次。 作业历史记录描述详细信息,例如,运行作业所用的时间、已处理的记录数以及处理过程中出现的错误。

  • 作业历史记录 – 从源到暂存以及从暂存到目标作业的历史记录。 运行作业后,您可以查看作业历史记录,其中包含每次执行数据作业运行的运行历史记录,以及数据从源到暂存、从暂存到目标的历史记录。

    数据管理工作区中的作业历史记录选项卡显示来自导入和导出数据项目的所有工作历史记录。 从作业历史记录,您可以查看从源到暂存以及从暂存到目标步骤的运行历史记录。 每个项目可以有多个作业,而这些作业又具有多次执行。 通过使用作业历史记录,您可以查看执行详细信息并确定运行作业所用的时间、已处理的记录数等。

  • 数据包 – 数据包是许多应用程序生命周期管理 (ALM) 方案的关键概念,例如,复制配置和数据迁移。 数据包是包含数据项目清单和数据文件的单个压缩文件。 数据包由数据作业生成,用于导入或导出多个具有清单的文件。 定义数据项目(包括数据实体以及这些数据实体之间的映射和先后顺序)后,您可以创建数据包。 然后,您可以使用数据包将数据项目的定义从一个环境移动到另一个环境。

    您可以从数据作业生成数据包。 要创建数据包,请转到数据管理工作区,加载要为其创建数据包的项目,然后选择下载。 该过程将生成 zip 文件。

    显示用于创建数据包的‘下载’选项的屏幕截图。

    Zip 文件包含包标头和清单。 清单定义数据项目的设置。 您可以使用数据包将数据项目的设置从一个环境复制到另一个环境。

数据管理平台

通过使用数据管理框架,您可以从旧系统或外部系统快速迁移引用、主数据和文档数据。 该框架提供的功能可帮助您将数据导入到暂存环境中,对数据执行基本数据质量服务或验证操作,以及验证和清除数据。

利用数据管理平台功能,您可以将数据从输入映射到目标,然后对数据进行预处理和后期处理。 如果导出数据,则源为财务和运营应用,如果导入数据,则目标为财务和运营应用。

该框架旨在帮助您使用以下功能快速迁移数据:

  • 您可以仅选择要迁移的实体。
  • 如果导入出现错误,您可以跳过所选记录并选择仅使用完好数据继续导入,然后选择稍后修复和导入错误数据。 您将能够部分继续并使用错误快速查找错误数据。
  • 您可以将数据实体直接从一个财务和运营应用系统移动到另一个系统,而无需通过 Excel 或 XML。
  • 数据导入可通过使用批处理进行计划,当需要运行时可提供灵活性。 例如,您可以随时迁移系统中的客户组、客户、供应商和其他数据实体。

数据管理框架支持在以下核心数据管理方案中使用数据实体:

  • 数据迁移 – 您可以从旧系统或外部系统迁移引用、主数据和文档数据。
  • 设置和复制配置 – 使用本方案在不同公司或环境之间复制配置,并通过使用 Lifecycle Services 环境设置流程或模块。
  • 集成 – 在需要实时基于服务的集成或需要异步集成时使用本方案。 实时集成没有暂存区域,由服务层直接处理。

数据迁移

数据迁移是可使用用户界面手动执行的初始或计划外数据加载。 当功能用户在源中有一些数据(例如,在数据迁移期间需要从旧系统导入到财务和运营应用的 Excel 工作簿)时,可以使用本模式。

数据流

第一步是将文件从源加载到中央存储,如 Azure。 然后,数据导入/导出框架从中央存储中获取数据,然后将其推送到财务和运营应用的暂存表中。 通过使用已定义的数据实体,数据从暂存移动到目标。 该数据流可以逐行执行,也可以使用每个数据实体的整个基础表的数据实体集基础执行。 您可以使用财务和运营应用的序列实体功能控制目标表填充的序列和顺序。