在复制作业中通过 SAP Datasphere 出站实现从 SAP 进行变更数据捕获

本教程介绍如何通过 SAP Datasphere 出站功能在从 SAP 到 CDC 复制的作业中进行设置。 有关复制作业中的 CDC 概述,请参阅复制作业中的“更改数据捕获”(CDC)。

使用 SAP Datasphere 传出功能从 SAP 获取更改数据的过程分为两个步骤:

  1. 使用 SAP Datasphere 提取数据:

    使用 SAP Datasphere 从 SAP 源系统提取初始快照和后续更改的记录。 然后,提取的数据将降落在 Azure Data Lake Storage Gen2、Amazone S3 或 Google 云存储中,后者充当过渡区域。

  2. 使用复制任务移动数据:

    使用复制作业连接到云存储中的过渡容器,并将数据(包括插入、更新和删除)复制到任何受支持的目标。

此解决方案支持 SAP Datasphere 提供的所有类型的 SAP 源,包括 SAP S/4HANA、SAP ECC、SAP BW/4HANA、SAP BW 和 SAP Datasphere 本身。

使用复制作业通过 SAP Datasphere 复制 SAP 数据时,SAP Datasphere 的 Premium 出站集成定价会被应用。

先决条件

您需要:

设置 SAP Datasphere

本部分介绍将数据从 SAP 源复制到 Azure Data Lake Storage(ADLS) Gen2、Amazon S3 或 Google Cloud Storage 所需的设置步骤。 您稍后将在 Fabric 中配置该复制任务。

在 SAP Datasphere 中设置连接

在将数据从 SAP 源复制到云存储之前,需要在 SAP Datasphere 中创建与源和目标的连接。

  1. 转到 SAP Datasphere,然后选择 “连接 ”工具。 可能需要选择要在其中创建连接的空间。

  2. 创建与源 SAP 系统的连接。 选择“-+>”,选择要从中复制数据的 SAP 源,并配置连接详细信息。 例如,可以 创建与本地 SAP S/4HANA 的连接

  3. 创建与目标 ADLS Gen2、Amazon S3 或 Google 云存储的连接。 选择“ 创建连接 ”,然后选择正确的类型。 例如,对于 ADLS Gen2,输入存储帐户名称、容器名称(根路径下)、首选身份验证类型和凭据。 确保连接用户/主体有足够的权限在 ADLS Gen2 中创建文件和文件夹。 从 Microsoft Azure Data Lake Store Gen2 连接了解详细信息。

  4. 在继续之前,请通过选择连接并选择顶部菜单中的 “验证 ”选项来验证连接。

    SAP Datasphere 中连接的屏幕截图。

设置 Datasphere 复制流程

创建复制流,将数据从 SAP 源复制到云存储。 有关此配置的详细信息,请参阅有关 创建复制流的 SAP 帮助。

  1. 在 SAP Datasphere 中启动数据生成器

  2. 选择 “新建复制流”。

  3. 复制流画布打开时,选择 “选择源连接”,然后选择为 SAP 源系统创建的连接。

  4. 选择适当的源容器,这是要从中复制的源对象的类型。 以下示例使用 CDS_EXTRACTION 从 SAP S/4HANA 本地源系统中的 CDS 视图复制数据。 然后选择选择

    在复制流中选择源容器的屏幕截图。

  5. 选择 “添加源对象 ”以选择要复制的源对象。 选择所有源后,选择“ 下一步”。

    在复制流中选择源对象的屏幕截图。

  6. 配置目标云存储。 选择目标连接和容器。 检查目标设置是否正确: 组增量 设置为 “无 ”, 文件类型 设置为 Parquet

    ADLS Gen2 目标设置的屏幕截图。

  7. 配置复制的详细设置。 在画布的中间部分选择 “设置 ”。 根据需要检查并调整所选 的“加载类型 ”。 目前,镜像支持 初始和增量

    复制流加载类型设置的屏幕截图。

  8. “运行设置” 对话框中,可以调整复制的加载频率,并根据需要调整资源。

  9. 部署并运行复制以复制数据。

  10. 转到存储容器并验证数据是否已复制。

创建复制作业

本部分介绍如何创建复制作业,以便通过 SAP Datasphere 出站从 SAP 复制数据。

  1. 在工作区中,选择 “新建项 ”并找到 “复制作业”。

  2. 选择用于 ADLS Gen2、Amazon S3 或 Google Cloud Storage 的 SAP Datasphere 出站连接,并设置连接详细信息。

    配置 SAP Datasphere 到 ADLS Gen2 的出站连接的屏幕截图。

  3. 选择存储 SAP Datasphere 出站数据且要将其移动到目标位置的文件夹。

    小窍门

    如果要复制指定父文件夹下的所有表,请在高级设置中启用 单独映射项目 选项。 若要仅复制文件夹下的选择性表,请取消选中该选项。

    浏览 Lakehouse 并选择路径的屏幕截图。

  4. 其余步骤与任何其他启用 CDC 的源的复制过程相同。

局限性

  • 通过 SAP Datasphere 为 SAP CDC 复制作业支持 SAP Datasphere 提供的所有类型的 SAP 源,包括 SAP S/4HANA、SAP ECC、SAP BW/4HANA、SAP BW 和 SAP Datasphere 本身。 有关详细信息,请参阅 SAP Datasphere 复制流文档

  • SAP Datasphere 复制流设置要求:

    • 确保正确配置目标存储设置:将 组增量 设置为 “无 ”,并将 “文件类型 ”设置为 Parquet
    • 目前,SAP 镜像支持的复制流加载类型为 初始和增量
  • 配置复制作业后,可以监视从云存储到受支持的目标的当前复制状态。 如果发现镜像数据的出现延迟,请检查 SAP Datasphere 复制流状态,并确认数据是否已复制到存储中。