调试映射数据流

已完成

在生成映射数据流的过程中,可以交互方式查看数据转换的执行方式,以便可以对其进行调试。 若要使用此功能,首先需要打开“数据流调试”功能。

启动数据流调试

单击“调试”将预配与映射数据流转换交互所需的 Spark 群集。 启用“调试”后,系统会提示选择要在环境中使用的 Integration Runtime。 如果选择“AutoResolveIntegrationRuntime”,则将提供 8 个核心的群集,该群集的生存时间值为 60 分钟。

注意

群集通常需要 5-7 分钟时间才能启动。 启用此模式后,在运行 Spark 群集时,你可以逐步生成数据流并在每个转换阶段中查看数据。

“数据预览”选项卡在“调试模式”下提供,可通过此选项卡查看管道的每个阶段的数据。 你可以在每次转换后查看数据。 通过数据预览器,还可以对数据进行操作,例如查看数据的描述性统计信息或修改数据。

数据预览器

最后,你可以使用“调试”设置来控制在数据预览器中返回的行数。

注意

建议将返回的行数限制为足以使你能够确认数据是否正确。 数据集越大,返回结果所用的时间就越长。 你还可以使用“调试”设置来指定应在管道执行过程中使用的任何参数值。