通过

将 Spark 配置从 Azure Synapse 迁移到 Fabric

  • 项目

Apache Spark 提供了许多配置，可以自定义它们，以增强各种方案中的体验。 在 Azure Synapse Spark 和 Fabric 数据工程中，你可以灵活地整合这些配置或属性来定制体验。 在 Fabric 中，可以将 Spark 配置添加到环境中，并直接在 Spark 作业中使用内联 Spark 属性。 要将 Azure Synapse Spark 池配置移动到 Fabric，请使用环境。

有关 Spark 配置注意事项，请参阅 Azure Synapse Spark 与 Fabric 之间的差异。

先决条件

  • 如果还没有工作区，请在租户中创建一个 Fabric 工作区。
  • 如果还没有环境，请在工作区中创建一个环境。

选项 1：将 Spark 配置添加到自定义环境

在环境中，可以设置 Spark 属性，并将这些配置应用于所选环境池。

  1. 打开 Synapse Studio：登录到 Azure。 导航到你的 Azure Synapse 工作区，打开 Synapse Studio。
  2. 找到 Spark 配置：
    • 转到“管理”区域并选择“Apache Spark 池”。
    • 找到 Apache Spark 池，选择“Apache Spark 配置”，找到池的 Spark 配置名称。
  3. 获取 Spark 配置：可以从“配置 + 库”>“Apache Spark 配置”中选择“查看配置”或导出配置（.txt/.conf/.json 格式）来获取这些属性。
  4. 有了 Spark 配置后，在 Fabric 中向你的环境添加自定义 Spark 属性：
    • 在环境中，转到“Spark 计算”>“Spark 属性”。
    • 添加 Spark 配置。 可以手动添加每个配置，也可以从 .yml 导入。
  5. 单击“保存”并“发布”更改。

显示 Spark 配置的屏幕截图。

详细了解如何将 Spark 配置添加到环境。

相关内容