Apache Spark 工作区管理设置常见问题解答

文列出了有关 Apache Spark 工作区管理设置的常见问题解答。

如何使用 RBAC 角色配置 Spark 工作区设置?

使用“管理访问权限”菜单为特定用户、通讯组或安全组添加管理员权限。 还可以使用此菜单对工作区进行更改,并授予添加、修改或删除 Spark 工作区设置的权限。

在环境级别对 Spark 属性所做的更改是否适用于活动笔记本会话或计划的 Spark 作业?

在工作区级别进行配置更改时,它不会应用于活动的 Spark 会话。 这包括基于批处理或笔记本的会话。 保存新的配置设置后,必须启动新的笔记本或批处理会话,才能使这些设置生效。

是否可以在容量级别配置节点系列、Spark 运行时和 Spark 属性?

是的,你可以更改运行时,或使用容量管理设置页面中的“数据工程/科学”设置来管理 Spark 属性。 需要具有容量管理员访问权限才能查看和更改这些容量设置。

是否可以为工作区中的不同笔记本和 Spark 作业定义选择不同的节点系列?

目前,只能为整个工作区选择基于内存优化的节点系列。

是否可以在笔记本级别配置这些设置?

是的,可以使用 %%configure 来在笔记本中的 Spark 会话级别自定义属性

是否可以为所选节点系列配置最小和最大节点数?

是的,可以根据链接到 Fabric 工作区的 Fabric 容量允许的最大突发限制来选择最小和最大节点。

是否可以在基于内存优化或硬件加速 GPU 的节点系列中为 Spark 池启用自动缩放?

自动缩放可用于 Spark 池,启用后允许系统在运行时根据作业阶段自动纵向扩展计算。 GPU 当前不可用。 此功能将在将来的版本中启用。

默认情况下,工作区是否支持或启用 Spark 池的智能缓存?

默认情况下,已为所有工作区的 Spark 池启用智能缓存。