文列出了有关 Apache Spark 工作区管理设置的常见问题解答。
如何使用 RBAC 角色配置 Spark 工作区设置?
使用“管理访问权限”菜单为特定用户、通讯组或安全组添加管理员权限。 还可以使用此菜单对工作区进行更改,并授予添加、修改或删除 Spark 工作区设置的权限。
在环境级别对 Spark 属性所做的更改是否适用于活动笔记本会话或计划的 Spark 作业?
在工作区级别进行配置更改时,它不会应用于活动的 Spark 会话。 这包括基于批处理或笔记本的会话。 保存新的配置设置后,必须启动新的笔记本或批处理会话,才能使这些设置生效。
是否可以在容量级别配置节点系列、Spark 运行时和 Spark 属性?
是的,你可以更改运行时,或使用容量管理设置页面中的“数据工程/科学”设置来管理 Spark 属性。 需要具有容量管理员访问权限才能查看和更改这些容量设置。
是否可以为工作区中的不同笔记本和 Spark 作业定义选择不同的节点系列?
目前,只能为整个工作区选择基于内存优化的节点系列。
是否可以在笔记本级别配置这些设置?
是的,可以使用 %%configure 来在笔记本中的 Spark 会话级别自定义属性
是否可以为所选节点系列配置最小和最大节点数?
是的,可以根据链接到 Fabric 工作区的 Fabric 容量允许的最大突发限制来选择最小和最大节点。
是否可以在基于内存优化或硬件加速 GPU 的节点系列中为 Spark 池启用自动缩放?
自动缩放可用于 Spark 池,启用后允许系统在运行时根据作业阶段自动纵向扩展计算。 GPU 当前不可用。 此功能将在将来的版本中启用。
默认情况下,工作区是否支持或启用 Spark 池的智能缓存?
默认情况下,已为所有工作区的 Spark 池启用智能缓存。