通过

管理无服务器工作区基础环境

重要

此功能目前以公共预览版提供。

本页介绍如何跨工作区创建和管理无服务器基础环境。

Permissions

  • 只有工作区管理员可以创建和管理工作区的基本环境。
  • 所有工作区用户都有权访问工作区的基本环境。
  • 所有工作区用户可以创建自定义无服务器环境规范。

Azure Databricks 中的基本环境的工作原理

在 Azure Databricks 中，基本环境是一个可共享的 YAML 规范，用于定义 无服务器环境版本 和一组适用于无服务器笔记本的其他 Python 依赖项。 工作区管理员创建和管理基本环境，以便用户可以从一致的缓存环境快速开始，并选择性地添加自己的库。

使用工作区基础环境

用户可以从“环境”侧面板中的“基本环境”下拉列表中选择工作区基础环境。 工作区基础环境与 标准、 AI 和 自定义等其他选项一起显示在下拉列表中。

选择工作区基础环境后，预生成的缓存环境会快速加载，从而减少笔记本和作业的启动时间。 对于作业，使用工作区基础环境可提高性能，因为已缓存依赖项。

使用工作区基础环境

用户可以使用笔记本环境侧面板中的“基本环境”设置为笔记本选择工作区基础环境。

选择工作区基础环境后，预生成的缓存环境会快速加载，从而减少笔记本和作业的启动时间。 对于作业中的笔记本任务，使用工作区基础环境可提高性能，因为已缓存依赖项。

有关在笔记本中配置基本环境的说明，请参阅 “选择基础环境”。

创建和导出环境规范

创建有效的 YAML 规范的最简单方法是在 “环境 ”端面板中生成环境，然后使用 “导出环境 ”按钮下载 YAML 文件。

  1. 打开笔记本并连接到无服务器计算。
  2. 单击“ 环境环境”图标。 笔记本侧面板中的按钮。
  3. 在 “基本环境”下，选择“ 标准 ”或使用 “更多 ”选择特定环境版本。 Databricks 建议使用工作区支持的最新无服务器环境版本。
  4. 在 “依赖项 ”字段中，添加希望基本环境具有的任何依赖项。 输入每个依赖项后，单击 “添加 依赖项”。 有关添加依赖项的更多说明，请参阅 向笔记本添加依赖项。
  5. 单击环境面板底部的 “应用 ”，确保规范有效。
  6. 单击“烤肉”菜单 图标 Kebab 菜单图标。 在环境面板底部，然后单击“ 导出环境”。
  7. 为 YAML 文件命名并添加到工作区文件夹或 Unity 目录卷。

示例环境规范

以下示例 YAML 基于 MLflow 项目环境规范。 它定义了一个基本环境，其中包含一些库依赖项：

environment_version: '4'
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - my-library==6.1
  - /Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl
  - git+https://github.com/databricks/databricks-cli

将基础环境添加到工作区

若要将环境规范作为基本环境添加到工作区，请执行以下作：

  1. 在工作区中，转到“设置”。
  2. 在 “工作区管理员”下，选择“ 计算”。
  3. 在 用于无服务器计算的基本环境旁边，单击“ 管理”。
  4. 单击“ 创建新环境”。
  5. 为基本环境命名。 这是用户在 “基本环境” 下拉菜单中看到的名称。
  6. 使用文件选取器选择环境规范 YAML 文件。 可以浏览工作区文件或 Unity 目录卷。
  7. 单击 “创建” 。

基础环境将开始生成。 在基本环境列表中检查 “状态 ”列。 它将在准备就绪时更改为 “准备使用 ”。

为无服务器 GPU 计算构建

重要

此功能在 Beta 版中。 工作区管理员可以从 预览 页控制对此功能的访问。 请参阅 管理 Azure Databricks 预览版。

创建基础环境时，可以选择启用 “无服务器 GPU 计算生成 ”复选框，为 GPU 工作负载生成环境。 这会创建 GPU 兼容的基本环境版本，该版本显示在 GPU 选项卡中。

基本环境管理页有两个选项卡：

  • CPU：列出无服务器计算（非 GPU 工作负荷）的基本环境。
  • GPU：列出无服务器 GPU 计算的基本环境。 此选项卡还显示对应于 AI 基础环境的 AI 环境条目。 有关详细信息，请参阅 AI 环境。

标准最新 是指 Databricks 提供的最新稳定标准基本环境版本。

注释

与创建和刷新基本环境相关联的使用情况记录已经将billing_origin_product列设置为BASE_ENVIRONMENTS。 此外，特定的基本环境 ID 填充在 usage_metadata.base_environment_id 列中。

设置工作区的默认基础环境

默认情况下，工作区中的无服务器笔记本不使用基本环境。 工作区管理员可以选择默认应用于所有新笔记本的基本环境。

  1. 在工作区中，转到“设置”。
  2. 在 “工作区管理员”下，选择“ 计算”。
  3. 在 用于无服务器计算的基本环境旁边，单击“ 管理”。
  4. 单击基础环境旁边的星形图标将其设置为默认值。

所有新的无服务器笔记本现在都将默认为所选的基础环境。

更新基础环境

可能需要编辑基本环境文件以更新版本号，或者添加或删除依赖项。

在基本环境列表中，单击要更新的基本环境的 YAML 文件路径。 这会在新选项卡中打开该文件。可以在其中查看或更新文件内容。 更改会自动保存。

更新 YAML 规范后，必须刷新基本环境，以便笔记本和作业选取最新的配置。

  1. 在要刷新的基本环境旁边，单击烤肉串菜单 图标 Kebab 菜单图标。 然后选择“ 刷新”。
  2. 单击“确认”。

新会话现在使用更新的基本环境。 必须重启现有笔记本会话才能获取更新。

局限性

基本环境具有以下限制：

  • 自定义基础环境仅支持无服务器 Python、Python 滚轮和笔记本任务类型。 不支持其他任务类型。
  • 作业不支持工作区基础环境。 唯一的例外是笔记本任务，仅当直接在笔记本的环境设置中配置环境时，该任务才能使用工作区基础环境。
  • Lakeflow Spark 声明性管道不支持基本环境。
  • 运行时仅安装相关的依赖项。
  • 不支持无服务器环境版本 1。 使用版本 2 或更高版本。
  • 基本环境适用于所有工作区用户。
  • 工作区限制为 10 个基本环境。
  • Last updated on