Databricks AI 环境是专为 AI 开发定制的特选的启用了 GPU 的运行时。 它在无服务器 GPU 环境 4 及更高版本中受支持。
此新环境通过提供完全预配置的机器学习库堆栈(包括 PyTorch、HuggingFace Transformers 等框架)和对 GPU 的本机支持来简化开发。 它与 Databricks 笔记本、Unity 目录和 MLflow 集成,提供集成体验。 借助 AI 环境,ML 团队只需选择一个现成的 GPU 群集并立即开始训练模型,而无需花费几天时间进行设置和故障排除。
连接到 AI 环境
若要在连接到无服务器 GPU 计算的 Databricks 笔记本中使用 Databricks AI 环境,请遵循以下步骤:
- 在笔记本中,单击顶部的 “连接 ”下拉菜单,然后选择 “无服务器 GPU”。
- 单击
打开 “环境 ”侧面板。
- 从“加速器”字段中选择 A10。
- 从“基础环境”字段中为 AI 环境选择 AI v4。
- 如果选择“基本环境”字段中的“无”,请选择“环境”版本。
- 单击 “应用 ”,然后 确认 要将无服务器 GPU 计算应用到笔记本环境。
若要在无服务器 GPU 上为笔记本作业设置 Databricks AI 环境,请执行以下操作:
- 在笔记本作业设置中,单击“环境和库”部分中的“编辑笔记本环境”。
- 单击
打开 “环境 ”侧面板。
- 从“基础环境”字段中为 AI 环境选择 AI v4。
新的作业运行将能够接入 Databricks AI 环境。
FAQ
Databricks AI 环境和用于机器学习的 Databricks Runtime 中的环境有何区别?
用于机器学习的 Databricks Runtime 和 Databricks AI 环境都为 AI/ML 用例提供预先配置的计算环境。 虽然用于机器学习的 Databricks Runtime 与经典计算资源一起使用,但 Databricks AI 环境适用于无服务器 GPU 计算。
用于机器学习的 Databricks Runtime 和 Databricks AI 环境中的环境都包含常见的机器学习包,但存在一些差异。 最值得注意的是,Databricks AI 环境包括更新的包,但不包括 Tensorflow 和 GraphFrames。 有关 Databricks AI 环境和用于机器学习的 Databricks Runtime 中包含的内容的详细信息,请参阅 无服务器环境发行说明 和 Databricks 运行时发行说明。
已知问题
- Databricks AI 环境不适用于笔记本作业的任务配置中的 “环境和库 ”字段。 如果从该字段中创建新的作业环境,则可能无法选择 Databricks AI 环境。
- Databricks AI 环境不支持环境导出。