AI 运行时

重要

此功能目前以公共预览版提供。

AI 运行时是Databricks提供的一款无服务器GPU计算产品，面向 深度学习 工作负载。 可以使用 AI 运行时使用你喜欢的框架来训练和微调自定义模型，并获取最先进的效率、性能和质量。

开始

使用我们的快速入门指南，几分钟内完成你的第一个工作量。

开始	Description
🚀 Databricks CLI 快速入门	您是从 Slurm 或 Kubernetes 集群迁移而来吗？ 几分钟内即可直接在终端中使用 AI Runtime 进行训练。
📓 笔记本快速入门	几秒钟内把笔记本连接到GPU上，进行交互式开发。
⚡ Ray	来自射线簇？ 在支持仪表板的 AI 运行时上运行 Ray。
🧭 概述	在两分钟内了解 AI 运行时的关键内容：可用的 GPU、其工作原理以及限制。

Features

AI 运行时是一个全栈 GPU 平台，拥有多种连接 GPU 的方式，内置可观察性和调试工具，以及预建环境。

连接无服务器GPU：无论你工作在哪里，都能连接无服务器GPU。

功能	Description
Notebooks	将笔记本连接到无服务器GPU计算，进行交互式开发，无需集群设置。
基于SSH的IDE	通过 SSH 隧道从 IDE 或终端连接，直接在 GPU 节点上工作。
Databricks CLI	用 YAML 作业配置从笔记本提交和管理分布式 GPU 训练任务。
AI 代理	使用 databricks-ai-runtime 代理技能提交、监控和管理你的AI代理的GPU训练任务。
射线	在无服务器GPU计算上运行Ray Core、Ray Data、Ray Train和Ray Tune。

管理依赖：控制工作负载运行的Python和系统库。

功能	Description
预建环境	从最简标准环境或预装机器学习框架的Databricks AI环境开始。

将数据加载到显卡：高效地将训练数据传递给显卡。

功能	Description
高效的数据加载器	通过专为高 GPU 利用率打造的容错加载器，从 Unity Catalog 卷中流式传输数据。

调试与可观察性：跟踪实验，检查输出，诊断故障。

功能	Description
用于深度学习的 MLflow	使用 MLflow 跟踪试验、指标和运行。
日志查看器	查看训练输出，并在代码运行时监控GPU资源使用。
与代理进行调试	使用 Genie Code 生成训练代码、解决环境问题和调试 GPU 故障。

调度与实时在线服务：从交互式开发转向计划任务和端点。

功能	Description
调度GPU工作负载	部署带有声明式自动化捆绑包的培训代码，安排运行，构建多任务GPU和CPU工作流。
服务你的模特	借助 Model Serving，通过可扩展端点部署您训练好的模型。

示例

探索 AI 运行时的端到端笔记本和 Databricks CLI 示例。

Example	Description
经典机器学习	GPU加速的XGBoost、零样本表格预测和时间序列预测。
建议系统	训练深度学习推荐模型，如双塔架构。
计算机视觉	GPU上的物体检测和图像分类工作负载。
训练后OSS模型（LLMs）	使用 LoRA、全量微调以及 TRL、Unsloth 和 Axolotl 等库，对开源大语言模型进行微调和后训练。
批处理推理	在多个GPU上运行大规模批处理推理，使用Ray Data和vLLM。
多 GPU 分布式训练	通过DDP、FSDP和DeepSpeed，将训练扩展到多个GPU和节点。

Guides

以任务为中心的引导，帮助将工作负载迁移到AI运行时，并最大化GPU性能。

指南	Description
从斯勒姆迁移	将你的 Slurm 批处理脚本、分布式启动器和共享存储映射到 Databricks 的 CLI。
迁移经典GPU工作负载	将现有的深度学习工作负载从经典Databricks集群迁移到AI运行时。
性能与韧性	提高培训吞吐量，使长期运行的作业更具抗故障能力。

其他资源

查找有用内容：最新产品更新以及AI运行时的底层运作方式。

Resource	Description
产品更新	查看最新的 AI 运行时产品更新和公告。
AI 运行时的底层工作原理	阅读Databricks如何让GPU在AI运行时中保持可靠性。