跟踪实验,检查日志,调度生产GPU工作负载,并在AI运行时为你训练的模型提供服务。
| Topic | Description |
|---|---|
| 跟踪运行、日志和指标 | 用MLflow跟踪实验、指标和产物,查看日志和GPU资源使用情况。 |
| 调度GPU工作负载 | 部署带有声明式自动化捆绑包的培训代码,安排运行,构建多任务GPU和CPU工作流。 |
| 将工作负载转换为捆绑包 | 将AI运行时工作负载的YAML转换为声明式自动化捆绑包,将其作为持久作业进行管理。 |
| 配置捆绑包任务 | 打包训练代码,选择 GPU 计算和环境,并将配置传递到 bundle 任务中。 |
| 部署已训练的模型 | 记录、注册并部署在 AI 运行时训练的模型到使用 CPU 或 GPU 计算的 Model Serving 端点。 |
| 通过笔记本环境提供服务 | 将 AI 运行时笔记本中的模型注册为 express deployment,这样终端使用与笔记本相同的环境和包。 |
| 提供 LLM 服务 | 将基于 AI Runtime 训练的 LLM 部署到 GPU 终结点,并通过兼容 OpenAI 的 API 对外提供服务。 |