监控、调试和部署

跟踪实验,检查日志,调度生产GPU工作负载,并在AI运行时为你训练的模型提供服务。

Topic Description
跟踪运行、日志和指标 用MLflow跟踪实验、指标和产物,查看日志和GPU资源使用情况。
调度GPU工作负载 部署带有声明式自动化捆绑包的培训代码,安排运行,构建多任务GPU和CPU工作流。
将工作负载转换为捆绑包 将AI运行时工作负载的YAML转换为声明式自动化捆绑包,将其作为持久作业进行管理。
配置捆绑包任务 打包训练代码,选择 GPU 计算和环境,并将配置传递到 bundle 任务中。
部署已训练的模型 记录、注册并部署在 AI 运行时训练的模型到使用 CPU 或 GPU 计算的 Model Serving 端点。
通过笔记本环境提供服务 将 AI 运行时笔记本中的模型注册为 express deployment,这样终端使用与笔记本相同的环境和包。
提供 LLM 服务 将基于 AI Runtime 训练的 LLM 部署到 GPU 终结点,并通过兼容 OpenAI 的 API 对外提供服务。