AI 网关是用于管理和监视 LLM 终结点、编码代理和模型服务终结点的 Databricks 解决方案。 使用 AI 网关分析使用情况、配置权限和管理跨提供程序的容量。
AI 网关（Beta 版）
新的 AI 网关体验在 Beta 版中提供。 AI 网关（Beta 版）是用于管理具有增强功能的 LLM 终结点和编码代理的企业控制平面，包括丰富的 UI、改进的可观测性和扩展的 API 覆盖范围。
| 主题 | Description |
|---|---|
| AI 网关（Beta 版） | 了解 AI 网关（Beta），其支持的功能以及如何入门。 |
| 配置 AI 网关端点 | 为 LLM 和编码代理创建和配置 AI 网关终结点。 |
| 查询 AI 网关终结点 | 使用 OpenAI 客户端和其他受支持的 API 查询 AI 网关终结点。 |
| 监控 AI 网关端点的使用情况 | 使用系统表监视 AI 网关终结点的使用情况和成本。 |
| 使用推理表监视模型 | 监控和审核 Unity Catalog 中 Delta 表的请求和响应。 |
| 与编码代理集成 | 将 Cursor、Gemini CLI、Codex CLI 和 Claude Code 等编码代理与 AI 网关集成。 |
注释
AI 网关功能在 Beta 版期间不会产生费用。
提供终结点
AI 网关功能还可用于模型服务终结点，包括外部模型终结点、基础模型 API 终结点和自定义模型终结点。
| 主题 | Description |
|---|---|
| 为端点提供服务的 AI 网关 | 了解用于为终结点提供服务的 AI 网关功能，包括支持的功能和限制。 |
| 在模型服务终结点上配置 AI 网关 | 在提供终结点的模型上配置 AI 网关功能，例如使用情况跟踪、有效负载日志记录、速率限制和防护措施。 |
| 使用已启用 AI 网关的推理表监视服务的模型 | 使用启用了 AI 网关的推理表监视服务模型。 |