重要
此功能目前以公共预览版提供。
本文介绍了 Genie Code 如何帮助你诊断问题、分析性能并获取模型服务终结点的指导。
注释
Genie Code 目前仅支持提供终结点的自定义模型。
Genie Code 可以提供哪些帮助？
在模型服务终结点页上使用 Genie Code 时，它将成为模型服务的可观测性助手。 它可以分析终结点运行状况、诊断部署失败、调查延迟问题并提供最佳做法指南 -- 全部来自 Genie Code 窗格。
Genie Code 是只读模式下的咨询器。 它可以检查终结点并提供建议，但不能修改配置或部署。 它提供明确的分步说明和文档链接，以便自己进行更改。
开始
开始之前：
- 转到提供终结点的模型页。
- 单击
打开“Genie Code”窗格。 - 在右下角，选择 “代理”。 这将开启 Genie Code 的代理人模式。
- 输入详细提示描述您需要帮助的内容。 例如，“检查此终结点的运行状况”或“为什么我的延迟这么高？”
能力
健康检查和诊断
Genie Code 可以分析终结点的状态和配置，以确定潜在问题：
- 检查终结点运行状况和部署状态。
- 根据最佳做法查看配置。
- 评估缩放和资源利用率。
故障排除和分析
Genie Code 可帮助解决终结点问题：
- 使用生成日志、事件和终结点状态诊断部署失败。
- 使用指标、事件和推理表数据调查高延迟或超时问题。
- 分析服务日志和推理表中的错误模式。
- 识别配置错误或资源约束。
- 将当前配置和待处理配置进行比较，并进行风险评估。
指南和最佳做法
Genie Code 根据终结点的配置提供建议：
- 建议为生产和开发工作负荷提供最佳缩放配置。
- 说明终结点状态和转换。
- 指导你进行监视和可观测性设置。
- 搜索 Azure Databricks 文档并提供相关文章的链接。
用例
请尝试以下提示以开始使用：
- 健康检查
- “检查此终结点的运行状况。
- “我的终结点配置正确吗？”
- “查看终结点的缩放配置。”
- 部署失败：
- “/诊断”或“为什么我的部署失败？”
- “帮助我修复部署错误。”
- “我的端点停滞在挂起状态。”
- 延迟调试：
- “为什么我的延迟这么高？
- “分析今天上午的延迟峰值。
- “显示过去 24 小时内的性能指标。
- 配置评审：
- 我待处理的配置中发生了什么变化？
- “我的并发设置是否适合生产？
- “显示我的推理表配置。
- 请求历史记录：
- “向我显示对此终结点的最新请求。
- “我的用户遇到什么错误？
- “分析上周的错误模式。