以 Genie Code 建模服務可觀察性

這很重要

這項功能目前處於 公開預覽版

本文說明 Genie Code 如何協助你診斷問題、分析效能,並為你的模型服務端點獲得指引。

要求

要使用 Genie Code 來建模服務可觀察性,您的工作空間需要以下條件:

備註

Genie Code 目前僅支援自訂模型服務端點。

Genie Code 能幫助什麼?

當你在模型服務端點頁面使用 Genie Code 時,它會成為模型服務的可觀察性夥伴。 它能分析端點健康狀況、診斷部署失敗、調查延遲問題,並提供最佳實務指導——所有這些都能從 Genie Code 面板完成。

在端點頁面的 Genie Code 窗格

Genie Code 在此模式下是唯讀顧問。 它可以檢查你的端點並提供建議,但無法修改設定或部署。 它有清晰的步驟說明和文件連結,讓你可以自行修改。

開始

開始之前:

  1. 前往模型服務端點頁面。
  2. 點擊 資料庫助理圖示即可 開啟精靈代碼面板。
  3. 在右下角選擇 特工。 這會開啟 Genie Code 的特工模式。
  4. 輸入一個提示,說明你需要幫助的地方。 例如,「檢查這個端點的健康狀況」或「為什麼我的延遲這麼高?」

能力

健康檢查與診斷

Genie Code 可以分析你端點的狀態與配置,找出潛在問題:

  • 檢查端點健康狀態和部署狀態。
  • 檢視配置是否符合最佳實務。
  • 評估規模與資源利用率。

故障排除與分析

Genie Code 能協助解決端點問題:

  • 利用建置日誌、事件及端點狀態來診斷部署失敗。
  • 利用指標、事件及推論表資料調查高延遲或逾時問題。
  • 分析服務日誌與推論表中的錯誤模式。
  • 找出錯誤配置或資源限制。
  • 將目前與待處理的配置與風險評估進行比較。

指導方針和最佳做法

Genie Code 根據你的端點設定提供建議:

  • 建議生產與開發工作負載的最佳縮放配置。
  • 解釋終點狀態與轉移。
  • 指導你如何進行監控與可觀測系統的設定。
  • 搜尋 Azure Databricks 文件並提供相關文章連結。

應用案例

試試以下提示開始:

  • 健康檢查:
    • 「檢查這個端點的健康狀況。」
    • 「我的端點設定正確嗎?」
    • 「檢查我終端的縮放設定。」
  • 部署失敗:
    • 「/診斷」或「為什麼我的部署失敗?」
    • 「幫我修正部署錯誤。」
    • 我的端點卡在待處理狀態。
  • 延遲除錯:
    • 「為什麼我的延遲這麼高?」
    • 「分析今天早上的延遲激增。」
    • 「給我看過去24小時的績效指標。」
  • 配置評測:
    • 「我即將進行的配置有什麼變化?」
    • 我的併發設定適合用於生產環境嗎?
    • 「給我看看我的推論表配置。」
  • 申請歷史:
    • 「給我看這個端點最近的請求。」
    • 「我的使用者遇到哪些錯誤?」
    • 「分析過去一週的錯誤模式。」

其他資訊