這很重要
這項功能目前處於 公開預覽版。
本文說明 Genie Code 如何協助你診斷問題、分析效能,並為你的模型服務端點獲得指引。
要求
要使用 Genie Code 來建模服務可觀察性,您的工作空間需要以下條件:
- 為帳戶和工作區啟用合作夥伴支援的 AI 功能。 請參閱 合作夥伴支援的 AI 功能。
- 你的工作區必須位於支援區域內。 Genie Code 是一項 指定服務 ,利用地理系統管理資料駐留。 請參閱 Genie Code 功能地理可用性。
備註
Genie Code 目前僅支援自訂模型服務端點。
Genie Code 能幫助什麼?
當你在模型服務端點頁面使用 Genie Code 時,它會成為模型服務的可觀察性夥伴。 它能分析端點健康狀況、診斷部署失敗、調查延遲問題,並提供最佳實務指導——所有這些都能從 Genie Code 面板完成。
Genie Code 在此模式下是唯讀顧問。 它可以檢查你的端點並提供建議,但無法修改設定或部署。 它有清晰的步驟說明和文件連結,讓你可以自行修改。
開始
開始之前:
- 前往模型服務端點頁面。
- 點擊
開啟精靈代碼面板。
- 在右下角選擇 特工。 這會開啟 Genie Code 的特工模式。
- 輸入一個提示,說明你需要幫助的地方。 例如,「檢查這個端點的健康狀況」或「為什麼我的延遲這麼高?」
能力
健康檢查與診斷
Genie Code 可以分析你端點的狀態與配置,找出潛在問題:
- 檢查端點健康狀態和部署狀態。
- 檢視配置是否符合最佳實務。
- 評估規模與資源利用率。
故障排除與分析
Genie Code 能協助解決端點問題:
- 利用建置日誌、事件及端點狀態來診斷部署失敗。
- 利用指標、事件及推論表資料調查高延遲或逾時問題。
- 分析服務日誌與推論表中的錯誤模式。
- 找出錯誤配置或資源限制。
- 將目前與待處理的配置與風險評估進行比較。
指導方針和最佳做法
Genie Code 根據你的端點設定提供建議:
- 建議生產與開發工作負載的最佳縮放配置。
- 解釋終點狀態與轉移。
- 指導你如何進行監控與可觀測系統的設定。
- 搜尋 Azure Databricks 文件並提供相關文章連結。
應用案例
試試以下提示開始:
- 健康檢查:
- 「檢查這個端點的健康狀況。」
- 「我的端點設定正確嗎?」
- 「檢查我終端的縮放設定。」
- 部署失敗:
- 「/診斷」或「為什麼我的部署失敗?」
- 「幫我修正部署錯誤。」
- 我的端點卡在待處理狀態。
- 延遲除錯:
- 「為什麼我的延遲這麼高?」
- 「分析今天早上的延遲激增。」
- 「給我看過去24小時的績效指標。」
- 配置評測:
- 「我即將進行的配置有什麼變化?」
- 我的併發設定適合用於生產環境嗎?
- 「給我看看我的推論表配置。」
- 申請歷史:
- 「給我看這個端點最近的請求。」
- 「我的使用者遇到哪些錯誤?」
- 「分析過去一週的錯誤模式。」