評估有助於您衡量模型與代理在開發與生產過程中的品質、安全性與可靠性。 在 Microsoft Foundry 中，您可以評估測試資料集中的現有輸出、使用測試輸入從模型或 Agent 產生回應，或評估生產環境追蹤。
評估會對您的資料或應用程式套用一或多個評估器。 評估者會產生指標，並在支援時提供說明，幫助你比較版本、發現品質問題，並判斷應用程式是否準備好部署。
建立評估工作流程
大多數評估流程遵循以下步驟：
- 選擇要評估的項目。 選擇單一回合或完整對話，並使用現有資料集、生成的回應、模擬對話或生產痕跡。
- 挑選評估員。 選擇對你的應用重要的品質與安全指標，例如任務完成度、相關性、有根據性、相似性或內容安全。
- 進行評估。 開發時執行一次，加入 CI/CD，或設定生產環境的定期評估。
- 檢閱並改進。 分析整體指標與個別結果，比較不同版本，並處理反覆出現的失敗模式。
選擇從哪裡開始
Note
開始前， 請先檢視評估工作流程的權限、 支援的區域與速率限制，以及 虛擬網路需求。
選擇評估方法
在選擇評估員之前，先選擇評估單位。 回合層級評估會對個別回應進行評分。 對話層級評估可評分完整的多回合互動，並可衡量多步驟的任務完成度等成果。 評估器支援特定評估層級。
| 我想要 | 從這裡開始 |
|---|---|
| 首次評估受託 Agent | 快速入門：評估你的託管代理程式 |
| 評估現有的查詢回應測試資料 | 評估查詢-回應資料集 |
| 從測試輸入中產生並評估回應 | 評估模型與代理人的反應 |
| 評估從部署模型或代理擷取的個別互動 | 評估已部署的互動 |
| 評估完整對話資料集 | 評估對話資料集 |
| 評估在正式環境追蹤記錄中擷取的完整對話 | 評估已部署的對話 |
| 部署前模擬多回合代理行為 | 模擬客服人員對話 |
| 產生情境與對話，無需手動撰寫測試資料 | 產生並評估合成對話 |
| 執行對抗式安全性與安全防護測試 | 了解 AI 紅隊演練 |
選擇如何進行評估
| 我想要 | 從這裡開始 |
|---|---|
| 在 Foundry 入口網站中執行評估 | 從 Microsoft Foundry 入口網站執行評估 |
| 透過程式執行評估 | Microsoft Foundry SDK 雲端評估導論 |
| 從指令列執行代理評估 | 使用 azd CLI 執行代理評估 |
| 定期評估生產環境流量 | 監視 Agent 並設定持續性評估 |
| 將評估加入部署管線 | 在 GitHub Actions 或 Azure DevOps 中執行評估 |
找到你需要的元件
- 評審人員：可以從內建的評估器開始，或根據自己的標準建立一個自訂的評估器。
- 評估資料： 學習何時使用 評估資料集、如何 產生合成資料，或 如何從生產痕跡建立資料集。
- 結果：在Foundry 入口網站檢視結果，使用 SDK 取得雲端評估結果，或使用叢集分析找出常見的失敗模式。