在評估營運品質、可靠性與成本時,請考慮代理主機的選擇,例如 Microsoft Copilot(宣告式代理)、Copilot Studio(自訂代理)或 Azure。 將這個決策與代理人撰寫方式分開。 代理執行或託管地點決定其編排能力、模型存取權限及操作特性。 這些特性直接影響回應品質、效能及大規模運作成本。
本文說明代理主機平台如何影響解決方案的能力。 你會了解不同的創作方法如何在同一主機平台上建立代理,同時維持品質與行為一致;單一創作方法如何在不同平台上創造出品質與行為結果不同的代理;以及主機如何塑造解決方案的成本輪廓。
成本作為操作性考量
將成本視為穩定運作特性,而非一次性採購問題。 兩個解決方案可能產生相同的答案,但成本卻可能相差一個數量級,因為成本取決於代理如何運作,而不僅僅是它回傳什麼。 主機平台大致上會修正你可用的操作手段:
- 每次互動的代幣消耗。 模型在指定回合中處理的每個指示、知識片段和工具定義都會計入該回合的費用。 每次互動時載入的常駐上下文都要付費,無論上下文是否相關,也是如此。
- 模型回合數。 調配者決定該模型被調用幾次以完成任務。 更多的工具呼叫循環和更多重新規劃,意味著更多的推論。
- 模特兒選擇。 較大的推理模型每個代幣成本較高且增加延遲。 主機決定哪些模型可用,以及你是否能將不同步驟路由到不同模型。
- 決定論。 確定性工作根本不需要模型推理。 將它移入程式碼或動作,既消除了代幣成本,也消除了變異性。
接下來的章節會拆解對成本影響最大的控制:協調器束、模型選擇,以及你如何設計指令與確定性動作。
Microsoft Copilot 主機
Microsoft Copilot 為宣告式代理提供內建治理、安全與合規功能的託管主機環境。 這個平台無論你用哪種創作方式建立代理,都能提供一致的效能特性。
例如,你可以使用Microsoft Copilot、Copilot Studio或Microsoft 365代理工具包中的代理建構器功能來撰寫宣告式代理。 代理主機決定開發者可選擇的編排、目錄及語言模型選項。 這些選項是影響回應品質的最大因素。 撰寫與建立平台應是運作穩態階段解決方案的次要標準。
不同的創作平台提供不同層級的營運能力,適合不同組織需求與開發生命週期階段。 只要基礎代理程式主機仍是 Microsoft Copilot(宣告式代理程式),那麼在不同的撰寫畫布間切換以滿足作業需求時,品質就能維持一致。
下表總結了在宣告式代理中應使用哪種創作平台作為示範範例的考量。
| 需求 | Copilot 中的代理建構器功能 | Copilot Studio | 專業規範 |
|---|---|---|---|
| 解決方案擁有者 | 個人 | Group | Enterprise |
| 更新與維護 | 沒有版本控制 | 鎖定編輯的版本設定 | 版本控制與同時編輯 |
| 評估架構 | 測試小組 | 測試面板與專業程式碼 | 可完全自訂 |
| CI/CD | 沒有 | Some | 是的 |
| 即時監控 | 沒有 | 沒有 | 是的 |
| Telemetry | Limited | Some | 可完全自訂 |
| 成本/投資報酬率 | 隨 Microsoft Copilot 附贈 | 從許可到消費範圍不等 | 可根據專業代碼選擇完全自訂 |
| 工作智商消耗成本 | Microsoft 365 Copilot 授權包含 Work IQ 接地服務;未持照使用者則以消耗性計費 | 依使用量計算的 Copilot 點數 (隨用付費或預付) | 以 Copilot 信用點數為基礎,透過 Work IQ API 進行消費;在 Microsoft 365 系統管理中心 中計量並限制 |
例如,當代理人利用工作智慧(Work IQ)來獲取情境、檢索或動作時,該使用量會被不一地計費,信用成本會依情境複雜度(包括情境大小、推理深度及步驟數)而調整。
Note
沒有獨立的 Work IQ 訂閱、SKU 或每用戶授權。 交談成本與內容成本各不相同,因此兩個相似的 Agent 可能因為知識基礎內容量與多步驟推理程度不同,而使用差異極大的點數用量。 請使用 Microsoft 365 系統管理中心 的成本管理儀表板,監控信用額度使用情況,並為租戶、群組及使用者設定支出上限。 《成本最佳化架構設計》中的成本最佳化模式——盡量減少持續啟用的內容脈絡,並將具確定性的工作移至指令碼和動作——有助於控制 Work IQ 支出。
還要考慮其他因素,例如開發人員增益和偵錯工具 (表中未顯示)。 請記住,這些因素深受貴組織安全狀態及其對特定開發平台能力的影響。
將 Agent Builder 內建的 Microsoft Copilot 宣告式代理升級為使用 Microsoft 365 代理工具包撰寫的宣告式代理。 此策略維持 Microsoft Copilot 作為協調者,以確保代理行為一致。 如果在 Copilot Studio 內建的實驗性自訂代理符合概念驗證評估標準,且企業營運需要進行原始碼控制,可以將代理提升到 Power Platform 中的管理型管線。 此方法確保 Copilot Studio 編排器仍是維持代理行為的主要機制。
協調流程和 Agent 測試框架
協調器(或稱 harness)是執行時迴圈,負責規劃步驟、選擇與呼叫工具、管理上下文視窗,並決定任務何時完成。 它是影響回應品質與營運成本的最大因素,因為它控制模型的回合數、每回合累積多少上下文,以及工具結果如何回饋到模型中。
由於主機平台提供編排器,主機決策在很大程度上決定了您的成本與延遲範圍:
- Microsoft Copilot 提供一個受管理的編排器。 你會得到可預測的、包含授權的成本和一致的行為,但對迴路本身的控制有限。
- Copilot Studio 提供可配置的編排(例如主題與生成式編排)。 成本模式從授權制到按使用量計費不等,具體取決於你交由模型處理的生成式工作量。
- Azure 和 pro-code 讓你完全掌控迴圈。 與利用維護良好的測試框架或像 Copilot SDK 這樣的 SDK 相比,評估程式碼維護的成本。
當主機提供這些功能時,用於協調的關鍵控制項如下:
- 互動回合預算。 限制或調整編排者在傳回前進行規劃和工具呼叫的迭代次數。
- 並行式與循序式工具呼叫。 同時執行獨立工具呼叫以降低延遲。 有可能時合併呼叫以減少回合數。
- 情境管理。 修剪、摘要或將對話做視窗化處理,以防止上下文無限制增長,讓每回合的代幣成本維持平穩,而不是累加上升。
- 快取。 跨回合或跨工作階段重複使用已快取的提示前綴,以避免針對固定上下文重複計費。
Note
更有能力的協調者能同時提升品質與成本。 將編曲的複雜度與任務相匹配。 簡單的查詢代理不需要多步驟生成規劃,付費只會讓成本膨脹,卻無法改善結果。
模型選擇
你選擇的模型會影響每個代幣的成本和延遲,且這在很大程度上與創作方式無關。 較大型的推理模型在複雜任務中能提供更高品質的結果,但每個代幣的成本較高且反應較慢。 應根據任務難度選擇相應的模型,而不要對每項任務都一律預設採用能力最強的選項。
主機支援時的模型路由架構:
- 將尖端推理模型留給真正困難的步驟,例如模稜兩可的推理、綜合或開放式生成。
- 將確定性或簡單的子任務 ,如分類、擷取、格式化和路由決策,導向到較小、更便宜且更快的模型。
- 在單一 Agent 中混用模型 (當協調器支援按步驟選擇模型時),如此一來,每個步驟只需為其所需的功能付費。
主機平台決定哪些模型在目錄中、是否能每步路由、最大上下文視窗(較大視窗允許更多上下文但每回合成本較高),以及是否支援提示快取。 在主機決策時驗證這些能力,因為它們限制了你之後能執行的模型層級成本優化。
成本優化架構
除了選擇主機、編排器和模型之外,如何結構客服的指令與行動,會直接且持續產生成本影響。 有兩項原則指導成本效益設計:
不要為確定性工作付模型推理費。 將確定性動作打包成腳本、動作或連接器,而非將它們描述為模型每次執行都必須解釋的自然語言指令。 程式碼執行一次,成本低廉,輸出可預測,無代幣成本,變異性較低。 使用自然語言處理同一程序每次都會花費推理成本,且可能導致結果不一致。
不要為很少用到的指令付出常駐 Token 成本。 預先載入的 Agent 層級指示在每次互動的每個回合都會計費,即使這些指示與使用者的要求無關。 只有當任務符合需求時,才會隨需載入指引與知識,這表示你只會在實際用到該上下文時才為其付費,而不是持續付費。 這種漸進式揭露模式能讓每次互動的基本成本維持在較低水準。
下表總結了何時預載指令到代理,何時將工作推送到確定性腳本或按需資源。
| 預先載入代理層級指令時…… | 在以下情況下使用指令碼、動作或隨選資源時…… |
|---|---|
| 這種行為幾乎適用於每一個互動(核心角色、語氣、安全防護)。 | 這種行為是任務特定的,或只有偶爾才相關。 |
| 指引簡短且始終相關。 | 指引內容較長,或有大量參考資料或知識資料作為後盾。 |
| 模型確實需要推理或調整這種行為。 | 這個動作是確定性的、可重複的,且輸出明確。 |
| 額外一次擷取或工具呼叫所造成的延遲,會影響使用體驗。 | 每回合攜帶上下文的權杖成本,遠高於偶爾一次的負載。 |
具成本效益的 Agent 會將常駐指示精簡化,只聚焦於身分與安全性。 它以腳本或動作的形式處理固定程序,並以按需資源形式提供專業知識與任務特定指引,僅在相關時載入。 這種方法降低每次互動的代幣成本,使行為更可預測,並保持核心提示較小且易於維護,同時不犧牲能力。
下一個步驟
學習如何透過評估框架衡量代理品質、驗證不同情境下的效能,並確保部署前的運作準備。