在 Managed Compute 上執行生產工作負載,支援多執行個體部署、提示快取及提示感知路由

Microsoft Foundry 中的管理式運算以專用 GPU 容量承載模型,而 Foundry 則管理服務執行環境與基礎架構。 生產工作負載需要可預測的延遲、高並發性以及持續的吞吐量,這些吞吐量以每秒服務的請求數以及每秒處理與產生的輸入與輸出令牌數來衡量。 單一模型實例往往不足以滿足這些需求。 多重執行個體部署透過執行多個相同模型的執行個體來增加容量。 每個 模型實例 使用 1、2、4 或 8 顆 GPU,依據部署範本所定義。 部署時計算 capacity 的是模型實例,而非 GPU,所以 總 GPU 數量 = 每個實例×容量。

提示快取行為

許多受管式運算執行環境會在底層引擎與模型支援時,跨請求重複使用相同的處理前綴工作。 在支援的情況下,此行為預設為啟用。 快取是 實例本地的 ,不會在部署的各個實例間共享。 路由至另一個執行個體的要求,只有在前置詞已快取於該執行個體上時,才能重複使用該前置詞。

當引擎回報快取令牌數時,會在回應中標示出標準的 OpenAI 相容 usage.prompt_tokens_details.cached_tokens 欄位。 明確 cached_tokens: 0 值是真實且已報告的值,表示該請求的快取標記為零。 省略 prompt_tokens_details 欄位或 cached_tokens 索引鍵,表示該回應無法提供快取權杖報告。 此狀況可能因引擎與模型架構組合不支援快取,或是引擎未啟用使用指標。

{
  "usage": {
    "prompt_tokens": 512,
    "completion_tokens": 128,
    "prompt_tokens_details": {
      "cached_tokens": 384
    }
  }
}

完整 usage 回應架構請參閱 聊天完成 API 參考。

對於串流回應,只有在要求同時設定 stream 和 stream_options.include_usage 時,才會包含最終的 usage 物件:

{
  "prompt_cache_key": "my-app-support-tenant-42",
  "stream": true,
  "stream_options": { "include_usage": true }
}

如需完整的串流請求與回應結構描述,請參閱 Chat completions API 參考文件。

引擎飽和

無法承接更多工作量的受管運算執行環境會以 HTTP 429 拒絕新請求。 執行階段已接受的請求會繼續正常處理;只有新的請求會被拒絕。

例如,許多受管式運算部署使用的 vLLM 執行環境會強制執行兩個准入門檻:

  • --max-num-queued-reqs 限制未完成的請求,包括等待中、預填或解碼中的請求。 許多小請求一起抵達時,可能會佔盡所有請求槽位,即使預填充權杖預算有空間,也會觸發 HTTP 429。
  • --max-num-queued-tokens 限制目前的預填充代幣積壓。 幾個長上下文請求可以填滿這個 token 預算,並在請求數量保持低時觸發 HTTP 429。 每個請求的完整提示長度會被計入,直到預填結束為止。

這些限制共同協助防止過多的待處理項目和超載相關的引擎當機,同時讓已接受的要求繼續處理。

當單一實例反覆達到這些執行時允許上限並回傳 429 時,請考慮在同一部署中新增更多模型實例以增加服務容量。 跨多個實例路由流量又會影響前綴快取重用的運作方式,下一節將詳細說明。

提示感知路由

對於多個模型實例的部署,當引擎與模型支援時,預設會啟用提示感知路由。 它偏好將帶有共享前綴的請求傳送到同一實例,以提升快取重用。 選用的 prompt_cache_key 會為相關要求 (例如共用系統訊息的要求) 提供親和性提示:

{
  "messages": [
    { "role": "system", "content": "You are a support assistant for Contoso. Answer concisely and cite the relevant policy section when applicable." },
    { "role": "user", "content": "What is the refund window for a defective item?" }
  ],
  "prompt_cache_key": "my-app-support-tenant-42"
}

如需完整的請求與回應結構描述,請參閱 Chat Completions API 參考文件。

prompt_cache_key 是針對共享共同前綴的請求提供的路由親和性提示 。 具有固定 prompt_cache_key 金鑰的請求仍可被路由到不同於先前相同金鑰請求的實例,例如負載下(溢出),該實例可為該前綴設置冷快取。 這種行為是正常的,並非例外。

部署規模規劃

主動並發 是指某一時間點尚未完成的進行中推論請求的數量。 它不是每秒請求數,也不是閒置或開啟連線的數量。 單一實例能維持的並行性取決於輸入與輸出長度、快取行為、您的工作負載組合、模型與執行時間,以及部署範本的 GPU 佔用空間。

一個有用的規模管理方法是先測量單一模型實例在你的工作負載下所維持的並行性,然後在擴展到更多實例之前先增加空間。 容量變更後的配置與熱身需要時間,因此應為過渡做好準備,而非期待瞬間完成。