本文總結了 Azure Databricks 模型服務及支援端點類型的限制與區域可用性。
資源和承載限制
模型服務設定預設限制以確保效能可靠。 如果您對於這些限制有意見，請聯絡您的 Databricks 帳戶團隊。
本節的限制僅適用於自訂模型及 AI 代理 端點。 關於基礎模型 API 及外部模型資源與有效載荷限制，請參見 基礎模型 API 速率限制與配額。
自訂模型與 AI 代理
| 功能 | 粒度 | 限制 |
|---|---|---|
| 端點 | 每個工作區 | 如需提高 1000 的配額，請聯絡你的 Databricks 帳戶團隊。 |
| 每秒查詢數 (QPS) | 每個端點 | 30萬，採用 路線優化。 如果 1024 並行度不夠，請聯繫您的 Databricks 帳戶團隊以增加並行限制。 |
| 每秒查詢數 (QPS) | 每個工作區 | 使用路線優化的用戶有30萬。 200 美元用於非路由優化，僅建議小型開發者使用。 |
| 佈建的預置平行處理 | 每個模型 | 1024 有 自訂選項 和 路線優化。 聯絡你的 Databricks 帳戶團隊以增加配額。 |
| 佈建的預置平行處理 | 每個工作區 | 4096。聯絡你的Databricks帳戶團隊以增加。 |
| 建立/更新操作 | 每個工作區 | 5分鐘內50。 |
| 承載大小 | 依據要求 | 16 MB。 AI 代理 端點的限制為 4 MB。 |
| 要求/回應大小 | 依據要求 | 不會記錄超過 1 MB 的任何要求/回應。 |
| 模型執行持續時間 | 依據要求 | 297 秒 |
| CPU 端點模型記憶體使用量 | 每個端點 | 4GB |
| GPU 端點模型記憶體使用量 | 每個端點 | 這要看顯示卡的類型 |
| 環境變數 | 每個服務模型 | 30. 聯絡你的 Databricks 帳戶團隊以增加配額。 |
| 額外負荷延遲 | 依據要求 | 經過 路線優化後，時間不到 20 毫秒。 |
:::
網路和安全性限制
- 模型服務端點受到存取控制的保護，並遵守工作區設定的網路相關輸入規則，例如 IP 允許清單及私人連結。
- 私人連線功能（例如 Azure Private Link）僅支援使用預配置輸送量的模型服務端點，或是提供自訂模型的端點。
- 根據預設，模型服務不支援外部端點的私人連結 (例如 Azure OpenAI)。 這項功能的支援會根據每個區域進行評估和實作。 如需詳細資訊，請連絡 Azure Databricks 客戶團隊。
- 模型服務功能不會提供現有模型映像的安全性修補程式，因為這樣可能會導致生產部署的不穩定性風險。 從新模型版本建立的新模型映像會包含最新的更新檔。 如需詳細資訊，請連絡 Databricks 客戶團隊。
合規性安全性配置文件標準：CPU 工作負載
下表列出 CPU 工作負載上核心模型服務功能支援的合規性安全性配置檔合規性標準。
注意
這些合規性標準要求服務容器在最近 30 天內建置。 Databricks 會代表您自動重建過時的容器。 不過，如果此自動化作業失敗，則會出現如下的事件記錄訊息，並提供如何確保您的端點保持在合規性需求內的指引：
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| 區域 | 地點 | HIPAA | HITRUST | PCI-DSS | I-R-A-P (國際認證計劃) | CCCS 中型 （B級保護） | 英國 Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
AustraliaCentral | ||||||
australiacentral2 |
AustraliaCentral2 | ||||||
australiaeast |
澳大利亞東部 | ✓ | ✓ | ✓ | |||
australiasoutheast |
澳大利亞東南部 | ||||||
brazilsouth |
巴西南部 | ✓ | ✓ | ✓ | |||
canadacentral |
CanadaCentral | ✓ | ✓ | ✓ | |||
canadaeast |
CanadaEast | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
美國中部地区 | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaEast3 | ||||||
chinanorth2 |
ChinaNorth2 | ||||||
chinanorth3 |
ChinaNorth3 | ||||||
eastasia |
EastAsia | ✓ | ✓ | ✓ | |||
eastus |
美國東部（EastUS） | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
德國西中部 | ✓ | ✓ | ✓ | |||
japaneast |
日本東部 | ✓ | ✓ | ✓ | |||
japanwest |
日本西部 | ||||||
koreacentral |
韓國中心 | ✓ | ✓ | ✓ | |||
mexicocentral |
墨西哥中心 | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
北歐 | ✓ | ✓ | ✓ | |||
norwayeast |
挪威東部 | ||||||
qatarcentral |
卡達中心 | ||||||
southafricanorth |
南非北部 | ||||||
southcentralus |
SouthCentralUS | ✓ | ✓ | ✓ | |||
southeastasia |
東南亞 | ✓ | ✓ | ✓ | |||
southindia |
南印度 | ||||||
swedencentral |
瑞典Central | ✓ | ✓ | ✓ | |||
switzerlandnorth |
瑞士北部 | ✓ | ✓ | ✓ | |||
switzerlandwest |
瑞士西部 | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
英國南區 | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
西歐 | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
WestUS | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
基礎模型 API 限制
關於基礎模型 API 的詳細資訊，包括基礎與外部模型的資源與有效載荷限制，請參見 基礎模型 API 速率限制與配額。
區域可用性
注意
如果您需要不支援區域中端點，請連絡您的 Azure Databricks 客戶團隊。
如果您的工作區部署在支援模型服務的區域中，但由 不支持區域中的控制平面 提供服務，則工作區不支援模型服務。 如果您嘗試在這類工作區中使用模型服務，您會看到錯誤訊息指出不支援您的工作區。 如需詳細資訊，請連絡 Azure Databricks 客戶團隊。
如需每個模型服務功能區域可用性的詳細資訊，請參閱 模型服務功能可用性。
如需 Databricks 裝載的基礎模型區域可用性，請參閱 Databricks 上裝載的基礎模型。