將 模型服務端點 新增為 Databricks Apps 資源,讓您的應用程式可以查詢機器學習模型以進行推斷。 模型服務端點會處理模型預測,並提供一致的介面來存取已部署的模型。
新增提供端點資源的模型
在新增模型服務端點作為資源之前,先先檢視 應用程式資源的前置條件。
- 當你建立或編輯應用程式時,請切換到 「配置 」步驟。
- 在 應用程式資源 區塊,點擊 + 新增資源。
- 選取 [服務端點] 作為資源類型。
- 請從您的工作區中選擇一個可用的模型服務端點。
- 為您的應用程式選取適當的權限層級:
- 可以查看: 檢視端點中繼資料,包括模型名稱、版本和工作負載組態。 無法傳送推論請求。
- 可以查詢: 傳送推論請求並檢視中繼資料。 將此項用於大多數需要模型預測的應用程式。
- 可以管理: 完整的管理控制,包括查看、編輯、查詢、刪除和管理權限。
- (選用)指定自訂資源金鑰,這是您在應用程式設定中參考模型服務端點的方式。 預設索引鍵是
serving-endpoint。
備註
模型服務端點必須處於處理 READY 來自應用程式的推論請求的狀態。
環境變數
當您使用模型服務端點資源部署應用程式時,Azure Databricks 會透過您可以使用欄位參考 valueFrom 的環境變數公開服務端點名稱。
例如:
SERVING_ENDPOINT=<your-serving-endpoint-name>
如需詳細資訊,請參閱 使用環境變數存取資源。
移除提供端點資源的模型
當您從應用程式移除提供端點資源的模型時,應用程式的服務主體會失去端點的存取權。 提供端點的模型本身保持不變,並繼續可供具有適當權限的其他使用者和應用程式使用。
最佳實務
當您使用模型服務端點資源時,請考慮下列事項:
- 授予最低權限。 請使用
Can view來實現最低的存取權限,或使用Can query來處理需要發送推論請求的大多數應用程式,除非您的應用程式特別需要在端點上執行系統管理任務。 - 盡可能避免長時間執行的查詢,因為推論請求可能會逾時。
- 在傳送請求之前檢查端點狀態。 端點必須處於
READY狀態才能處理查詢。 - 請考慮限制推論請求的速率,以避免端點不堪重負,尤其是在高流量期間。