共用方式為


將提供端點資源的模型新增至 Databricks 應用程式

模型服務端點 新增為 Databricks Apps 資源,讓您的應用程式可以查詢機器學習模型以進行推斷。 模型服務端點會處理模型預測,並提供一致的介面來存取已部署的模型。

新增提供端點資源的模型

在新增模型服務端點作為資源之前,先先檢視 應用程式資源的前置條件

  1. 當你建立或編輯應用程式時,請切換到 「配置 」步驟。
  2. 應用程式資源 區塊,點擊 + 新增資源
  3. 選取 [服務端點] 作為資源類型。
  4. 請從您的工作區中選擇一個可用的模型服務端點。
  5. 為您的應用程式選取適當的權限層級:
    • 可以查看: 檢視端點中繼資料,包括模型名稱、版本和工作負載組態。 無法傳送推論請求。
    • 可以查詢: 傳送推論請求並檢視中繼資料。 將此項用於大多數需要模型預測的應用程式。
    • 可以管理: 完整的管理控制,包括查看、編輯、查詢、刪除和管理權限。
  6. (選用)指定自訂資源金鑰,這是您在應用程式設定中參考模型服務端點的方式。 預設索引鍵是 serving-endpoint

備註

模型服務端點必須處於處理 READY 來自應用程式的推論請求的狀態。

環境變數

當您使用模型服務端點資源部署應用程式時,Azure Databricks 會透過您可以使用欄位參考 valueFrom 的環境變數公開服務端點名稱。

例如:

SERVING_ENDPOINT=<your-serving-endpoint-name>

如需詳細資訊,請參閱 使用環境變數存取資源

移除提供端點資源的模型

當您從應用程式移除提供端點資源的模型時,應用程式的服務主體會失去端點的存取權。 提供端點的模型本身保持不變,並繼續可供具有適當權限的其他使用者和應用程式使用。

最佳實務

當您使用模型服務端點資源時,請考慮下列事項:

  • 授予最低權限。 請使用 Can view 來實現最低的存取權限,或使用 Can query 來處理需要發送推論請求的大多數應用程式,除非您的應用程式特別需要在端點上執行系統管理任務。
  • 盡可能避免長時間執行的查詢,因為推論請求可能會逾時。
  • 在傳送請求之前檢查端點狀態。 端點必須處於 READY 狀態才能處理查詢。
  • 請考慮限制推論請求的速率,以避免端點不堪重負,尤其是在高流量期間。