在 Databricks 應用程式中新增 Unity Gateway 模型服務資源

Important

這項功能目前處於 公開預覽版。

將 Unity Gateway 模型服務 加入 Databricks 應用程式資源，讓您的應用程式能向 Unity 目錄管理的 AI 模型發送推論請求，包括聊天、完成與嵌入。 Unity Gateway 模型服務包括在 system.ai 下提供的按代幣付費基礎模型，以及你所建立的模型服務。

Note

Unity Gateway 模型服務的使用歸因僅對標準 Databricks 應用程式準確。 在微型虛擬機器環境中運行的應用程式，例如 Genie 應用程式建構器應用程式，無法準確回報使用量歸因。

請參閱 Unity Gateway 使用追蹤。

權限要求

若要存取 Unity Gateway 模型服務，應用程式的服務主體必須在父目錄集上具有 USE CATALOG 權限、在父架構上具有 USE SCHEMA 權限，以及在模型服務上具有 EXECUTE 權限。 當你新增模型服務資源時，Azure Databricks 會自動授予應用程式的服務主體這些權限。

若要讓此自動授與成功，每個權限必須符合下列其中一項：

  • 對於 USE CATALOG： 所有帳戶使用者都擁有 USE CATALOG 目錄的權限，或者您擁有 MANAGE 目錄的權限。
  • 對於 USE SCHEMA：所有帳戶使用者都必須擁有在結構描述上的權限，或者您必須擁有 USE SCHEMA在結構描述上的權限。
  • 對於 EXECUTE： 要麼所有帳號使用者都對模型服務具有 EXECUTE 權限，要麼你對模型服務具有 MANAGE 權限。

請參閱 Unity 目錄權限參考。

新增 Unity Gateway 模型服務資源

在新增 Unity Gateway 模型服務作為資源之前，請先檢視 應用程式資源的前置條件。

  1. 在 應用程式資源 區塊中，當你建立或編輯應用程式時，點擊 + 新增資源>模型。
  2. 在資源選擇器中，從 Unity Gateway 區段選擇模型服務。 選擇器也會在 「服務端點」 區塊下列出自訂服務端點。 要連接其中一個端點，請參見 「新增模型服務端點資源至Databricks應用程式」。 若要使用按代幣付費的基礎模型，請從 system.ai 目錄中選擇一個模型服務。
  3. 選取應用程式的權限層級：
    • 可執行： 賦予應用程式服務主體 EXECUTE 向模型服務發送推理請求的權限。 這是模型服務唯一可用的權限等級。
  4. （可選）指定一個自訂資源鍵，這是你在應用程式設定中參考模型服務的方式。 預設索引鍵是 model。

使用 Databricks Asset Bundles 進行設定

如果你是用宣告式自動化套件來定義你的應用程式，請在套件組中將模型服務作為 uc_securable 資源加入：

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

關於宣告式自動化套件中應用程式資源的資訊，請參見 app.resources。

環境變數

當你部署使用 Unity Gateway 模型服務資源的應用程式時，Azure Databricks 會透過環境變數公開模型服務的完整三部分 Unity Catalog 名稱，你可以使用 valueFrom 欄位來參照。

設定範例：

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

該 valueFrom 欄位解析為模型服務的完整三部分 Unity Catalog 名稱（例如，system.ai.databricks-dbrx-instruct）。 透過 Azure Databricks SDK 或 Unity Gateway REST API 呼叫模型服務時，請使用此名稱。

如需詳細資訊，請參閱 使用環境變數存取資源。

移除 Unity Gateway 模型服務資源

當你從應用程式中移除 Unity Gateway 模型服務資源時，該應用程式的服務主體會失去該模型服務的 EXECUTE 權限。 模型服務本身保持不變，並持續對擁有適當權限的其他使用者和應用程式開放。

最佳實務

在使用 Unity Gateway 模型服務資源時，請考慮以下幾點：

  • EXECUTE 是唯一可用的權限等級。 它授權應用程式發送推理請求，且不授予模型服務的管理權限。
  • 若要使用按代幣付費的基礎模型而無需額外設定，請從 system.ai 目錄中選擇模型服務。
  • 環境變數解析為完整的三部分 Unity Catalog 名稱（catalog.schema.model_service）。 透過 Azure Databricks SDK 或 REST API 呼叫模型服務時，請使用此值。
  • 處理應用程式程式碼中的推論錯誤和速率限制。 Unity Gateway 會強制執行每個模型服務所設定的速率限制與防護欄。
  • 模型資源選擇器同時列出經典模型服務端點，並歸類於「服務端點」區塊。 模型服務與服務端點可以共存於同一個應用程式中。
  • 上次更新時間：