建立與管理模型 API（模型服務）

在 Unity 目錄中建立、分享並管理您自己的 模型 API （模型服務）。

Tip

系統提供的模型 API 在結構中 system.ai 已準備好查詢，無需設定。 只有當你想管理其他模型或開放自訂端點時，才建立自己的模型 API。

Requirements

  • 位於Unity AI Gateway 支援區域的 Azure Databricks 工作區。
  • 已為您的工作區啟用了 Unity Catalog。 請參閱 為 Unity Catalog 啟用工作區。
  • 要建立模型服務，您必須具備：
    • USE CATALOG、USE SCHEMA 和 CREATE SERVICE，位於你建立模型服務所在的目錄和結構描述中。
    • EXECUTE 在模型服務參考為目標的每個模型上。
    • 模型服務參照為目的地的每個EXECUTE上的USE CATALOG、USE SCHEMA和
    • 如果您啟用推論記錄功能，則需要在建立推論資料表的目錄和結構描述上具備 USE CATALOG、USE SCHEMA 和 CREATE TABLE。

建立模型服務

你可以在 Unity AI Gateway 介面或目錄總管中建立模型服務。

模型服務與 模型提供者服務 在 Unity 目錄架構中共用單一命名空間。 如果結構描述中的模型提供者服務已經使用某個名稱，你就不能將該名稱用於模型服務，反之亦然。

使用使用者介面

  1. 執行下列其中一項動作：
    • 在工作區的側邊欄中，按一下 AI Gateway，然後按一下 建立。
    • 在 Catalog Explorer 中，前往您要建立模型服務的結構描述，然後按一下 建立>服務>模型服務。
  2. 輸入模型服務的名稱，並選取要在其中建立該服務的目錄和結構描述。 如果你是從目錄瀏覽器開始，目錄瀏覽器會預先填入目錄和綱要。
  3. 選擇主要服務目的地。 這個目的地可以是由 Databricks 託管、且你已對其進行 EXECUTE 的模型，並可由 Unity AI Gateway 提供服務；或者是你已對其進行 、EXECUTE 和 USE CATALOG 的USE SCHEMA。
  4. 點擊 建立。

建立模型服務後，Azure Databricks 會開啟總覽頁面，您可以開始或設定推論日誌等額外功能。

授予模型服務存取權限

若要讓其他人查詢模型服務，請在模型服務上授予他們 EXECUTE，並在其目錄和結構描述上授予 USE CATALOG 和 USE SCHEMA。 如果模型服務將記錄寫入推論資料表，請授予他們對該資料表的 SELECT 權限，讓他們能讀取已記錄的請求與回應。

在目錄瀏覽器中授予存取權限：

  1. 在目錄檔案總管中，開啟模型服務。
  2. 在許可權索引標籤上，按一下授與。
  3. 選擇要授予存取權限的使用者或群組，選擇 EXECUTE 權限，然後點擊 授權。

確保這些相同的主體也在模型服務的目錄和結構描述中具有 USE CATALOG 和 USE SCHEMA。 若要讓他們讀取已記錄的請求和回應，請在推論資料表的 SELECT 分頁中授予 。

欲了解更多關於授權與發現存取權的資訊，請參閱 治理模式服務。

在模型服務上配置功能

你可以透過 Unity AI Gateway UI，在模型服務上設定速率限制、推論日誌和防護機制等功能，就像在 Unity AI Gateway 端點上設定它們一樣。 See:

推論日誌

啟用推論記錄時，Azure Databricks 會在你指定的位置建立一個新的空白 Unity Catalog 資料表，其結構描述為預先定義。 請注意下列事項：

  • 你必須擁有 USE CATALOG、 USE SCHEMA，以及 CREATE TABLE 在目標目錄和結構中。
  • 模型服務的創建者是推論表的擁有者。 除非你授權，否則其他使用者無法存取。
  • 如果指定位置已有資料表，建立模型服務將失敗。
  • 推論表的生命週期與模型服務獨立。 如果你把表格放下，模型服務會繼續運作，但會停止記錄。

關於推論表的更多資訊，請參見 對推論表的日誌請求與回應。

刪除模型服務

要刪除模型服務，你至少必須擁有 MANAGE 該服務的權限。 擁有者有一個 MANAGE 的超集。

若要刪除模型服務，請在目錄總管中開啟該模型服務，然後從 kebab 選單中選取 刪除。

系統 system.ai 提供的模型服務無法刪除。

下一步

  • Last updated on