從不同的工作區取用無伺服器 API 端點

在本文中，您會了解如何在不同的工作區中設定現有無伺服器 API 端點，而不是部署所在的工作區。

模型目錄中的特定模型可以部署為無伺服器 API。 這種部署可讓您以 API 形式取用模型，而不必在您的訂用帳戶上裝載模型，同時讓組織保持所需的企業安全性與合規性。 此部署選項不需要您的訂用帳戶提供配額。

與不同於建立部署的工作區中取用無伺服器 API 端點的需求，可能會發生下列情況:

• 您想要在指定的工作區中集中您的部署，並從組織中不同工作區取用。
• 您必須在特定 Azure 區域中部署模型，而該區域可支援模型的無伺服器部署。 不過，您需要從另一個區域取用，而無伺服器部署在該區域不適用於特定模型。

必要條件

• 具有有效付款方式的 Azure 訂用帳戶。 免費版或試用版 Azure 訂用帳戶將無法運作。 如果您沒有 Azure 訂用帳戶，請建立付費 Azure 帳戶以開始。

• 一個您想要從中取用現有部署的 Azure Machine Learning 工作區。

• 部署至無伺服器 API 端點的模型。 本文假設您先前已部署 Meta-Llama-3-8B-Instruct 模型。 若要了解如何將此模型部署為無伺服器 API，請參閱將模型部署為無伺服器 API。

• 您必須安裝下列軟體，才能使用 Azure Machine Learning:

  工作室

  您可以使用任何相容的網頁瀏覽器來瀏覽 Azure Machine Learning 工作室。

  Azure CLI

  Azure CLI 和 適用於 Azure Machine Learning 的 ml 延伸模組。

  az extension add -n ml
  

  如果您已安裝延伸模組，請確定您已安裝最新版本。

  az extension update -n ml
  

  安裝延伸模組後，請加以設定：

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  安裝適用於 Python 的 Azure Machine Learning SDK。

  pip install -U azure-ai-ml
  

  安裝之後，請匯入所需的命名空間：

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

建立無伺服器 API 端點連線

請遵循這些步驟，以建立連線:

1. 連線至部署端點的工作區:

   工作室

   前往 Azure Machine Learning 工作室，然後瀏覽至部署您要連線之端點的工作區。

   Azure CLI

   設定 CLI 以指向工作區:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   建立連線至工作區的用戶端:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. 取得您要連線之端點的端點 URL 和認證。 在這個範例中，您會取得端點名稱為 meta-llama3-8b-qwerty 的詳細資料。

   工作室

   1. 從左側提要欄位選取 [端點]。

   2. 選取 [無伺服器端點] 索引標籤以顯示無伺服器 API 端點。

   3. 選取想要連線的端點。

   4. 在端點的 [詳細資料] 索引標籤上，複製 [目標 URI] 和 [金鑰]的值。

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. 現在，連線到您要在其中建立連線的工作區並取用端點。

4. 在工作區中建立連線:

   工作室

   1. 前往需要建立連線的工作區。

   2. 前往左側導覽列中 [管理] 區段，然後選取 [連線]。

   3. 選取 建立。

   4. 選取 [無伺服器模型]。

   5. 在 [目標 URI]上貼上您先前複製的值。

   6. 在 [金鑰]上貼上您先前複製的值。

   7. 為連線指定名稱，此案例中為 meta-llama3-8b-connection。

   8. 請選取新增連線。

   Azure CLI

   建立連線定義：

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. 現在，連線已可供取用。

6. 若要驗證連線是否已在運作:

   1. 從 Azure Machine Learning 工作室的左側導覽列前往 [製作]>[提示流程]。

   2. 選取 [建立] 以建立新流程。

   3. 在 [聊天流程] 方塊中選取 [建立]。

   4. 為您的 [提示流程] 命名，並選取 [建立]。

   5. 從圖表中選取 [聊天] 節點，以前往 [聊天] 區段。

   6. 針對 [連線]，請開啟挑選清單，選取您剛才建立的連線，此案例為 [meta-llama3-8b-connection]。

   7. 在頂端瀏覽列選取 [啟用計算工作階段]，以啟用提示流程自動執行階段。

   8. 選取 [聊天] 選項。 您現在可以傳送訊息並取得回應。

相關內容

• 模型目錄和集合 (部分機器翻譯)
• 將模型部署為無伺服器 API 端點