從不同的 Azure AI Studio 專案或中樞取用無伺服器 API 端點

文章
10/17/2024

在本文中，您會了解如何在與用於建立部署的專案或中樞不同的專案或中樞中，設定現有的無伺服器 API 端點。

重要

處於預覽狀態的模型會在模型目錄中的模型卡片上標示為預覽。

模型目錄中的特定模型可以部署為無伺服器 API。這種部署可讓您以 API 形式取用模型，而不必在您的訂用帳戶上裝載模型，同時讓組織保持所需的企業安全性與合規性。此部署選項不需要您的訂用帳戶提供配額。

在不同於用於建立部署的專案或中樞内取用無伺服器 API 端點的需求，可能會發生下列情況：

您想要將部署集中到指定的專案或中樞，並從組織中的不同專案或中樞取用它們。
您必須在特定 Azure 區域中的中樞部署模型，而該模型在該區域可使用無伺服器部署。不過，您需要從另一個區域取用它，但這特定模型在此區域無法使用無伺服器部署。

必要條件

具有有效付款方式的 Azure 訂用帳戶。免費版或試用版 Azure 訂用帳戶將無法運作。如果您沒有 Azure 訂用帳戶，請建立付費 Azure 帳戶以開始。
Azure AI Studio 中樞。
Azure AI Studio 專案。
部署至無伺服器 API 端點的模型。本文假設您先前已部署 Meta-Llama-3-8B-Instruct 模型。若要了解如何將此模型部署為無伺服器 API，請參閱將模型部署為無伺服器 API。
您必須安裝下列軟體，才能使用 Azure AI Studio：
您可以使用任何相容的網頁瀏覽器來瀏覽 Azure AI Studio。
Azure CLI 和適用於 Azure Machine Learning 的 ML 延伸模組。
```
az extension add -n ml
```
如果您已安裝延伸模組，請確定您已安裝最新版本。
```
az extension update -n ml
```
安裝延伸模組後，請加以設定：
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
安裝適用於 Python 的 Azure Machine Learning SDK。
```
pip install -U azure-ai-ml
```
安裝之後，請匯入所需的命名空間：
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
```

建立無伺服器 API 端點連線

請遵循這些步驟，以建立連線：

連線至部署端點的專案或中樞：

前往 Azure AI Studio，然後瀏覽至部署您要連線之端點的專案。

設定 CLI 以指向專案：

az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>

建立連線至專案的用戶端：

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)

取得您要連線之端點的端點 URL 和認證。在這個範例中，您會取得名稱為 meta-llama3-8b-qwerty 的端點的詳細資料。
1. 從 AI Studio 中專案的左側提要欄位，移至 [元件]>[部署] 以查看專案中的部署清單。
2. 選取您要連線至的部署。
3. 複製 目標 URI 和金鑰的值。
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_name = "meta-llama3-8b-qwerty"
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```

現在，連線到您要在其中建立連線的專案或中樞：

前往需要建立連線的專案。

設定 CLI 以指向專案：

az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>

建立連線至專案的用戶端：

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)

在專案中建立連線：
1. 從 AI Studio 中專案的左側提要欄位，選取 [設定]。
2. 從 [連線的資源] 區段中選取 [新連線]。
3. 選取 [無伺服器模型]。
4. 在 [目標 URI]上貼上您先前複製的值。
5. 在 [金鑰]上貼上您先前複製的值。
6. 為連線指定名稱，此案例中為 meta-llama3-8b-connection。
7. 請選取新增連線。
建立連線定義：

connection.yml
```
name: meta-llama3-8b-connection
type: serverless
endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
api_key: 1234567890qwertyuiop
```
```
az ml connection create -f connection.yml
```
```
client.connections.create_or_update(ServerlessConnection(
    name="meta-llama3-8b-connection",
    endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
    api_key="1234567890qwertyuiop"
))
```
現在，連線已可供取用。
若要驗證連線是否已在運作：
1. 從 AI Studio 中專案的左側提要欄位，移至 [工具]>[提示流程]。
2. 選取 [建立] 以建立新流程。
3. 在 [聊天流程] 方塊中選取 [建立]。
4. 為您的 [提示流程] 命名，並選取 [建立]。
5. 從圖表中選取 [聊天] 節點，以前往 [聊天] 區段。
6. 針對 [連線]，請開啟挑選清單，選取您剛才建立的連線，此案例為 [meta-llama3-8b-connection]。
7. 在頂端瀏覽列選取 [啟用計算工作階段]，以啟用提示流程自動執行階段。
8. 選取 [聊天] 選項。您現在可以傳送訊息並取得回應。

分享方式：

從不同的 Azure AI Studio 專案或中樞取用無伺服器 API 端點

必要條件

建立無伺服器 API 端點連線

意見反映

更多資源

分享方式：

從不同的 Azure AI Studio 專案或中樞取用無伺服器 API 端點

必要條件

建立無伺服器 API 端點連線

相關內容

意見反映

更多資源