共用方式為

匯入 OpenAI 相容的語言模型 API

適用於：所有 API 管理層級

您可以將 OpenAI 相容的語言模型端點匯入 API 管理實例作為 API。 例如，您可能希望管理自我託管的 LLM，或託管在非 Azure AI 服務的其他推論提供者上。 使用 API 管理中的 AI 閘道原則和其他功能來簡化整合、改善可檢視性，以及增強對模型端點的控制。

深入瞭解在 API 管理中管理 AI API：

語言模型 API 類型

API 管理支援此案例的兩種語言模型 API 類型。 選擇適合模型部署的選項。 選項會決定用戶端如何呼叫 API，以及 API 管理實例如何將要求路由傳送至 AI 服務。

  • OpenAI 相容 - 與 OpenAI API 相容的語言模型端點。 範例包括推斷提供者公開的特定模型，例如Hugging Face 文本生成推斷 (TGI)。

    API 管理會設定與 OpenAI 相容的聊天完成端點。

  • Passthrough - 與 OpenAI API 不相容的其他語言模型端點。 範例包括 部署在 Amazon Bedrock 或其他提供者中的模型。

    API 管理會配置常見 HTTP 動詞的萬用字元操作。 用戶端可以將路徑附加至通配符作業，而 API 管理會將要求傳遞至後端。

先決條件

使用入口網站匯入語言模型 API

若要將語言模型 API 匯入至 API 管理：

  1. 在 Azure 入口網站中，流覽至您的 API 管理實例。

  2. 在左側功能表 的 [API] 底下，選取 [API]>[+ 新增 API]。

  3. 在 [定義新的 API] 下，選取 [ 語言模型 API]。

    在入口網站中建立 OpenAI 相容 API 的螢幕快照。

  4. 在 [設定 API] 標籤頁上：

    1. 輸入 API 的 [顯示名稱] 和選擇性 [描述]。
    2. 輸入 LLM API 端點的 URL 。
    3. 選擇性地選取一或多個 要 與 API 建立關聯的產品。
    4. 在 [路徑] 中，附加 API 管理實例用來存取 LLM API 端點的路徑。
    5. 在 [類型] 中，選取 [建立 OpenAI API ] 或 [建立傳遞 API]。 如需詳細資訊，請參閱 語言模型 API 類型 。
    6. 在 [存取金鑰] 中，視需要輸入用來存取 LLM API 的授權標頭名稱和 API 金鑰。
    7. 選取 下一步。

    入口網站中語言模型 API 設定的螢幕快照。

  5. 在 [ 管理令牌取用 ] 索引標籤上，選擇性地輸入設定或接受定義下列原則的預設值，以協助監視和管理 API：

  6. 在 [ 套用語意快取 ] 索引標籤上，選擇性地輸入設定或接受定義原則的預設值，以協助優化效能並減少 API 的延遲：

  7. 在 AI 內容安全性上，選擇性地輸入設定或接受預設值來設定 Azure AI 內容安全服務，以封鎖含有不安全內容的提示：

  8. 選取 檢閱。

  9. 驗證設定之後，請選取 [建立]。

測試 LLM API

若要確保您的 LLM API 如預期般運作，請在 API 管理測試控制台中進行測試。

  1. 選取您在上一個步驟中建立的 API。

  2. 選取 [測試] 索引標籤。

  3. 選取與模型部署相容的作業。 頁面會顯示參數和標頭的欄位。

  4. 視需要輸入參數和標頭。 視作業而定，您可能需要設定或更新 要求本文。

    備註

    在測試主控台中，API 管理會自動填入 Ocp-Apim-Subscription-Key 標頭，並設定內建所有存取訂用帳戶的訂用帳戶金鑰。 此金鑰可讓您存取 API 管理執行個體中的每個 API。 (選擇性) 選取 [HTTP 要求] 旁的「眼睛」圖示以顯示 Ocp-Apim-Subscription-Key 標頭。

  5. 選擇 傳送。

    測試成功時，後端會以成功的 HTTP 回應碼和某些資料進行回應。 附加至回應是令牌使用方式數據，可協助您監視和管理語言模型令牌耗用量。

相關內容