LLM 工具

提示流程中的大型語言模型 （LLM） 工具可讓您利用 OpenAI 等廣泛使用的大型語言模型，或 Azure AI Foundry 模型中的 Azure OpenAI，或 Azure AI 模型推斷 API 所支援的任何語言模型，以進行自然語言處理。

提示流程提供幾個不同的大型語言模型 API：

• 完成：OpenAI 的完成模型會根據提供的提示產生文字。
• 聊天：OpenAI 的聊天模型和 Azure AI 聊天模型可透過文字型輸入和回應來加速互動式交談。

注意

我們已從 LLM 工具 API 設定中移除 embedding 選項。 您可以使用內嵌 API 搭配 內嵌工具。 Azure OpenAI 連線僅支援密鑰型驗證。 請勿在 Azure OpenAI 資源的資源組名中使用非 ascii 字元，提示流程不支援此案例。

必要條件

建立 OpenAI 資源：

• OpenAI：

  • 在 OpenAI 網站上註冊您的帳戶。
  • 登入並 尋找您的個人 API 金鑰。

• Azure OpenAI：

  • 使用這些 指示建立 Azure OpenAI 資源。

• 部署到標準部署的模型

  • 從您感興趣的目錄建立具有模型的端點， 並使用標準部署加以部署。
  • 若要使用部署至 Azure AI 模型推斷 API 所支援的標準部署模型，例如 Mistral、Cohere、Meta Llama 或 Microsoft 系列模型（等等），您必須 在專案中建立與端點的連線

連線

在提示流程中設定已佈建資源的連線。

類型	名稱	API 金鑰	API 類型	API 版本
OpenAI	必要	必要	-	-
Azure OpenAI - API 金鑰	必要	必要	必要	必要
Azure OpenAI - Microsoft Entra ID	必要	-	-	必要
無伺服器模型	必要	必要	-	-

提示

• 若要針對 Azure OpenAI 連線使用Microsoft Entra ID 驗證類型，您需要將 或 Cognitive Services OpenAI User 指派Cognitive Services OpenAI Contributor role給使用者或使用者指派的受控識別。
• 深入瞭解 如何指定 以使用使用者身分識別提交流程執行。
• 深入瞭解 如何使用受控識別設定 Azure OpenAI。

輸入

下列各節顯示各種輸入。

文字完成

名稱	類型	描述	必要
提示	字串	語言模型的文字提示。	是的
模型，deployment_name	字串	要使用的語言模型。	是的
最大代幣數	整數	完成時要產生的令牌數目上限。 預設值為 16。	否
溫度	float	所產生文字的隨機性。 預設為 1。	否
停止	清單	所產生文字的停止序列。 預設為 Null。	否
尾碼	字串	附加至完成結尾的文字。	否
top_p	float	從產生的權杖使用最上層選擇的機率。 預設為 1。	否
logprobs	整數	要產生的記錄機率數目。 預設為 Null。	否
回聲	布爾值	值，指出是否要在回應中回顯提示。 預設為 False。	否
出現懲罰	float	值，控制模型的重複片語行為。 預設值為 0。	否
頻率懲罰	float	值，控制模型產生罕見片語的行為。 預設值為 0。	否
最佳精选	整數	要產生的最佳完成次數。 預設為 1。	否
logit偏差	字典	語言模型的Logit偏差。 預設值為空的字典。	否

聊天

名稱	類型	描述	必要
提示	字串	語言模型用於回應的文字提示。	是的
模型，deployment_name	字串	要使用的語言模型。 如果模型部署至標準部署，則不需要此參數。	是*
最大代幣數	整數	在回應中產生的權杖數目上限。 預設為 inf。	否
溫度	float	所產生文字的隨機性。 預設為 1。	否
停止	清單	所產生文字的停止序列。 預設為 Null。	否
top_p	float	從產生的權杖使用最上層選擇的機率。 預設為 1。	否
出現懲罰	float	值，控制模型的重複片語行為。 預設值為 0。	否
頻率懲罰	float	值，控制模型產生罕見片語的行為。 預設值為 0。	否
logit偏差	字典	語言模型的Logit偏差。 預設值為空的字典。	否

輸出

API	傳回類型	描述
完成	字串	一個預測完成的文字
聊天	字串	交談的其中一個回應文字

使用 LLM 工具

1. 設定並選取 OpenAI 資源的連線或標準部署。
2. 設定大型語言模型 API 及其參數。
3. 使用 指引準備提示。