Azure AI Studio 中流程的 LLM 工具

重要

本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

若要使用大型語言模型 (LLM) 來進行自然語言處理，您可以使用提示流程 LLM 工具。

注意

如需將文字轉換成各種自然語言處理工作的密集向量表示法的內嵌，請參閱 內嵌工具。

必要條件

根據提示工具文件中所述的内容來準備提示。 LLM 工具和提示工具都支援 Jinja 範本。 如需詳細資訊和最佳做法，請參閱提示工程技術。

使用 LLM 工具建置

1. 在 Azure AI Studio 中建立或開啟流程。 如需詳細資訊，請參閱 建立流程。

2. 選取 [+ LLM] 以將 LLM 工具新增至您的流程。

   

3. 選取您其中一個已佈建資源的連線。 例如，選取 [Default_AzureOpenAI]。

4. 從 [API] 下拉式清單中，選取 [聊天] 或 [完成]。

5. 輸入 LLM 內嵌工具輸入參數的值，如文字完成 Inputs 資料表中所述。 如果您選取聊天 API，請參閱聊天 Inputs 資料表。 如果您選取了完成 API，請參閱文字完成 Inputs 資料表。 如需如何準備提示輸入的資訊，請參閱必要條件。

6. 視需要將更多工具新增至您的流程。 或選取 [執行] 以執行流程。

7. 輸出會在 Outputs 資料表中描述。

輸入

以下是可用的輸入參數。

文字完成輸入

名稱	類型​​	描述	必要
Prompt	字串	語言模型的文字提示。	Yes
模型，deployment_name	字串	要使用的語言模型。	Yes
max_tokens	整數	完成時要產生的權杖數目上限。 預設值為 16。	No
溫度	float	所產生文字的隨機性。 預設為 1。	No
停止	清單	所產生文字的停止序列。 預設為 Null。	No
尾碼	字串	附加至完成結尾的文字。	No
top_p	float	從產生的權杖使用最上層選擇的機率。 預設為 1。	No
logprobs	整數	要產生的記錄機率數目。 預設為 Null。	No
echo	boolean	指示是否在回應中回顯提示的值。 預設為 False。	No
presence_penalty	float	控制模型的重複片語之行為的值。 預設值為 0。	No
frequency_penalty	float	控制模型關於產生罕見片語之行為的值。 預設值為 0。	No
best_of	整數	要產生的最佳完成次數。 預設為 1。	No
logit_bias	字典	語言模型的 logit 偏差。 預設值是空白字典。	No

聊天輸入

名稱	類型​​	描述	必要
Prompt	字串	語言模型應回覆的文字提示。	Yes
模型，deployment_name	字串	要使用的語言模型。	Yes
max_tokens	整數	回覆中要產生的權杖數目上限。 預設為 inf。	No
溫度	float	所產生文字的隨機性。 預設為 1。	No
停止	清單	所產生文字的停止序列。 預設為 Null。	No
top_p	float	從產生的權杖使用最上層選擇的機率。 預設為 1。	No
presence_penalty	float	控制模型的重複片語之行為的值。 預設值為 0。	No
frequency_penalty	float	控制模型關於產生罕見片語之行為的值。 預設值為 0。	No
logit_bias	字典	語言模型的 logit 偏差。 預設值是空白字典。	No

輸出

輸出會根據您為輸入選取的 API 而有所不同。

API	傳回類型	描述
Completion	字串	一個預測完成的文字。
聊天	字串	交談的一個回應文字。

下一步

• 深入了解如何建立流程