開啟模型 LLM 工具

Open Model LLM 工具可讓您利用各種開放式模型和基礎模型，例如獵鷹和 Llama 2，在 Azure 機器學習 提示流程中處理自然語言。

以下是 Visual Studio Code 提示流程延伸模組上的外觀。 在此範例中，此工具正用來呼叫 LlaMa-2 聊天端點，並詢問「什麼是 CI？」。

此提示流程工具支援兩種不同的 LLM API 型態：

• 聊天：如上述範例所示。 聊天 API 類型可透過文字型輸入和回應，促進互動式交談。
• 完成：完成 API 類型是用來根據提供的提示輸入來產生單一回應文字完成。

快速概觀：如何? 使用開放式模型 LLM 工具？

1. 從 Azure 機器學習 模型目錄選擇模型，並加以部署。
2. 連線 模型部署。
3. 設定開啟的模型 llm 工具設定。
4. 準備提示。
5. 執行流程。

必要條件：模型部署

• 從 Azure 機器學習 模型目錄挑選符合您案例的模型。
• 使用 [部署] 按鈕將模型部署至 Azure 機器學習 在線推斷端點。
  • 使用其中一個隨用隨付部署選項。

若要深入瞭解，請參閱 將基礎模型部署至端點以進行推斷。

必要條件：連線 模型

若要讓提示流程使用已部署的模型，您必須連線到該模型。 有兩種方式可以連線。

端點連線

一旦您的流程與 Azure 機器學習 或 Azure AI Studio 工作區相關聯，Open Model LLM 工具就可以使用該工作區上的端點。

• 使用 Azure 機器學習 或 Azure AI Studio 工作區：如果您使用其中一個網頁型瀏覽器工作區中的提示流程，該工作區上會自動啟動的在線端點。

• 先使用 VS Code 或程式代碼：如果您在 VS Code 或其中一個 Code First 供應專案中使用提示流程，則必須連線到工作區。 Open Model LLM 工具會使用 azure.identity DefaultAzureCredential 用戶端進行授權。 其中一種方式是 設定環境認證值。

自定義連線

Open Model LLM 工具會使用 Custom 連線 ion。 提示流程支援兩種類型的連線：

• 工作區連線 - 連線 儲存為 Azure 機器學習 工作區上的秘密。 雖然可以使用這些連線，但在許多地方，通常會在 Studio UI 中建立和維護 。 若要瞭解如何在 Studio UI 中建立自定義連線，請參閱 如何建立自定義連線。

• 本機連線 - 連線 儲存在本機電腦上的 。 這些連線無法在 Studio UX 中使用，但可與 VS Code 擴充功能搭配使用。 若要瞭解如何建立本機自定義 連線，請參閱如何建立本機連線。

要設定的必要金鑰如下：

• endpoint_url
  • 此值可在先前建立的推斷端點中找到。
• endpoint_api_key
  • 確定將它設定為秘密值。
  • 此值可在先前建立的推斷端點中找到。
• model_family
  • 支援的值：LLAMA、DOLLY、GPT2 或 FALCON
  • 此值取決於您的目標部署類型。

執行工具：輸入

Open Model LLM 工具有許多參數，其中有些是必要參數。 如需詳細資訊，請參閱下表，您可以比對這些參數與上述螢幕快照，以取得視覺效果的清晰性。

名稱	類型​​	描述	必要
api	string	相依於使用的模型和所選案例的 API 模式。 支援的值：（完成 |聊天）	Yes
endpoint_name	string	在線推斷端點的名稱，其上已部署支援的模型。 優先於連線。	Yes
溫度	float	產生的文字隨機性。 預設為 1。	No
max_new_tokens	整數	完成時要產生的令牌數目上限。 預設值為 500。	No
top_p	float	從產生的令牌使用最上層選擇的機率。 預設為 1。	No
model_kwargs	字典	此輸入是用來提供所使用模型專屬的組態。 例如，Llama-02 模型可能會使用 {“temperature”：0.4}。 預設： {}	No
deployment_name	string	要以在線推斷端點為目標的部署名稱。 如果未傳遞任何值，則會使用推斷負載平衡器流量設定。	No
prompt	string	語言模型用來產生其回應的文字提示。	Yes

輸出

API	傳回類型	描述
Completion	string	一個預測完成的文字
聊天	string	交談中一個回應的文字

部署至在線端點

當您將包含開放式模型 LLM 工具的流程部署到在線端點時，有額外的步驟可設定許可權。 在透過網頁進行部署期間，系統指派和使用者指派的身分識別類型之間有選擇。 無論哪種方式，使用 Azure 入口網站（或類似的功能），將「讀取者」作業函式角色新增至裝載端點的 Azure 機器學習 工作區或 Ai Studio 專案上的身分識別。 提示流程部署可能需要重新整理。