Azure AI Studio 中的模型微調

重要

本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

當我們談論微調時，我們實際上意味著受監督的微調，而不是持續預先定型或人類意見反應增強式學習 (RLHF)。 受監督的微調是指在特定資料集上重新定型預先定型模型的程序，通常是為了提高模型在特定任務上的表現，或引入最初定型基底模型時未充分表示的資訊。

在本文中，您將了解微調是否為適合您指定使用案例的解決方案，以及 Azure AI Studio 如何支援微調需求。

開始使用微調

在確定微調是否為適合特定使用案例探索的解決方案時，熟悉一些重要詞彙會有所幫助：

• 提示工程是一種涉及為自然語言處理模型設計提示的技術。 此程序可改善回應的正確性和相關性，以及最佳化模型的效能。
• 擷取擴增生成 (RAG) 藉由從外部來源擷取資料並將其併入提示，以改善大型語言模型 (LLM) 效能。 RAG 可讓企業達成自訂解決方案，同時維持資料相關性並將成本最佳化。
• 微調使用範例資料重新定型現有的大型語言模型，進而產生使用所提供範例最佳化的新「自訂」大型語言模型。

微調是一種進階技術，需要專業知識才能適當地使用。 下列問題可協助您評估是否已準備好進行微調，以及您對整個程序的思考程度。 您可以使用這些方法來引導後續步驟，或確定其他可能更合適的方法。

為什麼要微調模型？

如果您符合以下條件，您可能已準備好進行微調：

• 您應該能夠清楚說明微調的特定使用案例，並識別您想要微調的模型。
• 微調的良好使用案例包括引導模型以特定和自訂的樣式、語氣或格式輸出內容，或引導模型所需的資訊太長或太複雜而無法放入提示視窗中的案例。
• 提供清晰的範例，說明您如何透過替代方法來處理挑戰，以及已經測試了哪些可能的解決方案來改善效能。
• 您已發現使用基底模型的缺點，例如邊緣情況下的效能不一致、無法在內容視窗中容納足夠的多範例提示來引導模型、高延遲等。

如果出現以下情況，您可能還沒有準備好進行微調：

• 來自模型或資料來源的知識不足。
• 無法尋找正確的資料來提供模型。
• 沒有明確的微調使用案例，或是除了「我想讓模型變得更好」之外無法表達得更清楚。
• 如果您將成本視為主要動機，請謹慎行事。 微調可能會藉由縮短提示或允許您使用較小的模型，來降低特定使用案例的成本，但前期的定型成本較高，而且您必須支付託管自身自訂模型的費用。 如需 Azure OpenAI 微調成本的詳細資訊，請參閱定價頁面。
• 如果您想為模型新增領域外的知識，您應該從擷取增強生成 (RAG) 開始，在資料或內嵌上使用 Azure OpenAI 等功能。 通常，根據使用案例和資料，這是一種更便宜、適應性更強且可能更有效率的選擇。

什麼情況不適用於替代方法？

了解提示工程的不足之處應該可以為您的微調提供指引。 基底模型是否因邊緣案例或例外狀況而失敗？ 基底模型是否始終無法以正確的格式提供輸出，並且您無法在內容視窗中容納足夠的範例來修正此問題？

基底模型和提示工程失敗的範例可協助您識別需要收集的資料以進行微調，以及應該如何評估微調模型。

以下是一個範例：客戶希望使用 GPT-3.5-Turbo 將自然語言問題轉換為特定非標準查詢語言的查詢。 他們在提示中提供了指引 (「一律傳回 GQL」) 並使用 RAG 擷取資料庫結構描述。 不過，語法不一定正確，而且在邊緣案例中通常會失敗。 他們收集了數千個自然語言問題範例，以及其資料庫的對等查詢，包括模型先前失敗的案例，並使用這些資料來微調模型。 將其新的微調模型與其設計提示和擷取相結合，使模型輸出的正確性達到可接受的使用標準。

到目前為止，你嘗試了什麼？

微調是一項進階功能，而不是您生成式 AI 旅程的起點。 您應該已經熟悉使用大型語言模型 (LLM) 的基本概念。 您應該從評估基底模型的效能開始，使用提示工程和/或擷取擴增生成 (RAG) 來取得效能的基準。

具有無需微調的效能基準，對於了解微調是否已改善模型效能而言，是不可或缺的。 使用不正確的資料微調會使基底模型變得更糟，但如果沒有基準，則很難偵測回歸。

如果您準備好進行微調：

• 應該能夠示範提示工程和 RAG 型方法的證據和知識。
• 能夠透過已針對您的使用案例嘗試過的微調以外的技術，來分享具體的經驗和挑戰。
• 需要盡可能對基準效能進行量化評估。

您可能還沒有準備好進行微調的常見情況：

• 從微調開始，不需要測試任何其他技術。
• 對於微調如何特別適用於大型語言模型（LLM）的知識或理解不足。
• 沒有基準量值來評估微調。

您要使用哪些資料來進行微調？

即使有絕佳的使用案例，微調的效果也取決於您能夠提供的資料品質。 您需要願意投入時間和精力來進行微調工作。 不同的模型需要不同的資料量，但您通常需要能夠提供相當大量的高品質精選資料。

另外一個重點是，即使資料品質很高，如果您的資料不是微調所需的格式，您也需要投入工程資源才能將資料正確格式化。 如需如何準備資料以進行微調的詳細資訊，請參閱微調文件。

如果您準備好進行微調：

• 已識別要進行微調的資料集。
• 資料集採用適合定型的格式。
• 已採用一定程度的管理以確保資料集品質。

您可能還沒有準備好進行微調的常見情況：

• 尚未識別資料集。
• 資料集格式不符合您想要微調的模型。

您要如何測量微調模型的品質？

這個問題沒有一個正確的答案，但您應該對成功微調有明確的目標。 在理想情況下，這不應該只是定性的，還應該包括成功的量化量值，例如利用保留的資料集進行驗證，以及使用者驗收測試或針對基底模型對微調模型進行 A/B 測試。

Azure AI Studio 中微調的支援模型

既然您已知道何時針對使用案例進行微調，您可以移至 Azure AI Studio 尋找可用於微調的多個模型，包括：

• Azure OpenAI 模型
• Llama 2 系列模型

Azure OpenAI 模型

Azure AI Studio 支援下列 Azure OpenAI 模型，以進行微調：

Model ID	微調區域	要求上限 (權杖)	訓練資料 (上限)
babbage-002	美國中北部 瑞典中部 瑞士西部	16,384	2021 年 9 月
davinci-002	美國中北部 瑞典中部 瑞士西部	16,384	2021 年 9 月
gpt-35-turbo (0613)	美國東部 2 美國中北部 瑞典中部 瑞士西部	4,096	2021 年 9 月
gpt-35-turbo (1106)	美國東部 2 美國中北部 瑞典中部 瑞士西部	輸入：16,385 輸出：4,096	2021 年 9 月
gpt-35-turbo (0125)	美國東部 2 美國中北部 瑞典中部 瑞士西部	16,385	2021 年 9 月
gpt-4 （0613） 1	美國中北部 瑞典中部	8192	2021 年 9 月

^{1 GPT-4 微調目前處於公開預覽狀態。 如需詳細資訊，請參閱我們的 GPT-4 微調安全性評估指引 。}

請注意，若要微調 Azure OpenAI 模型，您必須將具有支援區域的 Azure OpenAI 資源連線新增至您的專案。

Llama 2 系列模型

Azure AI Studio 支援下列 Llama 2 系列模型，以進行微調：

• Llama-2-70b
• Llama-2-7b
• Llama-2-13b

目前在美國西部 3 的專案支援微調 Llama 2 模型。

相關內容

• 了解如何在 Azure AI Studio 中微調 Azure OpenAI 模型
• 了解如何在 Azure AI Studio 中微調 Llama 2 模型