模型微調概念

模型微調是使用預訓練模型並調整使其更適合您的數據的過程。 此程式可協助您充分利用數據,並改善模型的效能。 在本文中,您將瞭解微調的基本概念,並了解什麼時候對 AI 模型進行微調是合適的。

介紹

微調是一種功能強大的技術,可協助您充分利用數據。 為了瞭解微調,先了解轉移學習的概念是很重要的。 「轉移學習」是一種機器學習技術,其中在一個任務上訓練的模型會用於第二個相關任務上。 這是藉由採用預先定型的模型並加以調整,以更符合新的數據來完成。 微調是一種傳輸學習形式,預先定型的模型會調整為更符合新數據。

微調模型有數個步驟。 首先,您必須選取適合您工作的預先定型模型。 接下來,您必須準備範例數據,並微調此數據上的模型。 最後,您需要反覆運算模型以改善其效能。

微調時機

微調適合您有少量數據且想要改善模型效能的時間。 從預先定型的模型開始,您可以利用模型已經學習的知識,並加以調整,以更符合您的數據。 這可協助您改善模型的效能,並減少定型所需的數據量。

當您有大量數據時,通常不需要微調模型。 在此情況下,您可以從頭開始定型模型,並在不微調的情況下達到良好的效能。 不過,如果您想要進一步改善模型的效能,微調仍然很有用。 如果您有某個與預訓練模型最初訓練的任務不同的特定任務,您可能也會想要調整模型。

您可以使用提示工程或提示鏈結來避免模型的昂貴微調。 這些技術可協助您產生高品質的文字,而不需要微調。

選取預先定型的模型

您應該選取適合您工作需求的預先定型模型。 有許多預先定型的模型,這些模型已針對各種工作進行定型。 您應該選擇一個已經針對類似任務進行訓練的模型。 這可協助您運用模型已學習的知識,並加以調整,以更符合您的數據。

HuggingFace 模型是在尋找預先定型模型時的好起點。 HuggingFace 模型會根據其定型的工作分組為類別,讓您輕鬆找到適合您工作的模型。

這些類別包括:

  • 多模態
  • 計算機視覺
  • 自然語言處理
  • 音訊
  • 表格式的
  • 增強式學習

檢查模型與您的環境和您使用的工具的相容性。 例如,如果您使用 Visual Studio Code,您可以使用 Azure Machine Learning 延伸模組來微調模型 Visual Studio Code

檢查模型的狀態和授權。 某些預先定型的模型可能以開放原始碼授權提供,而其他模型可能需要商業或個人授權才能使用。 HuggingFace 上的所有模型都包含授權資訊。 在微調模型之前,請確定您有使用模型的必要許可權。

準備範例數據

準備樣本數據涉及清理與預處理您的數據,使其適合訓練。 您也應該將數據分割成定型和驗證集,以評估模型的效能。 數據的格式應該符合您使用的預先定型模型所預期的格式。 您可以在模型卡 指令格式 區段中,找到 HuggingFace 上的模型。 大部分的模型卡片都會包含用於構建模型提示的範本,以及一些伪代码,以協助您開始使用。

在模型上反覆運算

微調模型之後,您應該評估其在驗證集上的效能。 您可以使用精確度、精確度、召回率和 F1 分數等計量來評估模型的效能。 如果模型性能不令人滿意,可以通過調整超參數、改變結構或在更多數據上微調來迭代改進模型。 您也可以檢查數據的品質和多樣性,以查看是否有需要解決的問題。 一般情況下,較小的高品質數據集比一組較大型的低質量數據更有價值。

另請參閱

若要深入瞭解微調 AI 模型,請參閱下列資源:

使用 AI 功能時,建議您檢閱:在 Windows上開發負責任的產生式 AI 應用程式和功能。

注意:作者透過 AI 的協助創作了這篇文章。 深入了解