有數種技術可用來調整預先定型的語言模型，以因應特定工作或領域的需求。 其中包括提示工程、RAG (擷取擴增生成) 和微調。 這三者並非互斥的技術，而是結合使用的互補方法，可套用至特定使用案例。 在本文中，我們將探索這些技術、說明使用案例、考量事項，並提供資源連結讓您深入了解並開始使用各項技術。
提示工程
定義
提示工程是一項結合藝術與科學的技術，涉及設計生成式 AI 模型的提示。 此程序會使用情境中學習 (零樣本和小樣本) 與反覆運算來改善回應的正確性和相關性，將模型的效能最佳化。
說明使用案例
在注重環保的公司任職的行銷經理，可以利用提示工程來引導模型產生更符合其品牌調性與風格的描述。 例如，他們可以在輸入中新增如下的提示：「為一系列新推出的環保清潔產品撰寫強調品質、有效性，並凸顯使用了環保成分的產品描述」。 這有助於模型產生合乎其品牌價值和訊息傳遞的描述。
考量的事項
提示工程是從生成式 AI 模型產生所需輸出的起點。
制定明確的指示：指示通常在提示中用來引導模型的行為。 指示應具體，並盡可能減少可供解釋的空間。 請使用類比和描述性語言，協助模型理解您所需的結果。
實驗和反覆運算：提示工程是一種需要實驗和反覆運算的藝術。 請透過練習取得為不同工作制定提示的經驗。 每個模型的行為可能不盡相同，因此請務必相應調整提示詞設計技術。
入門
RAG (擷取擴增生成)
定義
RAG (擷取擴增生成) 是一項將外部資料整合至大型語言模型提示以產生相關回應的方法。 根據不同主題使用大量非結構化文字時，此方法尤有效用。 它可讓答案貼近組織的知識庫 (KB)，而提供更加個人化且精準的回應。
RAG 在基於組織的私人資料來回答問題時，或在模型所訓練的公用資料可能已過時的情況下，也有優勢。 這有助於確保回應一律是最新且相關的，無論資料環境有何變更。
說明使用案例
公司的人力資源部門希望提供一個智慧型助理來回答特定的員工健康保險相關問題，例如「眼鏡是否在承保範圍內？」RAG 可用來擷取與保險計劃原則相關聯的各種不同文件，以便回答這些特定類型的問題。
考量的事項
RAG 有助於使 AI 輸出以現實世界的數據為依據，並降低捏造事實的可能性。
在需要根據私人專屬資料回答問題時，RAG 會很有幫助。
如果您需要獲得最近的問題答案（例如，在模型版本上次訓練的截止日期之前），RAG 會很有幫助。
入門
微調
定義
微調 (在此情境下具體來說是受監督的微調) 是一個反覆的程序，可將現有的大型語言模型調整為提供的訓練集，以改善效能、教導模型新技能，或降低延遲。 當模型需要就特定主題進行學習和一般化時，就會使用此方法，特別是在這些主題的範圍較小時。
微調需要使用高品質的定型資料 (採用以特殊範例為基礎的格式)，以建立新的微調大型語言模型。 藉由聚焦於特定主題，微調可讓模型在這些焦點領域提供更精確且相關的回應。
說明使用案例
IT 部門過去均使用 GPT-4o 將自然語言查詢轉換為 SQL，但他們發現回應未必能可靠地根據其結構描述產生，且成本非常高。
他們以數百個要求和正確的回應微調 GPT-4o mini，並產生了效能優於基本模型，且成本和延遲都較低的模型。
考量的事項
微調屬於進階功能，可藉由截止日期後的知識和/或領域特定知識來強化 LLM。 考慮使用此選項之前，請先根據標準模型的需求評估其基準效能。
必須具有無需微調的效能基準，才能了解微調是否改善了模型效能。 使用不正確的資料微調會使基底模型變得更糟，但如果沒有基準，則很難偵測回歸。
微調的良好使用案例包括引導模型以特定和自訂的樣式、語氣或格式輸出內容，或引導模型所需的資訊太長或太複雜而無法放入提示視窗中的工作。
微調成本：
微調可以在兩個方面降低成本：(1) 根據任務使用較少的標記 (2) 使用較小的模型（例如，經過微調的 GPT-4o mini，可能在特定任務上達到與 GPT-4o 相同的品質）。
微調具有定型模型的預付成本。 此外，還有自訂模型部署後每小時的額外託管成本。