探索 LLM 評估
評估大型語言模型需要瞭解其獨特的特性和挑戰。 LLM 評估引進與傳統機器學習評估方法不同的複雜度。
這些 LLM 特定的評估挑戰會影響您選擇評估方法及實作評估策略的方式。
探索評估指標
LLM 評估著重於呈現獨特測量挑戰的語言品質維度。 當您評估文字產生時，您不僅會評估正確性，而且評估一致性、創造力和內容適當性。
複雜性來自語言的主觀本質。 良好的寫作會根據受眾、目的和情境而有所不同。 技術說明需要精確和清晰，而創意內容可能會優先處理原創性和情感影響。 由於 LLM 必須處理此變異性，因此您的評估方法必須同時考慮多個質量維度。
不同於在簡單的分類任務中，您可以根據已知標籤來評估準確性，語言生成則會產生開放式的輸出，其中多個回應可能同樣合理。 此實境可塑造您設計評估架構及解譯結果的方式。
為了解決這些挑戰，LLM 評估通常會結合數種互補方法。 下列各節會探索實作有效 LLM 評估的重要評估策略和考慮。
包括人工評估
評估語言品質時，人類評估會變得必要，因為自動化計量可能會遺漏讓文字生效的細微層面。 某些指標可以告訴您參考文字的表面層級相似性，但無法判斷您的 LLM 回應在內容中是否合理或自然地呈現。
請考慮一個可以產生技術上精確但表現機械化回應的客服機器人。 自動化計量可能會為這些回應評分很高，但人工評估會識別出音調看起來很冷且不友善。 人類的判斷可以幫助您理解 LLM 所產生的內容不僅正確，還適合其預期的受眾和用途。
人類評估的挑戰在於有效地調整規模，同時維持一致性。 您需要明確的評估準則和訓練有素的評估員，但您也需要在人類洞察的深度與時間和成本的實際限制之間取得平衡。
探索模型的可解譯性
LLM 可解譯性是指您了解並說明模型產生特定輸出的原因。 LLM 通常被視為「黑匣子」，其中特定輸出背後的推理難以辨別。 缺乏透明度會使評估複雜化，因為提供明確解釋 LLM 產生特定回應或做出特定預測是一項挑戰。
這個黑匣子性質表示您無法輕易地追蹤模型如何得出其結論。 當 LLM 撰寫創意故事或回答技術問題時，內部決策程式牽涉到數百萬個參數，以無法直接解譯的方式一起運作。 您可能會知道模型所產生的內容，但了解為何選擇這些特定單字、特定語氣或推理方法仍然不透明。
此解釋性的不足會影響到建立使用者的信任以及偵錯非預期的輸出，使其成為您評估策略中的一個重要因素。
評估各種情境之間的泛化
泛化是指模型在訓練過程中未見過的數據或任務上執行良好的能力，而不僅僅是記住特定的例子。 對於 LLM，良好的一般化表示模型可以處理新的主題、撰寫樣式，以及使用案例，超出其特別訓練的內容。
請考慮以技術支援交談為主訓練的客戶服務 LLM。 良好的適應能力表示，當客戶詢問帳單、使用非正式語言或需要不同產品的協助時，它可以進行調整。 較差的一般化會體現在模型的表現上，例如對簡單問題給出過於技術性的回應，或無法理解其訓練領域以外的請求。
評估一般化有助於確保您的 LLM 在實際應用程式中遇到的各種案例中仍然很有用。
使用 MLflow 實作評估
Azure Databricks 整合 MLflow 以支援 LLM 評估工作流程。 您可以使用 MLflow 來追蹤實驗、記錄評估計量、比較模型效能，以及管理評估數據集。 此平臺將評估功能與其他 Azure Databricks 功能整合，讓您能夠有系統地逐一查看及改善 LLM 應用程式。