本文說明 Microsoft 365 Copilot 微調專家 Q&A 工作微調的一些最常見問題,以及如何進行疑難解答。
注意事項
Copilot Tuning 目前適用於早期 Access 預覽版 (EAP) 。 如需需求和註冊方式的詳細資訊,請參閱 系統管理指南。
聯機到我的內容來源時,我收到許可權或存取錯誤
存取或許可權遭拒錯誤通常表示您的帳戶沒有該數據源的許可權。 請確定您具有內容存放庫的適當許可權。 例如,如果您要新增 SharePoint 網站,請向 SharePoint 系統管理員確認您的帳戶 (或您所屬的群組) 可以存取該網站或文檔庫。 如果微調程式使用安全組進行訪問控制,請先確定已設定正確的安全組,而且您的用戶帳戶已包含在其中,然後再重試作業。
我已建立微調的Q&A 模型,但當我嘗試將它新增至 Copilot 代理程式時並未顯示
如果您在設定宣告式代理程式時,新定型的模型未列在選取下拉式清單中,您可能會有許可權問題。 此模型與安全組或存取原則相關聯,而且您的帳戶可能未包含在內。 請確定模型建立期間使用的安全組包含您的帳戶 (或建置代理程式) 的人員帳戶。 您可能需要要求 IT 系統管理員將您新增至該群組,或使用您所屬的群組重新建立模型。 當您的許可權已修正時,微調模型應該會顯示為可供選取。
當我按兩下 [準備數據以進行定型] 時,不會出現任何標籤介面或數據
某些微調案例不需要手動標記數據。 在 Q&微調管線中,如果系統在準備後未顯示任何要標記的數據,表示系統會針對您的案例自動略過該步驟。 換句話說,並非所有配方都需要加上標籤階段。 您可以繼續進行程式的下一個步驟。 (如果您預期有卷標步驟但未取得標籤驟,系統可能判斷沒有要標記的專案,這在某些 Q&A 工作是正常的。)
數據處理階段需要很長的時間
數據準備或定型階段可能需要相當多的時間,視您的內容大小而定。 此階段一般需要數小時的時間,特別是當您提供大型檔集合時。 您應該會收到通知 (例如,處理完成時) 電子郵件。 如果您尚未收到通知,請耐心等候,這可能表示程式仍在執行中。 如果已超過數小時,請檢查您的垃圾郵件或垃圾郵件資料夾,以確定通知未被誤填。 您也可以手動重新整理或重新流覽微調頁面。 處理完成時,站臺上的狀態會指出數據已就緒或下一個步驟可供使用。
我未收到數據處理完成的電子郵件通知
請仔細檢查您的電子郵件垃圾郵件或垃圾郵件資料夾,以取得有關微調程式已完成的訊息。 有時候,可以篩選掉自動化通知。如果您找不到電子郵件,別擔心,您不需要電子郵件即可繼續。 返回 到微調介面,並檢查模型在該處的狀態。 如果準備步驟完成,介面會顯示您的數據已準備好進行下一個步驟 (例如,準備好進行評估或準備好定型) 。 此時,即使沒有電子郵件,您也可以繼續微調工作流程。
微調程式會在 (中停止或失敗,無論是否出現錯誤狀態)
如果定型/微調程序失敗或停止回應,而沒有清楚的錯誤訊息,系統可能尚未提供意見反應。 目前的系統有有限的錯誤處理,因此有時候可能只是停止而沒有特定的錯誤碼或說明。
若要進行疑難解答:
- 重試程式 - 在某些情況下,重新執行微調程式或從最後一個步驟重新啟動,可以解決暫時性問題。
- 請確定已正確設定任何設定,然後再試一次。
- 檢查已知問題 - 查看是否有記錄或顯示任何錯誤訊息。 如果您發現錯誤碼,請遵循與該錯誤碼相關聯的指引。 檔或論壇可能會有特定錯誤的其他資訊。
如果問題持續發生,請連絡支持人員。
我的評估 (測試) 數據集傳回空白,或者我看到 0 Q&為評估而產生的配對
空的評估檔案通常表示系統無法從您的內容產生任何 Q&A 範例。 其中一個常見原因是您提供的內容集合太小或沒有可用的數據。 模型沒有足夠的材質可建立 Q&A 範例。
若要解決此問題:
- 確認您的知識源內容 - 再次檢查您選取的檔案或資料來源是否包含您預期的資訊。 如果內容存放庫是空的或太有限,請新增更多相關文件,然後重新執行微調程式。
- 再次執行程式 - 確定內容已就緒之後,請再次嘗試準備數據或微調步驟。 這次,它可能會產生一組 Q&A 配對以供評估。
- 如果仍然空白,請尋求協助 - 如果您仍然取得空的評估或空的訓練集,可能會有根本問題。 請連絡支援人員以取得協助。 它們可能會檢查是否有任何篩選規則或錯誤導致捨棄您的數據。 在少數情況下,嚴格篩選或所有內容超出範圍可能會導致沒有數據;支援可協助識別是否發生這種情況。
模型定型已完成,但 其提供的答案似乎有點異常或無關 (「令人困擾」)
如果您微調的 Q&模型的響應沒有意義,或似乎與您的領域無關,則問題通常是訓練數據質量或數量。 模型只能執行它所定型的數據。 以下是針對「異常」或低品質模型輸出進行疑難解答的步驟:
- 確定有足夠的定型數據:檢查您提供的知識源是否有足夠的實用內容。 如果您的內容集合非常小或空白,則模型基本上可能未定型任何專案,因此實際上會產生「Vanilla」或卺性模型[1]。 請確定您包含足夠的檔或 Q&A 組,涵蓋您預期模型處理的主題。
- 提供相關數據:如果模型的答案是非主題,則您的部分訓練檔可能不符合預期的網域。 例如,如果您要建置財務 Q&Bot,但所提供的內容大多是泛型或不相關,則模型將沒有正確的知識。 將您的內容精簡為與預期問題更相關。
- 改善後重新定型:新增更多或更好的數據之後,請再次執行微調程式。 改善數據集通常會導致答案品質的直接改善。
如果您已完成上述動作,且模型的答案仍然不正確或不一致,請考慮連絡以支援。 微調管線本身可能有邊緣案例問題。 但在大部分情況下,強化定型數據 (或調整工作指示) 應該會大幅改善模型的回應。
模型的評估答案看起來不錯,但代理程式的答案並不理想
這是已知的行為。 微調模型在隔離評估中可能會有良好的效能,但如果代理程式設定未完全延續模型的細微差別,則部署的代理程序行為可能會不同。 特別是,代理程式可能需要額外的指示,才能有效地使用模型。 若要解決此問題:
- 比較評估與代理程序輸出 - 識別遺漏或不同的專案。 例如,評估答案可能有您喜歡的友善、感同理的語調,但代理程式的答案會感覺更一般或簡潔。
- 調整代理程式的指示 - 在代理程式產生器中,新增或精簡代理程式的系統指示或提示。 強化您想要在評估階段看到的品質。 例如,新增「以同理語調回應」或「如果有的話,請包含詳細步驟」的指示。
- 再次測試 - 更新指示之後,請使用相同的問題測試代理程式。 答案應該更貼近微調模型的預期行為。 此代理程式的反覆調整有時是取得最佳結果的必要專案。 微調的模型提供知識,以及代理程式的指示會塑造該知識的表達方式。
我的 Q&A 代理程式的答案仍然不是我預期的答案
如果您發現整體答案品質不符,您可能需要進一步調整微調設定。 請考慮下列步驟:
- 改善或增加定型數據 - 確定用於微調的數據集對於問題領域而言是高品質、相關且完整的。 可能的話,請新增更多涵蓋您預期查詢範圍的範例或檔。 更豐富的數據集可以大幅改善模型的精確度。
- 精簡初始設定 - 在模型設定期間,您可能會提供一些初始指示,或填寫窗體 (有時稱為領域和工作) 的問卷。 重新瀏覽這些輸入。 編輯或精簡工作描述和設定,以更妥善地引導模型。 例如,如果您發現模型的答案太高,請確定指示指定所需的深度或內容。
- 提供清楚的範例 - 如果系統允許,請提供範例 Q&A 組或進一步指引。 一些微調程式可讓您檢閱或標記數據。 利用這個機會來教導模型正確的答案外觀。
- 反覆和測試 - 微調通常是反覆的程式。 進行變更之後,如果) 支援,請重新定型 (或部分定型,然後再次測試 Q&A 代理程式。 漸漸地,您可以聚合更好的效能。 請記住,開放式或極為複雜的問題可能永遠是一項挑戰,但目標是要讓大多數預期的查詢獲得妥善解答。
Q&Copilot 的一些答案沒有任何引文
在目前的系統版本中,並非每個答案都會包含引文,即使它從您的內容提取資訊也一般。 Q&微調管線適用於擷取 - 當答案直接來自使用RAG擷取元件 (擷取檔) 時,系統會顯示引文連結。 不過,如果答案來自微調模型本身的知識 (例如,在定型期間所學到的不是來自檔) 的直接引述,它可能會在不附加來源引文的情況下回應。 這是預期的行為。
引文的存在通常是一個不錯的徵兆,表示答案使用了您在運行時間提供的檔。 缺少引文不一定表示答案錯誤;這可能只是表示答案是從模型的內部知識所產生,或是問題不需要擷取檔。
例如,如果您認為答案應該有引文 (,它似乎會引用您) 提供的檔,但不會顯示任何引文,請確認您的知識源在代理程式執行期間已正確連線。 代理程式可能會從微調模型回應,而不是實際檔。
請記住,在某些情況下,沒有引文的答案並不罕見。 您一律可以手動搜尋來源內容來驗證重要資訊,如果您覺得有問題遺漏引文或不正確,請使用工具中的意見反應機制,讓開發人員知道 (例如,回報錯誤的答案) 。
相關內容
如果您需要支援或想要提供意見反應,請參閱 Copilot 調整常見問題。