Share via

機器學習 - 評估

  • 發行項

重要

Machine Learning 工作室 (傳統) 的支援將於 2024 年 8 月 31 日結束。 建議您在該日期之前轉換成 Azure Machine Learning。

自 2021 年 12 月 1 日起，您將無法建立新的 Machine Learning 工作室 (傳統) 資源。 在 2024 年 8 月 31 日之前，您可以繼續使用現有的 Machine Learning 工作室 (傳統) 資源。

ML 工作室 (傳統) 文件即將淘汰，未來將不再更新。

本文說明 機器學習 Studio (傳統) 中可用來評估機器學習模型的模組。 模型評估 會在定型完成之後執行，以測量預測的正確性並評估模型大小。

注意

適用于：僅限機器學習 Studio (傳統)

Azure Machine Learning設計工具提供類似的拖放模組。

本文也會說明機器學習 Studio (傳統) 建立、定型、評估和評分的整體程式。

在 機器學習 Studio 中建立和使用機器學習模型 (傳統)

機器學習的一般工作流程包含下列階段：

  1. 選擇適當的演算法並設定初始選項。
  2. 使用相容的資料來定型模型。
  3. 使用以模型中模式為基礎的新資料來建立預測。
  4. 評估模型，以判斷預測是否正確、錯誤數量，以及是否發生過度學習。

機器學習 Studio (傳統) 支援適用于機器學習的彈性可自訂架構。 此程式中的每個工作都是由特定類型的模組執行。 您可以修改、新增或移除模組，而不會中斷其餘實驗。

使用此類別中的模組來評估現有的模型。 模型評估通常需要某種的結果資料集。 如果您沒有評估資料集，您可以透過評分來產生結果。 您也可以使用測試資料集，或包含「基礎真」或已知預期結果的其他一組資料。

深入瞭解模型評估

一般而言，評估模型時，您的選項取決於您正在評估的模型類型，以及您想要使用的計量。 這些主題列出一些最常使用的計量：

機器學習 Studio (傳統) 也會根據您使用的模型類型，以及模型所預測的類別數目，提供各種不同的視覺效果。 如需尋找這些視覺效果的說明，請參閱 檢視評估計量。

解譯這些統計資料通常需要進一步瞭解模型定型的特定演算法。 如需如何評估模型，以及如何解譯針對每個量值傳回的值，請參閱如何評估機器學習中的模型效能。

模組清單

機器學習 - 評估類別包含下列模組：

  • 交叉驗證模型：透過資料分割來交叉驗證分類或回歸模型的參數估計值。

    如果您想要測試定型集和模型的有效性，請使用 交叉驗證模型 模組。 交叉驗證會將資料分割成折迭，然後在折迭的組合上測試多個模型。

  • 評估模型：使用標準計量來評估評分分類或回歸模型。

    在大部分情況下，您將使用一般 評估模型 模組。 如果您的模型是以其中一種支援的分類或回歸演算法為基礎，這特別正確。

  • 評估推薦：評估推薦模型預測的正確性。

    針對建議模型，請使用 評估推薦模組 。

  • 針對叢集模型，請使用 [將資料指派給叢集] 模組。 然後，使用該課程模組中的視覺效果來查看評估結果。
  • 您可以建立自訂評估計量。 若要建立自訂評估計量，請在 執行 R 腳本 模組中提供 R 程式碼，或在 執行 Python 腳本 模組中提供 Python 程式碼。 如果您想要使用作為開放原始碼程式庫一部分發布的計量，或想要設計自己的計量來測量模型精確度，這個選項會很方便。

範例

解譯機器學習模型評估的結果是一種藝術。 除了資料和商務問題之外，還需要瞭解數學結果。 建議您檢閱這些文章，以取得如何解譯不同案例結果的說明：

技術說明

本節包含實作詳細資料、提示和常見問題集的解答。

檢視評估計量

瞭解在 機器學習 Studio (傳統) 中尋找每個模型類型的計量圖表的位置。

雙類別分類模型

二元分類模型的預設檢視包括互動式 ROC 圖表，以及主體計量的值資料表。

An interactive ROC chart and a table of values for the principal metrics in binary classification models

您有兩個選項可用來檢視二進位分類模型：

  • 以滑鼠右鍵按一下模組輸出，然後選取 [ 視覺化]。
  • 以滑鼠右鍵按一下模組，選取 [評估結果]，然後選取 [ 視覺化]。

您也可以使用滑杆來變更機率 臨界 值。 臨界值會判斷結果是否應該接受為 true。 然後，您可以看到這些值如何變更。

多類別分類模型

多類別分類模型的預設計量檢視包括所有類別的混淆矩陣，以及整個模型的一組計量。

您有兩個選項可用來檢視多類別分類模型：

  • 以滑鼠右鍵按一下模組輸出，然後選取 [ 視覺化]。
  • 以滑鼠右鍵按一下模組，選取 [評估結果]，然後選取 [ 視覺化]。

為了簡單起見，以下是並排顯示的兩個結果：

Metrics table and Confusion Matrix for multiclass classification models

迴歸模型

回歸模型的計量檢視會根據您所建立的模型類型而有所不同。 計量檢視是以基礎演算法介面為基礎，以及最適合模型計量的檢視。

您有兩個選項可用來檢視回歸模型：

  • 若要檢視資料表中的精確度計量，請以滑鼠右鍵按一下 評估模型 模組的輸出，然後選取 [ 視覺化]。
  • 若要使用值檢視錯誤長條圖，請以滑鼠右鍵按一下模組，選取 [評估結果]，然後選取 [ 視覺化]。

Error Histogram and Metrics table for linear regression models

[錯誤長條圖] 檢視可協助您瞭解錯誤分佈方式。 它針對下列模型類型提供，並包含預設計量的資料表，例如根平均平方誤差 (RMSE) 。

下列回歸模型會產生預設計量的資料表，以及一些自訂計量：

用於處理資料的提示

若要從 機器學習 Studio (傳統) UI 擷取數位，您可以使用新的 PowerShell 程式庫進行機器學習。 您可以取得整個實驗的中繼資料和其他資訊，或從個別課程模組取得。

若要從 評估模型 模組擷取值，您必須將唯一的批註新增至模組，以方便識別。 然後，使用 Download-AmlExperimentNodeOutput Cmdlet 從 JSON 格式的視覺效果取得計量及其值。

如需詳細資訊，請參閱 使用 PowerShell 建立機器學習模型。

另請參閱