分享方式：

檢視預測計分模型的正確性和效能

  • 文章

了解預測計分模型的正確性有助於判斷模型是否已就緒可供使用，或是否需要微調以獲得更高正確性。 這也能協助您說服領導團隊和賣家採用此模型來改善業務成果。

本文所述的計量適用於商機評分和潛在客戶評分。

授權和角色需求

需求類型 您必須有
授權 Dynamics 365 Sales Premium 或 Dynamics 365 Sales Enterprise
其他資訊：Dynamics 365 Sales 定價
資訊安全角色 系統管理員
其他資訊：預先定義 Sales 的資訊安全角色

影響正確性的因素

預測計分模型可計算商機或潛在客戶會產生銷售的可能性。 模型的正確性視下列因素而定：

  • 可用於訓練模型的資料品質與數量
  • 您選取的商務程序流程和篩選條件
  • 選取的階段和屬性 (如果模型使用每一階段模型)

此模型使用訓練資料集中 80% 的已關閉商機或潛在客戶進行訓練。 剩餘的 20% 用來做為進行驗證的測試資料集，其中包含最近的記錄。 模型的正確性會根據確判為真、誤判為真等參數使用已驗證的測試資料集來計算。

檢視正確性和效能計量

  1. 移至銷售中心應用程式左下角的變更區域，然後選取 Sales Insights 設定。

  2. 在網站地圖的預測模型底下，選取商機評分或潛在客戶評分。

  3. 在選取模型清單中，選取模型。

  4. 選取效能索引標籤。

    顯示模型正確性量的「效能」索引標籤螢幕擷取畫面

效能索引標籤會顯示下列計量。 如果在效能索引標籤中看不到任何計量，請編輯並重新訓練商機評分模型。

  • 模型效能：指定模型是否已準備好根據下列參數進行發佈：

    • 正確性：模型做出正確預測 (陽性或陰性) 的頻率。 此計量在資料集平衡時最有用，而且誤判為真與誤判為假的代價都相同。 正確度分數是使用下列公式計算：

      正確性 = (TP + TN) / (已評分商機或潛在客戶的總數) * 100

    • 重新叫用率：與實際為真結果相比，模型正確預測為真結果的頻率。 重新叫用分數低表示模型預測確判為真的情況較少。 重新叫用分數是使用下列公式計算：

      重新叫用 = TP / (TP + FN) * 100

    • 轉換率：根據歷史資料獲授與資格或成交之商機或潛在客戶的百分比，或是商機或潛在客戶將轉換的可能性。 模型使用此值來判斷屬性影響預測評分的情形。 轉換率是使用下列公式計算：

      轉換率 = (TP + FN) / (已評分商機或潛在客戶的總數) * 100

  • 混淆矩陣：根據歷史資料測試模型時，此模型預測結果的表現情形。 矩陣會顯示確判為真、確判為假、誤判為真和誤判為假的數目。

    計量 預測 實際
    真陽性 (TP) .是 .是
    真陰性 (TN) 無 無
    偽陽性 (FP) .是 無
    偽陰性 (FN) 無 .是

  • 曲線下面積：顯示模型的曲線下面積 (AUC) 分數。 AUC 分數可判斷模型會將隨機選擇結果為真實例 (成交的商機或獲授與資格的潛在客戶) 的排名列為高於隨機選擇結果為假實例 (未成交的商機或取消資格的潛在客戶) 的可能性。 AUC 較高的模型在預測確判為真和確判為假時的效果會更好。

  • F1 分數：根據模型的正確度分數和重新叫用分數計算得出的 F1 分數。 即使資料不平衡，F1 分數也能判斷模型的品質。

  • 閾值：定義將潛在客戶或商機視為已獲授與資格/已成交的閾值。 例如，如果閾值為 45，則會將分數大於 45 的商機預測為已成交。 選取閾值以最佳化 F1 分數。

範例：模型效能計量

我們現在來看對於有 1,000 個商機的範例資料集的預測結果：

資料​​ 商機數目
確判為真 650
誤判為真 200
誤判為真 100
誤判為假 50

模型將 850 個 (TP + FP) 商機預測為已成交；不過，只有 650 個 (TP) 商機實際成交。 同樣的，模型預測 150 個 (TN + FN) 商機為未成交，但實際只有 100 個 (TN) 商機未成交。

下表顯示資料的計量。

計量 分數
準確率 (650 + 100) / 1,000 = 75%
重新叫用 650 / (650 + 50) = 92%
轉換率 (650 + 50) / 1,000 = 70%

改善模型效能

如果模型未準備好進行發佈或無法正常運作，請嘗試下列步驟來改善其分數。

  • 檢閱其中使用的屬性。
  • 檢視屬性深入解析，以了解其對模型整體預測的影響。
  • 對於空白值百分比較高且可能導致誤判為真或誤判為假的屬性，忽略空白值。
  • 加入 智慧欄位，以協助潛在客戶評分模型區別改善或減損分數的因素。
  • 在商機評分模型中使用每一階段模型，以選擇要套用至每個商務程序階段的屬性。
  • 縮小篩選準則搜尋範圍、縮短訓練資料的時間段，或精簡其他模型設定。 例如，如果您已選擇時段期間為兩年的訓練資料，但該段期間的測試記錄或錯誤記錄太多，請選擇資料品質更好的較短時段期間，例如六個月或一年。

找不到應用程式中的選項嗎？

有三種可能性：

  • 您沒有必要的 授權或角色。
  • 您的系統管理員並未開啟該功能。
  • 您的組織正在使用自訂應用程式。 確切步驟請洽詢您的系統管理員。 本文章中所述的步驟係專用於銷售中心和 Sales Professional 等現成應用程式。

另請參閱

設定預測潛在客戶評分
設定預測商機評分