在 Azure Machine Learning 工作室中使用負責任 AI 儀表板

負責任 AI 儀表板會連結至已註冊的模型。 若要檢視您的負責任 AI 儀表板，請移至您的模型登錄，然後選取您已為其產生負責任 AI 儀表板的已註冊模型。 接著選取 [負責任 AI] 索引標籤，檢視產生的儀表板清單。

您可以設定多個儀表板，並將其附加至已註冊的模型。 有多種組合的元件 (可解譯性、錯誤分析、原因分析等) 可以附加至每個負責任 AI 儀表板。 下圖顯示儀表板的自訂內容，以及從其中所產生的元件。 在每個儀表板中，您可以檢視或隱藏儀表板 UI 本身中的各種元件。

選取儀表板的名稱，以在您的瀏覽器中開啟其完整檢視。 若要返回儀表板清單，您可以隨時選取 [回到模型詳細資料]。

包含整合式計算資源的完整功能

負責任 AI 儀表板的某些功能需要動態、快速和即時的計算 (例如，假設狀況分析)。 除非將計算資源連線到儀表板，否則您可能會發現某些功能遺漏。 當您連線到計算資源時，便是為您的負責任 AI 儀表板啟用了下列元件的完整功能：

• 錯誤分析
  • 將您的全域資料世代設為任何感興趣的世代，將會更新錯誤樹狀目錄，而非停用錯誤樹狀目錄。
  • 支援選取其他錯誤或效能計量。
  • 支援選取任何功能子集以訓練錯誤樹狀圖。
  • 支援變更每個分葉節點所需的最小樣本數和錯誤樹狀結構深度。
  • 支援動態更新最多兩個特徵的熱度圖。
• 特徵重要度
  • 支援在 [個別特徵重要性] 索引標籤中繪製的個別條件式預期 (ICE)。
• 反事實假設
  • 產生新的假設狀況反事實資料點，以了解支援預期結果所需的最小變更。
• 原因分析
  • 選取任何個別的資料點、擾動其處理特徵，並查看受支援之假設結果的預期結果 (僅適用於迴歸機器學習案例)。

您也可以選取資訊圖示，在 [負責任 AI 儀表板] 分頁上找到此資訊，如下圖所示：

啟用負責任 AI 儀表板的完整功能

1. 在儀表板頂端的 [計算] 下拉式清單中選取執行中的計算執行個體。 如果您沒有執行中的計算，請選取下拉式清單旁的加號 (+) 來建立新的計算執行個體。 或者，您可以選取 [啟動計算] 按鈕來啟動已停止的計算執行個體。 建立或啟動計算執行個體可能需要幾分鐘。

   

2. 當計算處於「執行中」狀態時，您的負責任 AI 儀表板就會開始連線到計算執行個體。 為了達成此目的，系統會在選取的計算執行個體上建立終端流程，並在此終端機上啟動負責任 AI 端點。 選取 [檢視終端機輸出] 以檢視目前的終端流程。

   

3. 當您的負責任 AI 儀表板連線到計算執行個體時，您會看到綠色訊息列，而儀表板現在已完全正常運作。

   

4. 如果過程花上一段時間，而您的負責任 AI 儀表板仍然未連線到計算執行個體，或顯示紅色錯誤訊息列，則表示啟動負責任 AI 端點時發生問題。 選取 [檢視終端機輸出]，然後向下捲動至底部以檢視錯誤訊息。

   

   如果您難以解決「無法連線到計算執行個體」的問題，請選取右上方的笑臉圖示。 請提交意見反應給我們，以了解您遇到的任何錯誤或問題。 您可以在意見反應表單中包含螢幕擷取畫面和電子郵件地址。

負責任 AI 儀表板的 UI 概觀

負責任 AI 儀表板包含一套健全且豐富的視覺效果和功能，可協助您分析機器學習模型，或制定資料驅動的商務決策：

• 全域控制項
• 錯誤分析
• 模型概觀和公平性計量
• 資料分析
• 特徵重要度 (模型說明)
• 反事實假設
• 原因分析

全域控制

在儀表板頂端，您可以建立世代 (即共用指定特性的資料點子群組)，將分析焦點放在每個元件上。 目前套用至儀表板的世代名稱一律會顯示在儀表板的左上方。 儀表板中的預設檢視為整個資料集，標題為[所有資料 (預設)]。

1. 世代設定：可讓您在側邊面板中檢視和修改每個世代的詳細資料。
2. 儀表板設定：可讓您在側邊面板中檢視和修改整體儀表板的配置。
3. 切換世代：可讓您選取不同的世代，並在快顯視窗中檢視其統計資料。
4. 新世代：可讓您建立新的世代，並將其新增至儀表板。

選取 [世代設定] 會開啟包含世代清單的面板，您可以在其中建立、編輯、複製或刪除世代。

選取儀表板頂端或 [世代設定] 中的 [新世代]，以開啟新的面板，其中包含可篩選下列項目的選項：

1. 索引：依資料點在完整資料集的位置進行篩選。
2. 資料集：依資料集中特定特徵的值進行篩選。
3. 預測的 Y：依模型所做的預測值進行篩選。
4. 實際的 Y：依目標特徵的實際值進行篩選。
5. 錯誤 (迴歸)：依錯誤篩選 (或分類結果 (分類)：依類型和分類正確度篩選)。
6. 類別值：依應包含的值清單進行篩選。
7. 數值：依布林值運算篩選值 (例如，選取年齡 < 64 歲的資料點)。

您可以命名新的資料集世代，選取 [新增篩選條件] 以新增您想要使用的每個篩選條件，然後執行下列其中一項：

• 選取 [儲存] 以將新的世代儲存到您的世代清單。
• 選取 [儲存並切換] 以儲存並立即將儀表板的全域世代切換至新建立的世代。

選取 [儀表板設定] 以開啟面板，其中包含您在儀表板中設定的元件清單。 您可以選取垃圾桶圖示來隱藏儀表板上的元件，如下圖所示：

您可以透過各元件間分隔線上的藍色圓形加號 (+) 圖示，將元件加回儀表板，如下圖所示：

錯誤分析

下一節將說明如何解譯和使用錯誤樹狀圖和熱度圖。

錯誤樹狀圖

錯誤分析元件的第一個窗格是樹狀圖，此圖以樹狀結構視覺效果說明模型失敗是如何分佈在各個世代中。 選取任何節點，以查看發現錯誤的特徵預測路徑。

1. 熱度圖檢視：切換至錯誤分佈的熱度圖視覺效果。
2. 特徵清單：可讓您使用側邊面板修改熱度圖中使用的特徵。
3. 錯誤涵蓋範圍：顯示資料集中所有錯誤集中在所選節點的百分比。
4. 錯誤 (迴歸) 或錯誤率 (分類)：顯示所選節點中所有資料點的錯誤或失敗百分比。
5. 節點：代表資料集的世代，可能包含已套用的篩選，以及世代中所有資料點的錯誤數目。
6. 填滿線條：根據篩選，將資料點分佈視覺化為子世代，並透過線條粗細表示資料點數目。
7. 選取資訊：在側邊面板包含所選取節點的相關資訊。
8. 另存為新的世代：使用指定的篩選建立新的世代。
9. 基底世代中的執行個體：顯示整個資料集之中點的總數，以及正確和不正確的預測點數目。
10. 所選世代中的執行個體：顯示所選節點之中點的總數，以及正確和不正確的預測點數目。
11. 預測路徑 (篩選)：列出套用於完整資料集上以建立此較小世代的篩選條件。

選取 [特徵清單] 按鈕以開啟側邊面板，您可以從中重新定型特定特徵上的錯誤樹狀結構。

1. 搜尋特徵：可讓您搜尋資料集內的特定特徵。
2. 特徵：列出資料集中的特徵名稱。
3. 重要度：特徵與錯誤相關程度的指導方針。 計算會採用標籤上的特徵與錯誤之間的相互資訊分數。 您可以使用此分數來協助決定要在該錯誤分析中選擇哪些特徵。
4. 核取記號：可讓您從樹狀圖新增或移除特徵。
5. 最大深度：根據錯誤訓練的代理樹狀結構的最大深度。
6. 分葉數目：根據錯誤訓練的替代樹狀結構分葉數目。
7. 一個分葉中樣本數目的最小值：建立一個分葉所需的最小資料數目。

錯誤熱度圖

選取 [熱度圖] 索引標籤以切換至資料集內錯誤的其他檢視。 您可以選取一或多個熱度圖資料格，並建立新的世代。 您最多可以選擇兩個特徵來建立熱度圖。

1. 儲存格：顯示選取的儲存格數目。
2. 錯誤涵蓋範圍：顯示所選儲存格中所有錯誤的百分比。
3. 錯誤率：顯示所選儲存格中所有資料點的失敗百分比。
4. 軸特徵：選取要顯示在熱度圖中的特徵交集。
5. 儲存格：代表資料集的一個世代，並套用了篩選條件，以及該世代中所有資料點的錯誤百分比。 藍色外框表示已選取的儲存格，而紅色的深度代表失敗的集中度。
6. 預測路徑 (篩選)：列出套用至每個所選世代完整資料集上的篩選條件。

模型概觀和公平性計量

模型概觀元件提供一組完整的效能和公平性計量來評估模型，以及指定功能和資料集世代的重要效能差異計量。

資料集世代

在 [資料集世代] 窗格上，您可以比較各種使用者指定資料集世代的模型效能 (可透過儀表板右上角的世代設定圖示存取)，以藉此調查您的模型。

1. 協助我選擇計量：選取此圖示以開啟面板，其中會有哪些模型效能計量可在資料表中顯示的更多詳細資訊。 使用複選下拉式清單來選取及取消選取效能計量，輕鬆調整欲檢視的計量。
2. 顯示熱度圖：開啟和關閉以顯示或隱藏資料表中的熱度圖視覺效果。 熱度圖的漸層對應至各資料行中最低值與最高值之間的標準化範圍。
3. 每個資料集世代的計量資料表：檢視資料集世代資料行、每個世代的樣本大小，以及每個世代的所選模型效能計量。
4. 橫條圖將個別計量視覺化：檢視世代間的平均絕對誤差，以便輕鬆進行比較。
5. 選擇計量 (X 軸)：選取此按鈕以選擇在橫條圖中檢視的計量。
6. 選擇世代 (Y 軸)：選取此按鈕以選擇在橫條圖中檢視的世代。 除非您先在元件的 [功能世代] 索引標籤上指定您想要的功能，否則可能會停用功能世代的選取範圍。

選取 [協助我選擇計量]，以開啟具有模型效能計量清單及其定義的面板，協助您選取要檢視的正確計量。

機器學習案例	計量
迴歸	平均絕對誤差、平均平方誤差、R 平方、平均預測。
分類	正確度、精確度、重新叫用、F1 分數、誤判為真率、誤判為假率、選取範圍率。

特徵世代

在 [特徵世代] 窗格上，您可以比較使用者指定的敏感性/非敏感性特徵 (例如，各種性別、種族、收入水平世代的表現) 的模型效能，藉此進行模型調查。

1. 協助我選擇計量：選取此圖示以開啟面板，其中會有哪些計量可在資料表中顯示的更多詳細資訊。 使用複選下拉式清單，選取及取消選取效能計量，便能輕鬆調整欲檢視的計量。

2. 協助我選擇特徵：選取此圖示以開啟面板，其中會有哪些特徵可在資料表中顯示的更多詳細資訊，並提供各特徵的描述項和其量化功能 (請參閱下方)。 使用複選下拉式清單選取及取消選取特徵，輕鬆調整欲檢視的特徵。

   

3. 顯示熱度圖：開啟和關閉以查看熱度圖視覺效果。 熱度圖的漸層對應至各資料行中最低值與最高值之間的標準化範圍。

4. 各特徵世代的計量資料表：具有特徵世代 (所選特徵的子世代)、各世代的樣本大小，以及各特徵世代所選模型效能計量等資料行的資料表。

5. 公平性計量/差異計量：對應至計量資料表的資料表，顯示出任意兩個特徵世代之間效能分數的最大差異或最大比率。

6. 橫條圖將個別計量視覺化：檢視世代間的平均絕對誤差，以便輕鬆進行比較。

7. 選擇世代 (Y 軸)：選取此按鈕以選擇在橫條圖中檢視的世代。

   選取 [選擇世代] 後會開啟一個面板，其中包含一個選項，可依據其下方複選下拉式清單中選取的內容，顯示所選資料集世代或特徵世代的比較。 選取 [確認] 以儲存對橫條圖檢視的變更。

   

8. 選擇計量 (X 軸)：選取此按鈕以選擇在橫條圖中檢視的計量。

資料分析

使用資料分析元件時，[資料表檢視] 窗格會以資料表檢視畫面來顯示資料集的所有功能和資料列。

[圖表檢視] 面板會顯示資料點的匯總和個別繪圖。 您可以使用預測結果、資料集特徵和錯誤群組等篩選條件，沿著 X 軸和 Y 軸分析資料統計資料。 此檢視可協助您了解資料集中是否有代表性過高和不足。

1. 選取要探索的資料集世代：從世代清單中指定要檢視統計資料的資料集世代。

2. X 軸：顯示要水平繪製的數值型別。 選取按鈕以開啟側邊面板來修改值。

3. Y 軸：顯示要垂直繪製的數值型別。 選取按鈕以開啟側邊面板來修改值。

4. 圖表類型：指定圖表類型。 選擇彙總圖 (長條圖) 或個別資料點 (散佈圖)。

   選取 [圖表類型] 下的 [個別資料點] 選項，您可以移至具有可用色彩軸的資料分類式檢視。

功能重要性 (模型說明)

透過使用模型說明元件，您可以查看模型預測中最重要的特徵。 您可以在 [彙總特徵重要度] 窗格中檢視影響模型整體預測的特徵，或在 [個別特徵重要度] 窗格中檢視個別資料點的特徵重要度。

彙總特徵重要度 (全域解釋)

1. 前 K 個特徵：列出對預測而言最重要的全域特徵，並可讓您透過滑桿列加以變更。

2. 彙總特徵重要度：視覺化每個特徵在所有預測中影響模型決策的權重。

3. 排序依據：可讓您選取用於排序彙總特徵重要度圖表的世代重要度。

4. 圖表類型：您可以選擇使用每個特徵平均重要度的長條圖檢視，或是所有資料重要度的盒狀圖。

   當您在長條圖中選取其中一個特徵時，就會填入依存性圖，如下圖所示。 此依存性圖顯示特徵值與其對應特徵重要度值之間的關係，這影響了模型預測。

   

5. [特徵] (迴歸) 的特徵重要度或 [預測類別] (分類) 上 [特徵] 的特徵重要度：繪製一個特定特徵在整個預測中的重要度。 針對迴歸案例，重要度值是就輸出而言的，所以特徵重要度為正值時，表示其對輸出有正面的貢獻。 相反情況則適用於負值的特徵重要度。 針對分類案例，正值的特徵重要度表示特徵值對 Y 軸標題中所表示的預測類別有貢獻。 負值的特徵重要度表示其對預測類別的貢獻。

6. 檢視依存性圖：選取您想要繪製其重要度的特徵。

7. 選取資料集世代：選取您要繪製其重要度的世代。

個別特徵重要度 (本機解釋)

下圖說明特徵如何影響針對特定資料點所做的預測。 您最多可以選擇五個資料點來比較特徵重要度。

點選取資料表：檢視您的資料點，並選取最多五個點，以顯示在資料表下方的特徵重要度圖或 ICE 圖中。

特徵重要度圖：模型在所選資料點上預測每個特徵重要度的長條圖。

1. 前 K 個特徵：可讓您使用滑桿指定要顯示重要度的特徵數目。
2. 排序依據：可讓您選取點 (來自上面核取的內容)，在特徵重要度圖上以遞減順序顯示其特徵重要度。
3. 檢視絕對值：切換至依據絕對值排序長條圖。 這可讓您查看最具影響力的特徵，不論其為正面或負面。
4. 長條圖：顯示資料集中每個特徵對所選資料點模型預測的重要度。

個別條件式預期 (ICE) 圖：切換至 ICE 圖，顯示特定特徵值範圍內的模型預測。

• 最小值 (數值特徵)：指定 ICE 圖中預測範圍的下限。
• 最大值 (數值特徵)：指定 ICE 圖中預測範圍的上限。
• 步驟 (數值特徵)：指定要在間隔內顯示預測的點數目。
• 特徵值 (類別特徵)：指定要顯示預測的類別特徵值。
• 特徵：指定要進行預測的特徵。

反事實假設狀況

反事實分析提供一組不同的假設狀況範例，這些範例會小幅變更特徵值，藉此產生所需的預測類別 (分類) 或範圍 (迴歸)。

1. 點選取範圍：選取要建立反事實的點，並顯示在其下方排名最高的特徵圖。

   

   最高排名特徵圖：根據平均頻率以遞減順序顯示要擾動的特徵，以建立所需類別的不同反事實。 您必須為每個資料點產生至少 10 個不同的反事實，才能啟用此圖表，因為低於此數量的反事實正確度不足。

2. 選取的資料點：執行的動作與在資料表中點選取範圍相同，不過是透過下拉式功能表來執行。

3. 反事實所需的類別：指定要為產生反事實的類別或範圍。

4. 建立假設狀況反事實：開啟面板以建立反事實假設狀況資料點。

   選取 [建立假設狀況反事實] 按鈕以開啟完整視窗面板。

   

5. 搜尋特徵：尋找要觀察和變更值的特徵。

6. 依順位特徵排序反事實：依擾動效果順序來排序反事實範例。 (另請參閱 先前討論過的最高排名特徵圖。)

7. 反事實範例：列出具有所需類別或範圍的範例反事實特徵值。 第一個資料列是原始參考資料點。 選取 [設定值]，將底端資料列中反事實資料點的所有值，設為預先產生的反事實範例值。

8. 預測值或類別：針對這些變更特徵，列出反事實類別的模型預測。

9. 建立您自己的反事實：可讓您擾動自己的特徵來修改反事實。 從原始特徵值變更的特徵會以粗體標題表示 (例如，[雇主] 和 [程式設計語言])。 選取 [查看預測差異] 以檢視新預測值與原始資料點的差異。

10. 假設狀況反事實名稱：可讓您以為反事實進行獨特命名。

11. 另存為新資料點：儲存您已建立的反事實。

原因分析

下一節說明如何針對所選的使用者指定處理方式來讀取資料集的原因分析。

彙總因果關係

選取原因分析元件的 [彙總因果關係] 索引標籤，以顯示預先定義實驗特徵 (您想要將結果最佳化而處理的特徵) 的平均因果影響。

注意

因果分析元件不支援全域世代功能。

1. 直接彙總因果關係資料表：顯示彙總整個資料集每項特徵的因果關係，以及相關聯的信賴度統計資料。

   • 持續處理方式：在此範例中，平均而言，將此特徵增加一個單位會導致類別的機率增加 X 單位，其中 X 是因果關係。
   • 二進位處理方式：在此範例中，平均而言，開啟此特徵會導致類別的機率增加 X 單位，其中 X 是因果關係。

2. 直接彙總因果關係盒鬚圖：視覺化資料表內點的因果關係和信賴區間。

個別因果效果和因果假設狀況

若要取得個別資料點上因果關係的細微檢視，請切換至 [個別因果假設狀況] 索引標籤。

1. X 軸：選取要繪製在 X 軸上的特徵。
2. Y 軸：選取要繪製在 Y 軸上的特徵。
3. 個別因果散佈圖：將資料表中的點視覺化為散佈圖，藉此選取資料點以分析因果假設狀況，並檢視下方的個別因果關係。
4. 設定新的處理值：
   • (數值)：顯示一個滑桿以變更數值特徵的值，作為真實世界的介入。
   • (類別)：顯示一個下拉式清單以選取類別特徵的值。

處理原則

選取 [處理原則] 索引標籤會切換至檢視，以協助判斷真實世界的介入，並顯示可套用以達到特定結果的處理方式。

1. 設定處理特徵：選取要變更為真實世界介入的特徵。

2. 建議的全域處理原則：顯示對資料世代的建議介入做法，以改善目標特徵值。 資料表可以從左至右讀取，其中資料集的分割首先是資料列，然後是資料行。 例如，針對雇主非 Snapchat 且使用的程式設計語言不是 JavaScript的 658 位員工，建議的處理原則是增加 GitHub 存放庫貢獻的數目。

   替代原則的平均增益高於一律套用處理：在橫條圖中繪製目標特徵值，顯示上述建議處理原則與一律應用處理的結果平均增益。

   

   建議的個別處理原則：

   

3. 針對建議的處理特徵，顯示依因果關係排序的前 k 個資料點樣本：選取表格中要顯示的資料點數目。

4. 建議的個別處理原則資料表：依因果關係的遞減順序，列出其目標特徵會因為介入做法而獲得最大改善的資料點。

下一步

• 利用以 PDF 匯出負責任 AI 計分卡，摘要說明並分享您的負責任 AI 見解。
• 深入了解負責任 AI 儀表板背後的概念和技術。
• 檢視 YAML 和 Python 筆記本範例，以使用 YAML 或 Python 產生負責任 AI 儀表板。
• 透過此互動式 AI 實驗室網路示範，探索負責任 AI 儀表板的功能。
• 請參閱此技術社群部落格文章 (英文)，深入了解如何使用負責任 AI 儀表板與計分卡偵錯資料和模型，並為制定更佳決策而提供資訊。
• 了解英國國民健康服務 (NHS) 如何在真實生活客戶案例中使用負責任 AI 儀表板與計分卡。