在 Studio UI 中產生負責任 AI 深入解析

發行項
03/22/2024

在本文中，您可以在 Azure Machine Learning 工作室 UI 中，以無程式碼體驗建立負責任 AI 儀表板和計分卡 (預覽)。

重要

此功能目前處於公開預覽。此預覽版本沒有服務等級協定，不建議用於處理生產工作負載。可能不支援特定功能，或可能已經限制功能。

若要存取儀表板產生精靈並產生負責任 AI 儀表板，請執行下列動作：

在 Azure Machine Learning 中註冊您的模型，才能存取無程式碼體驗。
在 Azure Machine Learning 工作室的左側窗格中，選取 [模型] 索引標籤。
選取您要為其建立負責任 AI 深入解析的已註冊模型，並選取 [詳細資料] 索引標籤。
選取 [建立負責任 AI 儀表板 (預覽)]。

若要深入了解負責任 AI 儀表板中支援的模型類型和限制，請參閱支援的案例和限制。

精靈提供可輸入所有必要參數的介面，不需要使用程式碼即可建立您的負責任 AI 儀表板。整個體驗完全在 Azure Machine Learning 工作室的 UI 中進行。工作室會使用引導式流程和指示性文字，以協助情境化您想填入儀表板之負責任 AI 元件的各種選擇。

本精靈分成五個部分：

定型資料集
測試資料集
模型化工作
儀表板元件
元件參數
實驗設定

選取您的資料集

在前兩個區段中，您會選取定型模型時所使用的定型和測試資料集，以產生模型偵錯深入解析。對於像原因分析這類不需要模型的元件，您可以使用定型資料集定型原因模型，來產生原因深入解析。

注意

僅支援 ML 資料表中的表格式資料集格式。

選取要定型的資料集：在 Azure Machine Learning 工作區中已註冊資料集的清單中，選取您要用來為元件產生負責任 AI 見解的資料集，例如模型說明和錯誤分析。
選取要測試的資料集：在已註冊的資料集清單中，選取您要用來填入負責任 AI 儀表板視覺效果的資料集。
如果未列出您想使用的定型或測試資料集，請選取 [建立] 將其上傳。

選擇您的模型化工作

挑選資料集之後，請選取您的模型工作類型，如下圖所示：

選取儀表板元件

負責任 AI 儀表板會針對您可以產生的建議工具集提供兩個設定檔：

模型偵錯：使用錯誤分析、反事實假設狀況範例和模型解釋性，了解和偵錯機器學習模型中的錯誤資料世代。
實際操作：使用原因分析來了解和偵錯機器學習模型中的錯誤資料世代。

注意

多重分類不支援實際操作分析設定檔。

選取您要使用的設定檔。
選取 [下一步]。

設定儀表板元件的參數

選取設定檔之後，會隨即出現對應元件的 [模型偵錯的元件參數] 設定窗格。

模型偵錯的元件參數：

目標功能 (必要)：指定模型已定型預測的功能。
類別特徵：指出哪些特徵是類別，以在儀表板 UI 中正確轉譯為類別值。此欄位會根據資料集中繼資料為您預先載入。
產生錯誤樹狀結構與熱度圖：開啟和關閉以產生負責任 AI 儀表板的錯誤分析元件。
錯誤熱度圖的特徵：最多可選取兩個所需的特徵，來預先產生想要的錯誤熱度圖。
進階設定：指定其他參數，例如 錯誤樹狀結構的最大深度、錯誤樹狀結構中的分葉數目，以及每個分葉節點的最小樣本數目。
產生反事實假設狀況範例：開啟和關閉以產生負責任 AI 儀表板的反事實假設狀況元件。
反事實數目 (必要)：指定您想要為每個資料點產生的反事實範例數目。至少應該產生 10 個，以便透過橫條圖檢視平均而言最常受到擾動的特徵，以達成所需的預測。
值預測的範圍 (必要) ：針對迴歸案例指定您希望反事實範例具有預測值的範圍。針對二元分類案例，範圍會自動設為針對每個資料點的相反類別產生反事實。針對多重分類案例，請使用下拉式清單來指定每個資料點要預測為何種類別。
指定要擾動的特徵：根據預設，所有特徵都會受到擾動。不過，如果您只想要擾動特定特徵，請選取 [指定要擾動哪些特徵來產生反事實說明]，以顯示具有可選取特徵清單的窗格。

當選取 [指定要擾動的特徵] 時，您可以指定允許擾動的範圍。例如：針對 YOE (經驗年數) 特徵，指定反事實應該只具有介於 10 到 21 的特徵值，而不是預設值的 5 到 21。
產生說明：開啟和關閉以產生負責任 AI 儀表板的模型說明元件。不需要任何設定，因為預設的不透明方塊模仿解譯器將會用於產生特徵重要度。

另一方面，如果選取了 [實際操作] 設定檔，則會看到下列畫面產生原因分析。這有助於您了解針對想「處理」的特徵，在您想最佳化的特定結果上所具有的因果效應。

實際操作的元件參數會使用原因分析。執行下列操作：

目標功能 (必要) ：選擇想要計算因果關係的結果。
處理特徵 (必要)：選擇想要變更 (「處理」) 的一或多個特徵，以將目標結果最佳化。
類別特徵：指出哪些特徵是類別，以在儀表板 UI 中正確轉譯為類別值。此欄位會根據資料集中繼資料為您預先載入。
進階設定：為您的原因分析指定其他參數，例如異質特徵 (也就是除了處理特徵外，在您的分析中用來了解原因分割的其他特徵)，以及想要使用的原因模型。

設定您的實驗

最後，將您的實驗設定為開始作業，以產生您的負責任 AI 儀表板。

在 [定型作業] 或 [實驗設定] 窗格上，執行下列動作：

名稱：為儀表板指定唯一名稱，以便在檢視指定模型的儀表板清單時加以區分。
實驗名稱：選取要執行作業的現有實驗，或建立新的實驗。
現有實驗：在下拉式清單中，選取現有的實驗。
選取計算類型：指定想要用來執行作業的計算類型。
選取計算：在下拉式清單中，選取您要使用的計算。如果沒有現有的計算資源，請選取加號 (+)，以建立新的計算資源並重新整理清單。
說明：為負責任 AI 儀表板新增更詳細的說明。
標籤：新增任何標籤至此負責任 AI 儀表板。

完成實驗設定之後，請選取 [建立] 以開始產生負責任 AI 儀表板。系統會將您重新導向至實驗頁面，以追蹤作業的進度。作業完成後，作業頁面中會有連結通往產生的負責任 AI 儀表板。

若要了解如何檢視和使用負責任 AI 儀表板，請參閱在 Azure Machine Learning 工作室中使用負責任 AI 儀表板。

如何產生負責任 AI 計分卡 (預覽)

建立儀表板之後，您可以在 Azure Machine Learning 工作室中使用無程式碼 UI 來自訂和產生負責任 AI 計分卡。這可讓您與非技術和技術專案關係人共用負責任模型部署的重要深入解析，例如公平性和特徵重要度。如同建立儀表板，您可以使用下列步驟來存取計分卡產生精靈：

從 Azure Machine Learning 工作室的左側導覽列瀏覽至 [模型] 索引標籤。
選取您要為其建立計分卡的已註冊模型，並選取 [負責任 AI] 索引標籤。
從頂端面板中選取 [建立負責任 AI 深入解析 (預覽)]，然後選取 [產生新的 PDF 計分卡]。

精靈可讓您直接自訂 PDF 計分卡，而無須修改程式碼。體驗會完全在 Azure Machine Learning 工作室 UI 中進行，以利將各種 UI 選擇情境化，而引導式流程和指示文字可協助您選擇想要填入計分卡的元件。此精靈分成七個步驟，另有一個步驟 (公平性評定) 只會針對具有類別功能的模型顯示：

PDF 計分卡摘要
模型效能
工具選取
資料分析 (先前稱為資料總管)
原因分析
可解譯性
實驗設定
公平性評定 (僅限於類別功能存在時)

設定計分卡

首先，輸入計分卡的描述性標題。您也可以輸入關於模型功能的選擇性描述、已定型和評估的資料、架構類型等等。
[模型效能] 區段可讓您在計分卡中倂入業界標準模型評估計量，並且可讓您為選取的計量設定所需的目標值。使用下拉式清單，選取您所需的效能計量 (最多三個) 和目標值。
「工具選取」步驟可讓您選擇要包含在計分卡中的後續元件。核取 [包括於計分卡中] 可納入所有元件，或者，您可以個別核取/取消核取各個元件。選取元件旁的資訊圖示 (有圓圈的 "i")，可深入了解各個選項。
「資料分析」區段 (先前稱為資料總管) 可啟用世代分析。在此處，您可以識別代表性過度和代表性不足的問題，探索資料在資料集中叢集化的情形，以及模型預測對於特定資料世代有何影響。請使用下拉式清單中的核取方塊選取您感興趣的功能，以識別模型在其基礎世代下的效能。
「公平性評定」區段有助於評估哪些群組的人員可能會受到機器學習模型預測的負面影響。此區段有兩個欄位。
- 敏感性特徵：優先考量您想要探索和比較的子群組 (最多 20 個)，藉以識別您選擇的敏感性屬性 (例如年齡、性別)。
- 公平性計量：選取您的設定適用的公平性計量 (例如精確度差異、錯誤率比例)，並識別您選取的公平性計量所需的目標值。您選取的公平性計量 (搭配您透過切換選取的差異或比例) 將會擷取子群組中極端值之間的差異或比例。 (max - min 或 max/min)。
注意

公平性評定目前僅適用於類別敏感性屬性，例如性別。
「原因分析」區段會回答有關於處理方式的改變對於實際結果有何影響的實際「假設性」問題。如果您要為其產生計分卡的負責任 AI 儀表板中啟用了因果元件，則不需要其他設定。
「可解釋性」區段會產生人類可理解的描述，以用於機器學習模型所做的預測。使用模型說明，可以了解模型做出決策背後的原因。選取下方的數字 (K)，可查看對整體模型預測有影響的前 K 個重要特徵。 K 的預設值為 10。
最後，設定您的實驗並展開作業，以產生您的計分卡。這些設定與負責任 AI 儀表板的設定相同。
最後，檢閱您的設定，然後選取 [建立] 展開作業！

展開作業後，系統即會將您重新導向至實驗頁面，以追蹤作業的進度。若要了解如何檢視和使用負責任 AI 計分卡，請參閱使用負責任 AI 計分卡 (預覽)。