監視分類模型的公平性和偏差

重要

這項功能處於 公開預覽狀態。

透過 Databricks Lakehouse 監視，您可以監視分類模型的預測，以查看模型是否在與不同群組相關聯的資料上執行類似。 例如，您可以調查貸款預設分類器是否為來自不同人口統計的申請者產生相同的誤判率。

使用公平性和偏差計量

若要監視公平性和偏差，您可以建立布林配量運算式。 評估為 True 的配量運算式所定義的群組會被視為受保護的群組 (，也就是您要檢查是否有) 偏差的群組。 例如，如果您建立 slicing_exprs=["age < 25"] ，則由 slice_key = 「age 25」 識別的配量，並 Trueslice_value = 被視為受保護的群組，而以 slice_key = 「age << 25」 slice_value = False 識別的配量則視為未受保護的群組。

此監視器會自動計算計量，以比較群組之間的分類模型效能。 設定檔計量資料表中會報告下列計量：

• predictive_parity，它會比較模型在群組之間的精確度。
• predictive_equality，它會比較群組之間的誤判率。
• equal_opportunity，可測量兩個群組的標籤預測是否同樣良好。
• statistical_parity，測量群組之間預測結果的差異。

只有在分析類型為 且 problem_typeclassification 為 InferenceLog 時，才會計算這些計量。

如需這些計量的定義，請參閱下列參考：

• 機器學習中公平性的維琪百科文章： https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• Fairness Definitions Explained， Verma andRubin， 2018

公平性和偏差計量輸出

如需這些計量的詳細資料，以及如何在計量資料表中檢視這些計量的詳細資訊，請參閱 API 參考 。 所有公平性和偏差計量都會共用相同的資料類型，如下所示，以「一對全」方式，顯示以「一對全」方式計算的所有預測類別的公平性分數作為索引鍵/值組。

您可以在這些計量上建立警示。 例如，當公平性計量超過某個閾值時，模型的擁有者可以設定警示，然後將該警示路由傳送給待命人員或小組進行調查。