モデルのパフォーマンスと公平性

  • [アーティクル]

この記事では、Azure Machine Learning におけるモデルのパフォーマンスと公平性を理解するために使用できる方法について説明します。

機械学習の公平性とは

人工知能および機械学習システムでは、不公平な動作が示されることがあります。 不公平な動作を定義する方法の 1 つに、それによる人への危害や影響があります。 AI システムは、さまざまな種類の危害を発生させる可能性があります。 詳細については、Kate Crawford による NeurIPS 2017 基調講演に関するページを参照してください。

AI によって発生する 2 つの一般的な種類の危害を次に示します。

  • 割り当ての害: AI システムによって、特定のグループの機会、リソース、または情報が増減されます。 たとえば、雇用、入学許可、融資などで、特定のグループの人が、他のグループより、適切な候補としてモデルで選択されやすくなる場合があります。

  • サービス品質の害: AI システムによる対応のよさが、ユーザーのグループによって異なります。 たとえば、音声認識システムでは、女性に対する対応が男性より悪くなる場合があります。

AI システムの不公平な動作を減らすには、これらの害を評価し、軽減する必要があります。 責任ある AI ダッシュボードの "モデルの概要" コンポーネントは、データセット全体、および識別されたデータのコーホートに対してモデル パフォーマンス メトリックを生成することで、モデル ライフサイクルの識別段階に貢献します。 センシティブ特徴またはセンシティブ属性の観点から識別されたサブグループ全体に対して、これらのメトリックが生成されます。

注意

公平性は、社会技術に関する課題です。 定量的な公平性のメトリックでは、正当性や適正手続きなど、公平性の多くの側面がキャプチャされません。 また、多くの定量的な公平性のメトリックをすべて同時に満たすことはできません。

Fairlearn オープンソース パッケージの目的は、人間が影響と軽減策を評価できるようにすることです。 最終的には、AI モデルと機械学習モデルを構築する人間が、シナリオに適した妥協点を見つけることになります。

この責任ある AI ダッシュボードのコンポーネントでは、公平性は、"グループ公平性" と呼ばれるアプローチによって概念化されます。 このアプローチでは、"損害が発生するリスクがあるのはどのグループか" と質問されます。"センシティブ特徴" という用語は、グループの公平性を評価するときに、システム デザイナーがこれらの特徴に敏感でなければならないことを示しています。

評価段階では、公平性は "不均衡メトリック" によって定量化されます。 これらのメトリックでは、比率または相違として、グループ間のモデルの動作を評価および比較できます。 責任ある AI ダッシュボードでは、2 つのクラスの不均衡メトリックがサポートされています。

  • モデルのパフォーマンスにおける不均衡: これらのメトリックのセットでは、データのサブグループ間での、選択されたパフォーマンス メトリックの値の不均衡 (差異) が計算されます。 次に例をいくつか示します。

    • 正解率の不均衡
    • エラー率の不均衡
    • 精度の不均衡
    • リコールの不均衡
    • 平均絶対誤差 (MAE) の不均衡

  • 選択率における不均衡: このメトリックには、サブグループ間での選択率 (好意的な予測) の差が含まれます。 この例としては、ローン承認率の不均衡があります。 選択率とは、各クラスで 1 として分類されるデータ ポイントの割合 (二項分類)、または予測値の分散 (回帰) を意味します。

このコンポーネントの公平性評価機能は、Fairlearn パッケージから取得されます。 Fairlearn は、モデルの公平性評価メトリックと不公平軽減アルゴリズムのコレクションを提供します。

Note

公平性の評価は純粋に技術的な行為ではありません。 Fairlearn オープンソース パッケージはモデルの公平性を評価するのに役立つ定量的なメトリックを特定できますが、ユーザーの代わりに評価を実行しません。 独自のモデルの公平性を評価するには、定性分析を実行する必要があります。 前述のセンシティブ特徴は、このような定性分析の一例です。

不公平性を軽減するための不均衡の制約

モデルの公平性に関する問題を理解したら、Fairlearn オープンソース パッケージの軽減アルゴリズムを使用して、これらの問題を軽減できます。 これらのアルゴリズムでは、不均衡の制約または条件と呼ばれる、予測の動作に対する一連の制約がサポートされています。

不均衡の制約では、予測動作の一部の側面が、センシティブ特徴で定義されるグループ (異なる人種など) の間で同等であることが要求されます。 Fairlearn オープンソース パッケージの軽減アルゴリズムでは、このような不均衡の制約を使用して、監視対象の公平性の問題が軽減されます。

注意

Fairlearn オープンソース パッケージの不公平性の軽減アルゴリズムでは、機械学習モデルの不公平性を削減するための推奨される軽減策を提供できますが、これらの対策は不公平性を排除するものではありません。 開発者は、機械学習モデルの他の不均衡の制約または条件を考慮する必要がある場合があります。 Azure Machine Learning を使用する開発者は、その軽減策によって、対象となる機械学習モデルの使用およびデプロイでの不公平性が十分に削減されるかどうかを自分で判断する必要があります。

Fairlearn パッケージでは、次の種類の不均衡の制約がサポートされています。

不均衡の制約 目的 機械学習タスク
人口統計の不均衡 割り当ての害を軽減する 二項分類、回帰
均等な確率 割り当てとサービス品質の害を診断する 二項分類
機会均等 割り当てとサービス品質の害を診断する 二項分類
境界グループの損失 サービス品質の害を軽減する 回帰

軽減アルゴリズム

Fairlearn オープンソース パッケージには、2 種類の不公平性軽減アルゴリズムが含まれています。

  • 削減: これらのアルゴリズムでは、標準のブラックボックス機械学習推定器 (LightGBM モデルなど) が利用され、一連の再重み付けされたトレーニング データセットを使用して、再トレーニングされたモデルのセットが生成されます。

    たとえば、特定の性別の応募者について、重みを加減してモデルが再トレーニングされ、性別グループ間での格差が削減されます。 その後、ユーザーはビジネス ルールとコストの計算に基づいて、精度 (または他のパフォーマンス メトリック) と不均衡の間で最適なトレードオフを提供するモデルを選択できます。

  • 後処理: これらのアルゴリズムは、既存の分類子と微妙な特徴を入力として受け取ります。 その後、分類子の予測の変換を導出して、指定された公平性の制約を適用します。 後処理アルゴリズムの 1 つである、しきい値の最適化の最大の利点は、モデルを再トレーニングする必要がないことによる、シンプルさと柔軟性です。

アルゴリズム 説明 機械学習タスク 微妙な特徴 サポートされる不均衡の制約 アルゴリズムの種類
ExponentiatedGradient 「公平な分類のための削減アプローチ」で説明されている公平な分類のためのブラックボックス アプローチ。 二項分類 Categorical 人口統計の不均衡、均等な確率 削減
GridSearch 「公平な分類のための削減アプローチ」で説明されているブラックボックス アプローチ。 二項分類 Binary 人口統計の不均衡、均等な確率 削減
GridSearch 境界グループの損失に対するアルゴリズムを使用する公正回帰のグリッド検索バリエーションを実装するブラックボックス アプローチ (「公正回帰: 定量的な定義と削減に基づくアルゴリズム」)。 回帰 Binary 境界グループの損失 削減
ThresholdOptimizer ホワイトペーパー「教師あり学習での機会の均等性」に基づく後処理アルゴリズム。 この手法は、既存の分類子と機密センシティブ特徴を入力として受け取ります。 その後、指定された不均衡の制約を適用するために、分類子の予測の単調な変換を導出します。 二項分類 Categorical 人口統計の不均衡、均等な確率 後処理

次のステップ