この記事では、Azure Machine Learning におけるモデルの解釈可能性に使用できるメソッドについて説明します。
モデルのデバッグにモデルの解釈可能性が重要である理由
人々の生活に影響を与えるようなやり方で機械学習モデルが使われている場合、何がモデルの動作に影響を与えるかを理解することが非常に重要です。 解釈可能性は、次のようなシナリオで質問に答えるのに役立ちます。
- モデルのデバッグ: モデルで誤りが発生したのはなぜですか? どのようにモデルを改善できますか?
- 人間と AI のコラボレーション: モデルの決定を理解し、信頼するにはどうすればよいですか?
- 規制コンプライアンス: モデルは法的要件を満たしていますか?
責任ある AI ダッシュボードの解釈可能性コンポーネントは、機械学習モデルの予測に関して人間が理解できる説明を生成することで、モデル ライフサイクル ワークフローの「診断」ステージに貢献します。 これによって、モデルの動作に複数の認識が与えられます。
- グローバルな説明: たとえば、ローン配賦モデルの全体的な動作に影響する特徴量は何ですか?
- ローカルな説明: たとえば、顧客のローン申請が承認または却下されたのはなぜですか?
また、データ ポイントのサブグループとして、選択したコーホートのモデルの説明を観察することもできます。 このアプローチは、たとえば、特定の人口統計グループの個人に対するモデル予測の公平性を評価するときに役に立ちます。 このコンポーネントの [ローカル説明] タブには、全般的なデータの把握と、各コーホートの正しい予測と正しくない予測の違いの調査に役立つ、完全なデータ可視化も表示されます。
このコンポーネントの機能は、モデルの説明を生成する InterpretML パッケージに基づいています。
次のことが必要なときは、解釈可能性を使用します。
- 予測に最も重要な特徴を理解することで、AI システムの予測がどの程度信頼できるかを判断します。
- 最初にモデルを理解し、モデルで正常な特徴量が使われているか、それとも単に誤った相関関係が使われているかを特定することで、モデルのデバッグにアプローチします。
- モデルで、機密性の高い特徴量やそれらとの関連性が高い特徴量に基づいて予測が行われているどうかを理解することで、不公平性の可能性のある原因を明らかにします。
- 結果を示すローカルな説明を生成することで、モデルの決定をユーザーが信頼できるようにします。
- AI システムの規制監査を行ってモデルを検証し、モデルの決定が人間に与える影響を監視します。
モデルを解釈する方法
機械学習では、特徴量は、ターゲット データ ポイントの予測に使用するデータ フィールドです。 たとえば、信用リスクを予測するために、年齢、アカウント サイズ、アカウントの有効期間のデータ フィールドが使用されるとします。 ここでは、年齢、アカウント サイズ、アカウントの有効期間が特徴量です。 特徴量の重要度から、各データ フィールドがモデルの予測にどのような影響を与えたかがわかります。 たとえば、年齢は予測で頻繁に使用される可能性がありますが、アカウント サイズとアカウントの有効期間は予測値に大きな影響を与えない場合があります。 このプロセスを通じて、データ サイエンティストは、利害関係者がモデルの最も重要な特徴量を視覚的に把握できるように、結果の予測について説明できます。
責任ある AI ダッシュボードのクラスとメソッドを使用し、SDK v2 と CLI v2 を使用すると、次のことができます。
- モデル全体 (グローバルな説明) や個々のデータ ポイント (ローカルな説明) の特徴量の重要度の値を生成し、モデルの予測を説明する。
- 実際の大規模なデータセットに関するモデルの解釈可能性を実現する。
- 対話型の視覚化ダッシュボードを使用して、トレーニング時のデータと説明のパターンを検出する。
サポートされているモデルの解釈可能性の手法
責任ある AI ダッシュボードでは、解釈可能なモデルをトレーニングし、不透明なボックス AI システムの説明に役立つオープンソースの Python パッケージである Interpret-Community で開発された解釈可能性手法を使用します。 不透明な箱のモデルは、内部の動作に関する情報がないモデルです。
Interpret-Community は、以下のサポートされている Explainer のホストとして機能し、現在は次のセクションで説明する解釈可能性の手法をサポートしています。
Python SDK v2 と CLI v2 の責任ある AI ダッシュボードでサポートされているもの
| 解釈可能性の手法 | 説明 | 種類 |
|---|---|---|
| Mimic Explainer (グローバル サロゲート) + SHAP ツリー | Mimic Explainer は、グローバル サロゲート モデルをトレーニングして不透明な箱モデルを模倣するアイデアに基づいています。 グローバル サロゲート モデルは、任意の不透明な箱モデルの予測をできる限り正確に近似するためにトレーニングされた本質的に解釈可能なモデルです。 データ サイエンティストは、サロゲート モデルを解釈して不透明な箱モデルについての結論を導き出すことができます。 責任ある AI ダッシュボードでは、LightGBM (LGBMExplainableModel) と SHAP (SHapley Additive exPlanations) の Tree Explainer との組み合わせが使われます。これは、ツリーとツリーのアンサンブルに固有の Explainer です。 LightGBM と SHAP ツリーの組み合わせにより、機械学習モデルのモデルに依存しないグローバルおよびローカルな説明が提供されます。 |
モデル非依存 |
テキスト モデルでサポートされているモデルの解釈可能性の手法
| 解釈可能性の手法 | 説明 | 種類 | テキスト タスク |
|---|---|---|---|
| SHAP テキスト | SHAP (SHapley Additive exPlanations) は、特定の予測に対する各入力特徴の貢献度について分析情報を提供するという、ディープ ニューラル ネットワークの一般的な説明手法です。 これは、協力ゲームの個々のプレイヤーにクレジットを割り当てるための方法であるシャープレイ値の概念に基づいています。 SHAP は、特徴の考えられるすべての組み合わせについて、モデルの出力に対して各特徴の平均貢献度を計算することで、この概念をニューラル ネットワークの入力特徴に適用します。 具体的には、テキストの場合、SHAP は単語を階層的に分割し、各単語またはトークンを 1 つの特徴として扱います。 これにより、特定の予測に対する各単語やトークンの重要性を定量化する一連の属性値が生成されます。 最終的な属性マップは、これらの値を元のテキスト ドキュメントに対するヒート マップとして視覚化することで生成されます。 SHAP はモデル非依存の手法であり、CNN、RNN、トランスフォーマーを含む幅広いディープ ラーニングモデルの説明に使用できます。 さらに、整合性、正確性、公平性など、いくつかの望ましい特性を備えているので、モデルの意思決定プロセスを理解する際に信頼性が高く解釈可能な手法です。 | モデル非依存 | テキスト マルチクラス分類、テキスト マルチラベル分類 |
画像モデルでサポートされているモデルの解釈可能性の手法
| 解釈可能性の手法 | 説明 | 種類 | ビジョン タスク |
|---|---|---|---|
| SHAP ビジョン | SHAP (SHapley Additive exPlanations) は、特定の予測に対する各入力特徴の貢献度について分析情報を提供するという、ディープ ニューラル ネットワークの一般的な説明手法です。 これは、協力ゲームの個々のプレイヤーにクレジットを割り当てるための方法であるシャープレイ値の概念に基づいています。 SHAP は、特徴の考えられるすべての組み合わせについて、モデルの出力に対して各特徴の平均貢献度を計算することで、この概念をニューラル ネットワークの入力特徴に適用します。 特にビジョンの場合、SHAP は、画像のスーパーピクセル領域を各特徴として扱い、階層的に画像を分割します。 これにより、特定の予測に対するスーパーピクセルまたは画像領域の重要性を定量化する一連の属性値が生成されます。 最終的な属性マップは、これらの値をヒートマップとして視覚化することで生成されます。 SHAP はモデル非依存の手法であり、CNN、RNN、トランスフォーマーを含む幅広いディープ ラーニングモデルの説明に使用できます。 さらに、整合性、正確性、公平性など、いくつかの望ましい特性を備えているので、モデルの意思決定プロセスを理解する際に信頼性が高く解釈可能な手法です。 | モデル非依存 | 画像マルチクラス分類、画像マルチラベル分類 |
| ガイド付き逆伝搬法 | ガイド付き逆伝搬法は、モデルの学習した表現に関する分析情報を提供する、ディープ ニューラル ネットワークの一般的な説明方法です。 入力画像に対する出力の勾配を計算することで、モデル内の特定のニューロンをアクティブにする入力特徴の視覚化が生成されます。 他の勾配ベースの方法とは異なり、ガイド付き逆伝搬法は、正の勾配のみを逆伝搬し、負の勾配が視覚化に影響しないように変更した ReLU 活性化関数を使います。 この結果、特定の予測に対して入力画像中の最も重要な特徴が強調された、解釈しやすく高解像度の顕著性マップが得られます。 ガイド付き逆伝搬法は、畳み込みニューラル ネットワーク (CNN)、リカレント ニューラル ネットワーク (RNN)、トランスフォーマーなど、さまざまなディープ ラーニング モデルの説明に使用できます。 | 自動機械学習 (AutoML) | 画像マルチクラス分類、画像マルチラベル分類 |
| ガイド付き gradCAM | ガイド付き GradCAM は、モデルの学習した表現に関する分析情報を提供する、ディープ ニューラル ネットワークの一般的な説明方法です。 ガイド付き逆伝搬法の勾配ベースのアプローチと GradCAM の局所化アプローチを組み合わせることで、特定の出力クラスに最も貢献する入力特徴の視覚化を生成します。 具体的には、ネットワークの最後の畳み込みレイヤーの特徴マップに対する出力クラスの勾配を計算し、そのクラスに対する活性化の重大度に応じて、各特徴マップに重み付けを行います。 これにより、特定の出力クラスに対して、入力画像の最も判別性の高い領域を強調する高解像度のヒートマップが生成されます。 ガイド付き GradCAM は、CNN、RNN、トランスフォーマーなど、さまざまなディープ ラーニング モデルの説明に使用できます。 さらに、ガイド付き逆伝搬法を組み込むことで、疑似活性化や負の貢献を回避し、意味のある解釈可能な視覚化を実現します。 | 自動機械学習 (AutoML) | 画像マルチクラス分類、画像マルチラベル分類 |
| 統合勾配 | 統合勾配は、特定の予測に対する各入力特徴の貢献度について分析情報を提供するという、ディープ ニューラル ネットワークの一般的な説明手法です。 ベースライン画像と実際の入力画像の間の直線パスに沿って、入力画像に対する出力クラスの勾配の積分を計算します。 通常、このパスは 2 つの画像間の線状補間として選ばれ、ベースラインは目立った特徴のない中立的な画像です。 統合勾配は、このパスに沿って勾配を統合することで、各入力特徴が予測にどのくらい貢献しているかのメジャーを提供し、属性マップを生成することができます。 このマップは、最も影響力のある入力特徴を強調し、モデルの意思決定プロセスに関する分析情報を得るために使用できます。 統合勾配は、CNN、RNN、トランスフォーマーなど、さまざまなディープ ラーニング モデルの説明に使用できます。 さらに、感度、実装不変性、整合性などの一連の望ましい特性を満たす、理論に基づいた手法です。 | 自動機械学習 (AutoML) | 画像マルチクラス分類、画像マルチラベル分類 |
| XRAI | XRAI は統合勾配 (IG) に基づく新しい領域ベースの顕著性手法です。 画像を過剰にセグメント化し、各領域の重要性を繰り返しテストし、属性スコアに基づいて小さな領域を大きなセグメントに結合します。 この戦略により、既存の顕著性手法を上回る、高品質で厳密に境界付けられた顕著性領域が得られます。 類似性メトリックによって入力特徴をセグメントにクラスター化する方法がある限り、任意の DNN ベースのモデルに XRAI を使用できます。 | 自動機械学習 (AutoML) | 画像マルチクラス分類、画像マルチラベル分類 |
| D-RISE | D-RISE は、オブジェクト検出モデルの予測に対する視覚的な説明を作成するためのモデル非依存の手法です。 D-RISE は、オブジェクト検出の局所化と分類の両方の側面を考慮することで、検出機能の予測に最も貢献する画像の部分を強調する顕著性マップを作成できます。 D-RISE は、勾配ベースの手法とは異なり、より汎用的であり、オブジェクト検出機能の内部構造にアクセスする必要がありません。必要なのはモデルの入力と出力へのアクセスのみです。 この手法は、1 ステージ検出機能 (たとえば、YOLOv3)、2 ステージ検出機能 (たとえば、Faster-RCNN)、ビジョン トランスフォーマー (たとえば、DETR、OWL-ViT) に適用できます。 D-Rise は、入力画像のランダム マスクを作成することで顕著性マップを提供し、入力画像のランダム マスクと共にオブジェクト検出機能に送信します。 オブジェクト検出機能のスコアの変化を評価することで、各マスクでのすべての検出を集計し、最終的な顕著性マップを作成します。 |
モデル非依存 | 物体検出 |
次の手順
- CLI v2 と SDK v2 または Azure Machine Learning スタジオ UI を使用して責任ある AI ダッシュボードを生成する方法について学習します。
- 責任ある AI ダッシュボードで「サポートされている解釈可能性の視覚化」を確認します。
- 責任ある AI ダッシュボードで観察された分析情報に基づいて責任ある AI スコアカードを生成する方法について説明します。