はじめに
平均二乗誤差やログ損失などの単一値メトリックは、パフォーマンスの点からモデルを比較するための高速な方法です。 ただし、これらは必ずしも直感的であるとは限らず、またモデルの実際の動作の完全な状態を常に示すこともできません。 たとえば、がんを検出しようとしているが、がんが実際には 100,000 個の組織サンプルのうちの 1 つにしか含まれていない場合は、常に "がんはありません" と表示するモデルが優れたログ損失 (コスト) を示しますが、そのクリニックではまったく役に立ちません。 モデルが実際の使用環境でどのように動作するかを正しく理解できるように、モデルを評価するためのよりインテリジェントな方法を選択することが重要です。
シナリオ: 機械学習を使用した山岳救助
このモジュール全体を通して、さまざまなメトリックやデータの不均衡に関する処理を説明および実践するために、次のシナリオ例を使用します。
冬がまたやって来ると、山が閉ざされている場合であっても、ハイカーが雪崩のリスクに関する警告を無視して思い切って出かけるために問題が発生します。 このリスクによって雪崩の発生が増えるだけでなく、ハイカーが出かける前にチェックインすることはめったにないため、雪崩が発生したときにだれかが山にいたかを知る方法はありません。 山腹を自動的に走査して物体を探す小型ドローンを、ある寛大な寄贈者が雪崩救助隊にたくさん寄付してくれました。 極端な地形と、寒さの中でのバッテリーの消耗のために帯域幅が低すぎる状態のままになり、ビデオを送信できません。 代わりに、搭載されているセンサーは、オブジェクトの形状やサイズなどの基本情報を抽出し、これを基地に移動および送信することができます。 ドローンが人間を見つけたら確認して、だれが山にいるかを常に監視できるモデルを構築できるでしょうか?
[前提条件]
- 分類モデルに関する基本的な知識
学習の目的
このモジュールでは、次のことを行います。
- 分類モデルのパフォーマンスを評価する。
- 分類モデルを改善するためのメトリックを確認する。
- データの不均衡によるパフォーマンスの問題を軽減する。