受信者操作特性曲線を使用して分類を分析する

4 分

分類モデルでは、カテゴリにサンプルを割り当てる必要があります。たとえば、サイズ、色、動きなどの特徴を使用して、対象物がハイカーか木かを判断する必要があります。

さまざまな方法で分類モデルを改善することができます。たとえば、バランスがよく、クリーンで、スケーリングされたデータにすることができます。また、モデルのアーキテクチャを変更したり、ハイパーパラメーターを使用してデータとアーキテクチャから可能な限りパフォーマンスを引き出すこともできます。最終的に、テスト (またはホールドアウト) セットのパフォーマンスを向上させ、モデルの準備を宣言するのに優れた方法はないことがわかります。

この時点までのモデルのチューニングは複雑になる可能性がありますが、最後のシンプルなステップを使用して、モデルの動作をさらに向上させることができます。ただし、これを理解するには、基本に戻る必要があります。

確率とカテゴリ

多くのモデルには複数の意思決定のステージがあり、最後のものは多くの場合単なる 2 値化ステップです。 2 値化の間に、確率がハードラベルに変換されます。たとえば、特徴を含むモデルが提供され、ハイカーが示されていた確率が 75%、木が示されていた確率が 25% であると計算されるものとします。対象物が 75% はハイカーで 25% は木であるということはあり得ず、どちらか一方です。そのため、モデルにはしきい値が適用され、通常は 50% です。ハイカークラスが 50% を超えるため、対象物はハイカーとして宣言されます。

しきい値の 50% は論理であるため、モデルに従って最も可能性の高いラベルが常に選択されます。ただし、モデルに偏りがある場合は、この 50% のしきい値が適切ではない可能性があります。たとえば、モデルでハイカーより木が選択される傾向がわずかに高い場合は (たとえば、木が選択される頻度が、実際にそうであるより 10% 高い)、これを考慮して決定のしきい値を調整できます。

決定行列の復習

決定行列は、モデルが犯す間違いの種類を評価するための優れた方法です。これにより、真陽性 (TP)、真陰性 (TN)、擬陽性 (FP)、擬陰性 (FN) の比率が得られます

Diagram showing a confusion matrix of true positives, true negatives, false positives, and false negatives.

混同行列から、いくつかの便利な特性を計算できます。 2 つの一般的な特性は次のとおりです。

真陽性率 (感度): "True" ラベルが "True" と正しく識別される頻度。たとえば、示されているサンプルが実際に "ハイカー" であるときに、モデルが "ハイカー" と予測する頻度。
擬陽性率 (誤警報確率): "False" ラベルが誤って "True" と識別される頻度。たとえば、木が示されているときに、モデルが "ハイカー" と予測する頻度。

真陽性率と擬陽性率を見ると、モデルのパフォーマンスを理解するのに役立ちます。

ハイカーの例を考えてみましょう。真陽性率は非常に高く、擬陽性率は非常に低いのが理想的です。なぜなら、これはモデルでハイカーが正しく識別され、頻繁に木がハイカーとして識別されることがないことを意味します。しかし、真陽性率が非常に高くても、擬陽性率も非常に高いのでは、モデルに偏りがあります。その場合、ほとんどすべてのものがハイカーとして識別されます。同様に、真陽性率が低いモデルは、ハイカーが示されていても木とラベルを付けるので、望ましくありません。

ROC 曲線

受信者操作特性 (ROC) 曲線は、真陽性率と擬陽性率をプロットするグラフです。

ROC 曲線は、主に 2 つの理由で初心者にとって混乱を招く可能性があります。 1 つ目の理由は、初心者はモデルには真陽性率と真陰性率に対して 1 つの値しかないことを知っています。そのため、ROC プロットは次のようになる必要があります。

Receiver operator characteristic curve graph with one plot point.

あなたもこのように考えているのであれば、そのとおりです。トレーニングされたモデルは、1 つのポイントのみを生成します。しかし、このモデルには、True (ハイカー) または False (木) のラベルを使用する必要があるかどうかを決定するために使用されるしきい値 (通常は 50%) があることを思い出してください。このしきい値を 30% に変更して、真陽性と擬陽性の率を計算し直すと、別のポイントが得られます。

Receiver operator characteristic curve graph with two plot points.