![[分類マトリックス] ボタン、[データ マイニング] リボン](../../analysis-services/media/dmc-cmatrix.gif?view=sql-server-2014 "[分類マトリックス] ボタン、データ マイニング リボン")
の
分類マトリックスを使用して、予測のモデルの精度を評価できます。 分類マトリックスを生成するには、モデルを使用して一連のテスト データを実行し、分類マトリックス ツールは、テスト セットの実際の値をモデルによって行われた予測と比較します。 マトリックスを見ると、モデルが正しい頻度と、誤って予測される頻度をひとめで確認できます。
これらのアドインでは、 分類マトリックス ウィザードを使用してモデルを選択し、テスト データを指定してから、結果マトリックスを生成します。
分類マトリックスを読み取る方法
目的は、顧客ロイヤルティ プログラムを設計し、適切なカテゴリに顧客を割り当てて、適切なレベルのインセンティブを提供できるようにすることです。 報酬プログラムの 3 つのレベル (ブロンズ、シルバー、ゴールド) を実装し、試用フェーズでこれらを顧客に提供しました。 また、顧客を分析し、正しいカテゴリを予測するモデルも設計しました。 次に、評価版データの分類マトリックスを使用して、すべての顧客に対する正しいオファーを予測する際のモデルの良さを判断します。
分類マトリックスの表は、モデルに基づいて各カテゴリに割り当てられる顧客の数を示し、その結果を各報酬レベルに実際にサインアップした顧客の数と比較します。
| ブロンズ (実績) | Gold (実績) | Silver (実績) | |
|---|---|---|---|
| ブロンズ | 94.45% | 15.18% | 1.70% |
| 金 | 2.72% | 84.82% | 0.00% |
| 銀 | 1.84% | 0.00% | 93.80% |
| 正しい | 95.45% | 84.82% | 98.30% |
| 誤分類 | 4.55% | 15.18% | 1.70% |
各列には、テスト データセット内の実際の値が表示されます。
各行には、予測値が表示されます。
太字の値は、左上隅からマトリックスの右下隅まで斜めに走っており、モデルが正解した内容を示しています。
対角線の外側の他のすべての値は、エラーを表します。 一部のエラーは誤検知です。つまり、モデルは顧客がゴールド プログラムに参加すると予測しましたが、間違っていました。 ドメインによっては、誤検知が非常にコストがかかる場合があります。
他の人は偽陰性です。つまり、モデルは、顧客がプログラムに参加したにもかかわらず、顧客が興味を持たないことを予測しました。 ここでも、問題のドメインによっては、この機会の損失コストが大きくなる可能性があります。
分類マトリックス ウィザードの使用
予測の基となるマイニング モデルを選択します。
新しいテスト データのソースを選択するか、構造と共に保存されたテスト データを使用します。
精度を評価する列を選択します。 マトリックスの作成時に選択できる列は 1 つだけですが、列には複数の値を指定できます。
ヒント: 予測可能な列に比較する列が多数ある場合、分類マトリックスを解釈するのは困難な場合があります。
[ 予測する列の選択 ] ページでは、正しくない値と正しくない値の数を表示するか、パーセンテージを表示するかを指定することもできます。
[ソース データの選択] ページで、外部テスト データを使用しているか、モデルと共に保存されたテスト データを使用しているかを示します。
外部テスト データを使用する場合は、ウィザードの [ リレーションシップの指定 ] ページの入力列にモデルをマップする必要があります。
埋め込みテスト データ セットを使用すると、マッピングが行われます
[ 完了] をクリックしてモデルに対して予測を実行し、分類マトリックスを生成します。
ウィザードでは、分析に関する分類マトリックスとその他の詳細を含むレポートが作成されます。 このレポートは Excel のテーブルとして保存され、レポートの上に、正しく予測されたケースの数と間違った予測の数を示す概要が表示されます。
要求事項
分類マトリックスを作成するには、精度測定をサポートする既存のマイニング モデルにアクセスできる必要があります。 このツールを使用して、予測モデルと関連付けモデルを測定することはできません。
測定するモデルでは、不連続または既に分離されている値を予測する必要があります。
テスト セットを構造またはモデルと共に保存するオプションを使用しなかった場合は、モデルで使用されているものと実質的に同じ数の列を持つ入力データ セットを取得する必要があります。データ型は一致します。
データ マイニング モデルと、テストに使用する新しいデータの両方に、予測可能な列が少なくとも 1 つ含まれている必要があり、列には同じ種類のデータが含まれている必要があります。
既知の問題
SQL Server 2012 および SQL Server 2014 では、内部テスト データ セットをモデルにマップする機能は 、分類マトリックス ツールでは機能しません。 ただし、外部データ・セットを指定してから、トレーニング・セットを入力として選択して、元のデータ・セットのエラーを判別することができます。
こちらもご覧ください
モデルの検証と予測のためのモデルの使用 (Excel 用データ マイニング アドイン)
データの探索 (SQL Server データ マイニング アドイン)
カテゴリの検出 (Excel 用テーブル分析ツール)