リフト チャートを使用した精度テスト (基本的なデータ マイニング チュートリアル)
データ マイニング デザイナの [マイニング精度チャート] タブでは、各モデルの予測精度を計算し、その結果をモデル間で直接比較できます。この比較方法をリフト チャートといいます。通常、マイニング モデルの予測精度は、リフトまたは分類の精度によって測定します。このチュートリアルでは、リフト チャートのみを使用します。リフト チャートおよびその他の精度チャートの詳細については、「モデルの精度をグラフ化するためのツール (Analysis Services - データ マイニング)」を参照してください。
このトピックでは次の作業を行います。
入力データの選択
モデル、予測可能列、および値の選択
入力データの選択
マイニング モデルの精度をテストするには、まず、テストに使用するデータ ソースを選択する必要があります。テスト データに対するモデルの予測精度をテストし、その後で外部データに対してモデルを使用します。
データ セットを選択するには
Business Intelligence Development Studio のデータ マイニング デザイナの [マイニング精度チャート] タブに切り替えて、[入力の選択] タブをクリックします。
[精度チャートに使用するデータセットの選択] グループ ボックスで [マイニング構造のテスト ケースを使用する] を選択し、マイニング構造の作成時に確保しておいたテスト データを使用してモデルをテストします。
その他のオプションの詳細については、「マイニング モデルの精度の測定 (Analysis Services - データ マイニング)」を参照してください。
モデル、予測可能列、および値の選択
次に、リフト チャートに表示するモデル、各モデルの比較に使用する予測可能列、および予測する値を選択します。
.gif "注意") 注意 |
|---|
[予測可能列名] ボックスの一覧に表示されるマイニング モデル列は、使用法が Predict または Predict Only に設定されていて、コンテンツの種類が Discrete または Discretized である列だけです。 |
モデルのリフトを表示するには
データ マイニング デザイナの [入力の選択] タブにある [リフト チャートに表示する予測可能なマイニング モデル列の選択] で、[予測列と値の同期] チェック ボックスをオンにします。
[予測可能列名] 列で、各モデルについて [Bike Buyer] が選択されていることを確認します。
[表示] 列で、各モデルのチェック ボックスをオンにします。
既定では、マイニング構造内のすべてのモデルが選択されます。モデルを除外することもできますが、このチュートリアルではすべてのモデルを選択したままにしておきます。
[予測値] 列で [1] を選択します。同じ予測可能列を持つモデルのそれぞれに対して、同じ値が自動的に設定されます。
[リフト チャート] タブをクリックして、リフト チャートを表示します。
このタブをクリックすると、サーバーとデータベースに対し、指定のマイニング構造および指定の入力テーブルまたはテスト データの予測クエリが実行されます。結果がグラフとして表示されます。
[予測値] に値を入力すると、リフト チャートによってランダム推測モデルと理想モデルが表示されます。作成したマイニング モデルは、この 2 極、つまりランダムな推測と、完璧な予測の間に位置します。ランダムな推測に対する改善は、すべてリフトと見なされます。
凡例を使用して、理想モデルとランダム推測モデルを表す色付きの線を配置します。
TM_Decision_Tree モデルが最もリフトが大きく、Clustering モデルや Naive Bayes モデルより高精度であることがわかります。
このレッスンで作成したものに類似したリフト チャートの詳細については、「リフト チャート (Analysis Services - データ マイニング)」を参照してください。