クロス検証 (SQL Server データマイニングアドイン)

[クロス検証] ボタン、[データマイニング] リボン

クロス検証は分析の標準的なツールであり、データマイニングモデルの開発と微調整を支援するための重要な機能です。クロス検証は、モデルの有効性を確認し、その結果を他の関連するマイニングモデルと比較するために、マイニングモデルを作成した後で使用します。

クロス検証は、トレーニングとレポート生成の 2 つのフェーズで構成されます。次の手順を実行します。

ターゲットマイニング構造またはマイニングモデルを選択します。
該当する場合は、ターゲット値を指定します。
構造データをパーティション分割する断面 ( フォールド) の数を指定します。

クロス検証ウィザードでは、各フォールドに新しいモデルを作成し、他のフォールドでモデルをテストしてから、モデルの精度を報告します。完了すると、 クロス検証 ウィザードによって、各フォールドのメトリックを示すレポートが作成され、集計されたモデルの概要が表示されます。この情報を使用して、基になるデータがモデルにどの程度適しているかを判断したり、同じデータに基づいて構築されたさまざまなモデルを比較したりできます。

クロス検証ウィザードの使用

Analysis Services のインスタンスに格納されている一時モデルとモデルの両方に対してクロス検証を使用できます。

クロス検証レポートを作成するには

[データマイニング] リボンの [精度と検証] グループで、[クロス検証] をクリックします。
[ 構造またはモデルの選択 ] ダイアログボックスで、既存のマイニング構造またはマイニングモデルを選択します。構造を選択すると、同じ予測可能な属性を持つその構造に基づくすべてのモデルに対してクロス検証が使用されます。モデルを選択すると、ウィザードはそのモデルのみに対してクロス検証を使用します。
[ クロス検証パラメーターの指定 ] ダイアログボックスの [ フォールドカウント ] ボックスで、データセットを分割するフォールドの数を選択します。フォールドは、ランダムに選択されたデータの断面です。
必要に応じて、[最大行数] テキストボックスに数値を入力して、クロス検証で使用する 行の最大数 を設定します。

注

使用する行が多いほど、結果は正確になります。ただし、処理時間も大幅に増加する可能性があります。選択する数値はデータによって異なりますが、一般的には、パフォーマンスを犠牲にすることなく、可能な最大の数値を選択する必要があります。パフォーマンスを向上させるために、指定できるフォールドの数を減らすこともできます。
[ターゲット属性] ドロップダウンリストから列を選択します。この一覧には、最初にモデルを作成したときに予測可能な属性として構成された列のみが表示されます。モデルには複数の予測可能な属性を含めることができますが、選択できるのは 1 つだけです。
[ターゲット状態] ドロップダウンリストから値を選択します。

予測可能列に連続する数値データが含まれている場合、このオプションは使用できません。
必要に応じて、予測を正確にカウントする目的の しきい値 として使用する値を指定します。この値は確率として表されます。0 から 1 までの数値です。1 は予測が正確であることが保証されることを意味し、0 は予測が正しい可能性がないことを意味し、.5 はランダムな推測と同じです。

予測可能列に連続する数値データが含まれている場合、このオプションは使用できません。
[完了] をクリックします。 クロス検証という名前の新しいワークシートが作成されます。

注

モデルがフォールドに分割され、各フォールドがテストされている間、Microsoft Excel が一時的に応答しなくなる可能性があります。

要求事項

クロス検証レポートを作成するには、データマイニング構造と関連モデルが既に作成されている必要があります。ウィザードには、既存の構造とモデルから選択するのに役立つダイアログボックスが用意されています。

複数のマイニングモデルをサポートするマイニング構造を選択し、モデルで異なる予測可能な属性を使用する場合、クロス検証ウィザードでは、同じ予測可能な属性を共有するモデルのみがテストされます。

クラスタリングモデルと他の種類のモデルの両方をサポートする構造を選択した場合、クラスタリングモデルはテストされません。

クロス検証の結果について

クロス検証の結果は、"<attribute 名のクロス検証レポート" というタイトルの新しいワークシート>に表示されます。新しいワークシートにはいくつかのセクションが含まれています。最初のセクションは、テストされたモデルに関する重要なメタデータを提供する概要であり、結果の対象となるモデルまたは構造を把握できます。

レポートの 2 番目のセクションでは、元のモデルの良さを示す統計の概要を示します。この概要では、各フォールドに対して作成されたモデル間の違いを、3 つの主要なメジャー ( 平方根平均誤差、 平均絶対誤差、 およびログスコア) について分析します。これらは、データマイニングだけでなく、ほとんどの種類の統計分析でも使用される標準的な統計メジャーです。

これらの各メジャーについて、クロス検証ウィザードでは、モデル全体の平均と標準偏差が計算されます。これにより、データの異なるサブセットで予測を行うときのモデルの一貫性が示されます。たとえば、標準偏差が非常に大きい場合は、各フォールドに対して作成されたモデルの結果が非常に異なるため、モデルが特定のデータグループに対してあまりに密接にトレーニングされすぎて、他のデータセットには適用できないことを示します。

次のセクションでは、モデルの評価に使用される手段について説明します。

テストと測定

ワークシートには、データ内のフォールドの数と各フォールド内のデータ量に関するいくつかの基本情報に加えて、各モデルに関する一連のメトリックがテストの種類別に表示されます。たとえば、クラスタリングモデルの精度は、予測モデルに使用するテストとは異なるテストによって評価されます。

次の表に、メトリックの意味を示すテストとメトリックの一覧を示します。

集計と一般的な統計指標

レポートに表示される集計指標は、あなたがデータで作成した折り目が互いにどのように異なるかを示しています。

平均と標準偏差。
特定の測定値における平均からの偏差を、モデル内のすべてのパーティションにわたって平均したもの。

分類: 合格/不合格

このメジャーは、予測可能な属性のターゲット値を指定しない場合に分類モデルで使用されます。たとえば、複数の可能性を予測するモデルを作成した場合、このメジャーは、モデルが可能なすべての値を予測する際のパフォーマンスを示します。

合格/不合格は、次の条件を満たすケースをカウントすることによって計算されます。最も高い確率を持つ予測状態が入力状態と同じで、確率が状態しきい値に指定した値より大きい場合に合格します。それ以外の場合は失敗します。

分類: 真陽性または偽陽性と負数

このテストは、指定されたターゲットを持つすべての分類モデルに使用されます。この指標は、各ケースがモデルの予測と実際の結果に基づいてどのように分類されるかを示しています。

測る	説明
真陽性	次の条件を満たすケースの数: Case にはターゲット値が含まれています。モデルは、ケースにターゲット値が含まれていると予測しました。
偽陽性	次の条件を満たすケースの数: 実際の値はターゲット値と同じです。モデルは、ケースにターゲット値が含まれていると予測しました。
否定的	次の条件を満たすケースの数: Case にターゲット値が含まれていません。モデルは、ケースにターゲット値が含まれていないと予測しました。
検知漏れ	次の条件を満たすケースの数: 実際の値がターゲット値と等しくない。モデルは、ケースにターゲット値が含まれていないと予測しました。

持ち上げる

リフト は、確率に関連する指標です。ランダムな推測を行う場合よりも、モデルを使用する場合に結果の可能性が高い場合、モデルは 肯定的なリフトを提供すると言われます。ただし、モデルがランダムな確率よりも可能性の低い予測を行う場合、リフトスコアは負になります。したがって、このメトリックは、モデルを使用して達成できる改善の量を示します。スコアが高いほど良くなります。

リフトは、実際の予測確率とテストケースの限界確率の比率として計算されます。

ログスコア

ログスコアは、予測の対数尤度スコアとも呼ばれ、対数スケールに変換された 2 つの確率の比率を表します。確率は小数部として表されるため、ログスコアは常に負の数になります。 0 に近いスコアの方が良いスコアです。

生のスコアは非常に不規則または偏った分布を持つことができますが、ログスコアはパーセンテージに似ています。

二乗平均平方根誤差

平方平均平方根誤差 (RMSE) は、さまざまなデータセットがどのように比較されるかを調べ、入力のスケールによって生じ得る違いを平滑化するための統計の標準的な方法です。

RMSE は、実際の値と比較した場合の予測値の平均誤差を表します。これは、すべてのパーティションケースの平均誤差の平方根として計算され、パーティション内のケースの数で除算され、ターゲット属性の欠損値を持つ行は除きます。

平均絶対誤差

平均絶対誤差は、実際の値に対する予測値の平均誤差です。これは、誤差の絶対和を取得し、それらの誤差の平均を見つけることによって計算されます。

この値は、スコアが平均とどの程度異なるかを理解するのに役立ちます。

ケースの可能性

このメジャーは、クラスタリングモデルにのみ使用され、新しいケースが特定のクラスターに属している可能性を示します。

クラスタリングモデルでは、モデルの作成に使用した方法に応じて、2 種類のクラスターメンバーシップがあります。一部のモデルでは、K 平均アルゴリズムに基づいて、新しいケースが 1 つのクラスターにのみ属することが予想されます。ただし、既定では、Microsoft クラスタリングアルゴリズムは、新しいケースが任意のクラスターに属する可能性があることを前提とする、期待の最大化方法を使用します。したがって、これらのモデルでは、ケースに複数の CaseLikelihood 値を含めることができますが、既定で報告される値は、新しいケースに最適なケースがクラスターに属している可能性です。

こちらもご覧ください

モデルの検証と予測のためのモデルの使用 (Excel 用データマイニングアドイン)

Last updated on 2017-03-06