Kreuzvalidierung (SQL Server Data Mining-Add-Ins)

Die Kreuzvalidierung ist ein Standardtool in der Analyse und eine wichtige Funktion, die Sie bei der Entwicklung und Feinabstimmung von Data Mining-Modellen unterstützt. Sie verwenden die Kreuzvalidierung nach der Erstellung eines Miningmodells, um die Gültigkeit des Modells sicherzustellen und die Ergebnisse mit anderen, ähnlichen Modellen zu vergleichen.

Die Kreuzvalidierung besteht aus zwei Phasen: Training und Berichtgenerierung. Sie führen die folgenden Schritte aus:

• Auswählen eines Zielminingmodells oder einer Zielminingstruktur

• Angeben des Zielwerts, sofern anwendbar

• Geben Sie die Anzahl der Querschnitte oder Faltungen an, in die die Strukturdaten partitioniert werden sollen.

Der Kreuzvalidierungs-Assistent erstellt dann für jede der Faltungen ein neues Modell, testet das Modell auf den anderen Faltungen und meldet dann die Genauigkeit des Modells. Nach Abschluss erstellt der Kreuzvalidierungs-Assistent einen Bericht, der Ihnen die Metriken für jede Faltung anzeigt und eine Zusammenfassung des Modells in aggregierter Form bereitstellt. Diese Informationen können verwendet werden, um festzustellen, wie gut sich die zugrunde liegenden Daten für ein Modell eignen oder um verschiedene, auf den gleichen Daten beruhende Modelle zu vergleichen.

Verwenden des Kreuzvalidierungs-Assistenten

Sie können die Kreuzvalidierung sowohl für temporäre Modelle als auch für Modelle verwenden, die auf einer instance von Analysis Services gespeichert sind.

So erstellen Sie einen Kreuzvalidierungsbericht

1. Klicken Sie in der Gruppe Genauigkeit und Validierung des Data Mining-Menübands auf Kreuzvalidierung.

2. Wählen Sie im Dialogfeld Struktur oder Modell auswählen eine vorhandene Miningstruktur oder ein vorhandenes Miningmodell aus. Wenn Sie eine Struktur auswählen, wendet der Assistent die Kreuzvalidierung auf alle Modelle an, die auf dieser Struktur mit dem gleichen vorhersagbaren Attribut basieren. Wenn Sie ein Modell auswählen, wendet der Assistent die Kreuzvalidierung nur auf dieses Modell an.

3. Wählen Sie im Dialogfeld Kreuzvalidierungsparameter angeben im Feld Anzahl der Faltungen die Anzahl der Faltungen aus, auf die das Dataset aufgeteilt werden soll. Ein Fold ist ein zufällig ausgewählter Querschnitt der Daten.

4. Optional können Sie die maximale Anzahl von Zeilen festlegen, die bei der Kreuzvalidierung verwendet werden sollen, indem Sie eine Zahl in das Textfeld Maximale Zeilen eingeben.

   Hinweis

   Je mehr Zeilen Sie verwenden, desto genauer sind die Ergebnisse. Die Verarbeitungszeit könnte allerdings auch bedeutend zunehmen. Welche Zahl Sie angeben sollten, hängt von Ihren Daten ab, im Allgemeinen sollte dies aber die maximale Anzahl sein, die Sie ohne Leistungseinbußen verwenden können. Um die Leistung zu verbessern, können Sie auch weniger Folds angeben.

5. Wählen Sie in der Dropdownliste Zielattribute eine Spalte aus. Die Liste zeigt nur die Spalten an, die bei der ursprünglichen Erstellung des Modells als vorhersagbare Attribute konfiguriert wurden. Das Modell enthält möglicherweise mehrere vorhersagbare Attribute, aber Sie können nur eines auswählen.

6. Wählen Sie einen Wert aus der Dropdownliste Zielstatus aus.

   Wenn die vorhersagbare Spalte fortlaufende numerische Daten enthält, ist diese Option nicht verfügbar.

7. Geben Sie optional einen Wert an, der als Zielschwellenwert bei der Zählung von Vorhersagen als genau verwendet werden soll. Dieser Wert gibt eine Wahrscheinlichkeit wieder und ist eine Zahl zwischen 0 und 1, wobei 1 bedeutet, dass die Vorhersage genau ist, 0 bedeutet, dass die Vorhersage falsch ist, und 0,5 einer zufälligen Schätzung entspricht.

   Wenn die vorhersagbare Spalte fortlaufende numerische Daten enthält, ist diese Option nicht verfügbar.

8. Klicken Sie auf Fertig stellen. Es wird ein neues Arbeitsblatt mit dem Namen Kreuzvalidierung erstellt.

   Hinweis

   Microsoft Excel wird möglicherweise vorübergehend nicht reagieren, während das Modell in Folds partitioniert und jeder Fold getestet wird.

Anforderungen

Um einen Kreuzvalidierungsbericht zu erstellen, müssen Sie bereits eine Data Mining-Struktur und verwandte Modelle erstellt haben. Der Assistent stellt ein Dialogfeld bereit, in dem Sie eine vorhandene Struktur oder ein vorhandendes Modell auswählen können.

Wenn Sie eine Miningstruktur auswählen, die mehrere Miningmodelle unterstützt, und die Modelle unterschiedliche vorhersagbare Attribute verwenden, testet der Kreuzvalidierung-Assistent nur die Modelle, die das gleiche vorhersagbare Attribut verwenden.

Wenn Sie eine Struktur auswählen, die sowohl Clustermodelle als auch andere Arten von Modellen unterstützt, werden die Clustermodelle nicht getestet.

Grundlegendes zu Kreuzvalidierungsergebnissen

Die Ergebnisse der Kreuzvalidierung werden in einem neuen Arbeitsblatt mit dem Titel Kreuzvalidierungsbericht für <den Attributnamen> angezeigt. Das neue Arbeitsblatt besteht aus mehreren Abschnitten: der erste Abschnitt enthält eine Zusammenfassung mit wichtigen Metadaten zum getesteten Modell, sodass Sie sehen, aus welchem Modell oder aus welcher Struktur die Ergebnisse stammen.

Der zweite Abschnitt enthält eine statistische Zusammenfassung, die angibt, wie gut das ursprüngliche Modell ist. In dieser Zusammenfassung werden die Unterschiede zwischen den modellen, die für jede Faltung erstellt wurden, für drei wichtige Measures analysiert: root mean mean square error, mean absolute error, and log score. Dies sind statistische Standardmeasures, die nicht nur beim Data Mining verwendet werden, sondern auch in den meisten statistischen Analysen.

Für jedes dieser Measures berechnet der Kreuzvalidierungs-Assistent die mittlere und Standardabweichung für das Modell als ganzes. Dadurch können Sie ablesen, wie einheitlich dieses Modell ist, wenn Vorhersagen für verschiedene Teilmengen der Daten vorgenommen werden. Wenn die Standardabweichung z. B. sehr groß ist, weist dies darauf hin, dass die für die einzelen Folds erstellten Modelle sehr unterschiedliche Ergebnisse liefern und das Modell daher zu sehr auf eine bestimmte Datengruppe ausgerichtet ist und nicht auf andere Datensätze zutrifft.

Im folgenden Abschnitt werden die Measures erläutert, die zur Bewertung des Modells verwendet werden.

Tests und Measures

Zusätzlich zu einigen grundlegenden Informationen über die Anzahl der Folds in den Daten und die Datenmenge in jedem Fold zeigt das Arbeitsblatt verschiedene, nach Testtyp geordnete Metriken für jedes Modell an. Die Genauigkeit eines Clustermodells wird z. B. durch andere Tests geprüft als die Genauigkeit eines Prognosemodells.

In der folgenden Tabelle werden die Tests und die Metriken zusammen mit einer Erklärung der Bedeutung der Metriken aufgeführt.

Aggregate und allgemeine statistische Measures

Die Aggregatmeasures im Bericht geben an, wie sehr die von Ihnen in den Daten erstellten Folds voneinander abweichen.

• Mittlere und Standardabweichung

• Durchschnitt der Abweichung vom Mittelwert für ein bestimmtes Measure für alle Partitionen in einem Modell.

Klassifizierung: Pass/Fail

Dieses Measure wird in Klassifizierungsmodellen verwendet, wenn Sie keinen Zielwert für das vorhersagbare Attribut angeben. Wenn Sie z. B. ein Modell zur Vorhersage verschiedener Möglichkeiten erstellen, gibt dieses Measure an, wie gut das Modell alle möglichen Werte vorausgesagt hat.

Pass/Fail wird durch Zählen von Fällen berechnet, die die folgenden Bedingungen erfüllen: übergeben , wenn der vorhergesagte Zustand mit der höchsten Wahrscheinlichkeit mit dem Eingabezustand identisch ist und die Wahrscheinlichkeit größer als der Wert ist, den Sie für Den Zustandsschwellenwert angegeben haben; Andernfalls tritt ein Fehler auf.

Klassifikation: Richtig oder falsch positiv und negativ

Dieser Test wird für alle Klassifizierungsmodelle verwendet, die ein festgelegtes Ziel haben. Das Measure gibt an, wie die einzelnen Fälle entsprechend folgender Fragen klassifiziert werden: was hat das Modell vorhergesagt und wie lautete das tatsächliche Ergebnis.

"Measure"	Beschreibung
Richtig positiv	Anzahl der Fälle, die diese Bedingungen erfüllen: Fall enthält den Zielwert. Modell hat vorhergesagt, dass der Fall den Zielwert enthält.
Falsch positiv	Anzahl der Fälle, die diese Bedingungen erfüllen: Tatsächlicher Wert ist gleich dem Zielwert. Modell hat vorhergesagt, dass der Fall den Zielwert enthält.
Richtig negativ	Anzahl der Fälle, die diese Bedingungen erfüllen: Fall enthält den Zielwert nicht. Modell hat vorhergesagt, dass der Fall den Zielwert nicht enthält.
Falsch negativ	Anzahl der Fälle, die diese Bedingungen erfüllen: Tatsächlicher Wert ist ungleich dem Zielwert. Modell hat vorhergesagt, dass der Fall den Zielwert nicht enthält.

Lift

Lift ist ein Measure, das der Wahrscheinlichkeit zugeordnet ist. Wenn ein Ergebnis wahrscheinlicher ist, wenn Sie das Modell verwenden, als bei einer zufälligen Schätzung, wird davon gesprochen, dass das Modell einen positiven Lift bietet. Wenn das Modell jedoch Vorhersagen trifft, die weniger wahrscheinlich sind als die zufällige Chance, ist der Liftscore negativ. Dieses Measure gibt daher an, in welchem Maße Verbesserungen durch die Verwendung des Modells erreicht werden können. Je höher die Zahl, desto günstiger die Verwendung des Modells.

Der Lift wird berechnet als Verhältnis der tatsächlichen Vorhersagewahrscheinlichkeit zur Randwahrscheinlichkeit in den Testfällen.

Logarithmisches Ergebnis

Die Protokollbewertung, auch als Protokollwahrscheinlichkeitsbewertung für die Vorhersage bezeichnet, stellt das Verhältnis zwischen zwei Wahrscheinlichkeiten dar, die in eine logarithmische Skala konvertiert werden. Da Wahrscheinlichkeit als Dezimalbruch dargestellt werden, ist das logarithmische Ergebnis immer eine negative Zahl. Je näher das Ergebnis an 0 liegt, desto besser ist es.

Während Rohergebnisse sehr unregelmäßige oder verfälschte Verteilungen aufweisen können, ist ein logarithmisches Ergebnis einem Prozentwert ähnlich.

Wurzel des mittleren quadratischen Fehlers

Root Mean Square Error (RMSE) ist eine Standardmethode in Statistiken, um zu untersuchen, wie verschiedene Datasets vergleichen, und glättet die Unterschiede, die durch die Skalierung der Eingaben eingeführt werden können.

RMSE stellt den durchschnittlichen Fehler des vorhergesagten Werts beim Vergleich mit dem tatsächlichen Wert dar. Es wird als Quadratwurzel der durchschnittlichen Fehler für alle Partitionsfälle geteilt durch die Anzahl der Fälle in der Partition berechnet. Zeilen mit fehlenden Werten für die Zielattribute werden ausgeschlossen.

Mittlerer absoluter Fehler

Der mittlere absolute Fehler ist der durchschnittliche Fehler des vorhergesagten Werts zum tatsächlichen Wert. Er wird durch Ermitteln der absoluten Fehlersumme und Ermitteln des Mittelwerts dieser Fehler berechnet.

Dieser Wert gibt an, wie sehr sich Ergebnisse vom Mittelwert unterscheiden.

Fallwahrscheinlichkeit

Dieses Measure wird nur für Clustermodelle verwendet und gibt an, wie wahrscheinlich es ist, dass ein neuer Fall zu einem bestimmten Cluster gehört.

In Clustermodellen gibt es zwei Arten der Clustermitgliedschaft je nach Methode, die Sie bei der Modellerstellung verwendet haben. In einigen auf dem K-Means-Algorithmus basierenden Modellen wird erwartet, dass ein neuer Fall nur zu einem Cluster gehört. Der Microsoft Clustering-Algorithmus verwendet standardmäßig jedoch die Expectation-Maximization-Methode, bei der davon ausgegangen wird, dass ein neuer Fall potenziell zu jedem Cluster gehören kann. In diesem Modellen kann ein Fall daher mehrere CaseLikelihood-Werte aufweisen, aber nur der standardmäßig zurückgegebene gibt die Wahrscheinlichkeit wieder, dass der Fall zu dem Cluster gehört, der am besten zum neuen Fall passt.

Weitere Informationen

Überprüfen von Modellen und Verwenden von Modellen für Vorhersagen (Data Mining-Add-Ins für Excel)