Tools zum Auswerten der Modellgenauigkeit (Analysis Services - Data Mining)
Die Registerkarte Mininggenauigkeitsdiagramm, die sowohl in SQL Server Management Studio als auch in Business Intelligence Development Studio verfügbar ist, enthält verschiedene Tools für die Überprüfung von Miningmodellen:
Prognosegütediagramme, Gewinndiagramme und Punktdiagramme werden auf der Registerkarte Prognosegütediagramm angezeigt. Verwenden Sie die Registerkarte Eingabeauswahl, um ein Modell auszuwählen und Optionen festzulegen, und klicken Sie dann auf die Registerkarte Prognosegütediagramm, und wählen Sie den gewünschten Diagrammtyp aus der Liste Diagrammtyp aus. Ein Punktdiagramm wird automatisch angezeigt, wenn das Modell eine lineare Regression darstellt.
Klassifikationsmatrizen, auch als Verwirrungsmatrix bezeichnet, können auf der Registerkarte Eingabeauswahl konfiguriert und dann auf der Registerkarte Klassifikationsmatrix angezeigt werden.
Kreuzvalidierungsberichte können auf der Registerkarte Kreuzvalidierung der Registerkarte Mininggenauigkeitsdiagramm konfiguriert und angezeigt werden.
.gif "Hinweis")
HinweisDie Registerkarte Mininggenauigkeitsdiagramm kann nicht für Zeitreihenmodelle verwendet werden.
Prognosegütediagramm
Ein Prognosegütediagramm stellt die Ergebnisse von Vorhersageabfragen aus einem Testdataset den bekannten Werten für die im Dataset vorhandene vorhersagbare Spalte grafisch gegenüber. Das Diagramm zeigt die Ergebnisse des Miningmodells zusammen mit einer Darstellung der Ergebnisse an, die ein ideales Modell produzieren würde, sowie mit einer Darstellung der Ergebnisse zufälliger Schätzungen. Jede Verbesserung über die Zufallslinie wird als Lift bezeichnet. Je mehr Lift das Modell aufweist, desto effektiver ist das Modell. Nur Miningmodelle, die diskrete vorhersagbare Attribute enthalten, können in einem Prognosegütediagramm verglichen werden.
Auf der Registerkarte Eingabeauswahl können Sie das Zielmodell konfigurieren und ein Testdataset wählen, um ein Prognosegütediagramm zu erstellen. Klicken Sie dann auf die Registerkarte Prognosegütediagramm, um das vollständige Diagramm anzuzeigen.
Weitere Informationen finden Sie unter: Prognosegütediagramm (Analysis Services - Data Mining), Vorgehensweisen für Registerkarte 'Mininggenauigkeitsdiagramm', Tools zum Auswerten der Modellgenauigkeit (Analysis Services - Data Mining)
Gewinndiagramm
Ein Gewinndiagramm ist eine Variante des Prognosegütediagramms, die Informationen über Geschäftskosten integriert, die entstehen, wenn die von einem Modell generierten Vorhersagen verwendet werden. Nachdem Sie die Ausgabeposten, beispielsweise die Versandkosten für Mailings, eingegeben haben, zeigt Analysis Services den Lift des Modells an und berechnet den Ertrag der Investition bei Verwendung des Modells.
Auf der Registerkarte Eingabeauswahl können Sie das Zielmodell konfigurieren und ein Testdataset wählen, um ein Gewinndiagramm zu erstellen. Klicken Sie dann auf die Registerkarte Prognosegütediagramm, und wählen Sie aus der Liste DiagrammtypGewinndiagramm aus. Das Dialogfeld Gewinndiagrammeinstellungen wird automatisch geöffnet. Nachdem Sie die speziellen Gewinndiagramm-Parameter konfiguriert haben, wird das auf der Registerkarte Mininggenauigkeitsdiagramm angezeigte Diagramm automatisch geändert und enthält nun Angaben zu Gewinn und Verlust pro Einheit.
Weitere Informationen finden Sie unter: Configuring the Logon Account for Analysis Services Gewinndiagramm (Analysis Services - Data Mining), Dialogfeld Gewinndiagrammeinstellungen (Mininggenauigkeitsdiagrammsicht)
Punktdiagramm
Ein Punktdiagramm zeigt die Genauigkeit eines Modells mit einem fortlaufenden vorhersagbaren Attribut an, indem es für jeden Fall die Istwerte mit den vorhergesagten Werten vergleicht. Ein Punktdiagramm wird immer dann generiert, wenn die vorhersagbaren Attribute über fortlaufende Werte verfügen.
Wenn Ihr Modell die erforderliche vorhersagbare Spalte und die erforderlichen Eingabespalten unterstützt, können Sie auf der Registerkarte Mininggenauigkeitsdiagramm im Data Mining-Designer ein Punktdiagramm erstellen. Verwenden Sie die Registerkarte Eingabeauswahl, um das Zielmodell zu konfigurieren und ein Testdataset auszuwählen. Klicken Sie dann auf die Registerkarte Prognosegütediagramm. Das auf der Registerkarte Mininggenauigkeitsdiagramm angezeigte Diagramm wird automatisch geändert und zeigt die lineare Beziehung zwischen den Eingaben und den vorhergesagten Werten.
Weitere Informationen finden Sie unter Punktdiagramm (Analysis Services - Data Mining)
Klassifikationsmatrix
Die Klassifikationsmatrix bietet eine weitere Möglichkeit, die Genauigkeit der von Miningmodellen in einer Struktur erstellten Vorhersagen zu untersuchen. Um eine Klassifikationsmatrix zu erstellen, ermittelt Analysis Services unter Verwendung der im Testdataset vorhandenen Istwerte die Anzahl schlechter und guter Vorhersagen. Die Matrix ist ein wichtiges Tool, da sie nicht nur die Häufigkeit anzeigt, mit der ein Wert von einem Modell richtig vorhergesagt worden ist, sondern auch, welche Werte das Modell falsch vorhergesagt hat. Eine Klassifikationsmatrix zeigt die tatsächliche Zahl von als wahr positiv, falsch positiv, wahr negativ und falsch negativ klassifizierten Ergebnissen für jedes vorhersagbare Attribut an.
Sie können auf der Registerkarte Mininggenauigkeitsdiagramm des Data Mining-Designers eine Klassifikationsmatrix erstellen. Verwenden Sie zunächst die Registerkarte Eingabeauswahl, um das Zielmodell zu konfigurieren und ein Testdataset auszuwählen. Klicken Sie dann auf die Registerkarte Klassifikationsmatrix. Das Diagramm wird automatisch angezeigt, ohne dass eine weitere Konfiguration erforderlich ist.
Weitere Informationen finden Sie unterKlassifikationsmatrix (Analysis Services Data Mining), Vorgehensweisen für Registerkarte 'Mininggenauigkeitsdiagramm' und Tools zum Auswerten der Modellgenauigkeit (Analysis Services - Data Mining).
Bericht für die Kreuzvalidierung
Die Kreuzvalidierung ist eine erweiterte Data Mining-Technik, mit der Sie die Gültigkeit des Modells messen können. Wenn Sie einen Kreuzvalidierungsbericht erstellen, teilt Analysis Services das Dataset in mehrere Querschnitte auf, erstellt und trainiert automatisch mehrere Modelle für diese Teilmengen und berechnet dann die Genauigkeit aller Modelle. Durch Überprüfung der generierten Statistik können Sie bewerten, wie gut sich ein Modell für verschiedene Datasets eignet, oder ermitteln, welches der verschiedenen Modelle für eine Struktur die besten Ergebnisse liefert.
Sie können auf der Registerkarte Mininggenauigkeitsdiagramm des Data Mining-Designers einen Kreuzvalidierungsbericht erstellen, indem Sie ein Modell oder eine Struktur auswählen und dann auf der Registerkarte Kreuzvalidierung Optionen für die Anzahl der Aufteilungen, das Zielattribut usw. festlegen.
Weitere Informationen finden Sie unter: Configuring the Logon Account for Analysis Services Übergreifende Überprüfung (Analysis Services - Data Mining), Bericht für die Kreuzvalidierung (Analysis Services – Data Mining)