Data Mining-Konzepte (Analysis Services – Data Mining)

Data Mining ist der Prozess der Ermittlung aussagefähiger Informationen aus großen Datensätzen. Data Mining nutzt die mathematische Analyse zur Aufdeckung von Mustern und Trends in Daten. Üblicherweise können diese Muster nicht durch das traditionelle Durchsuchen von Daten ermittelt werden, da die Beziehungen zu komplex sind oder zu viele Daten bestehen.

Diese Muster und Trends können gesammelt und als Data Mining-Modell definiert werden. Miningmodelle werden u. a. auf folgende Geschäftsszenarien angewendet:

• Erstellen von Verkaufsprognosen

• Durchführen von Direktmarketingaktionen, die auf einen bestimmten Kundenkreis abzielen

• Ermitteln von Produkten mit Cross-Selling-Potenzial

• Ermitteln der Reihenfolge, in der Kunden Produkte in den Einkaufswagen legen

Die Erstellung eines Miningmodells muss als Teil eines größeren Prozesses verstanden werden, der sich von der Fragestellung im Hinblick auf die Daten und die Erstellung eines Modells zur Beantwortung dieser Fragen bis hin zur Implementierung des Modells in einer Arbeitsumgebung erstreckt. Ein Data Mining-Prozess besteht im Wesentlichen aus sechs Schritten:

1. Definieren der Problemstellung

2. Vorbereiten der Daten

3. Durchsuchen von Daten

4. Erstellen von Modellen

5. Durchsuchen und Validieren von Modellen

6. Bereitstellen und Aktualisieren von Modellen

Das folgende Diagramm beschreibt das Beziehungsgefüge dieser Schritte und die Technologien in MicrosoftSQL Server 2008, mit denen Sie den jeweiligen Schritt ausführen können.

Obwohl der im Diagramm verdeutlichte Ablauf zirkulär verläuft, folgt nicht jeder Schritt logisch auf den nächsten. Ein Data Mining-Modell ist kein starres Ablaufmodell, sondern ein dynamischer und sich wiederholender Prozess. Nachdem Sie die Daten durchsucht haben, kommen Sie u. U. zu dem Ergebnis, dass Ihr Datenmaterial nicht ausreicht, um die geeigneten Miningmodelle zu erstellen, und dass Sie deshalb nach weiteren Daten suchen müssen. Vielleicht erstellen Sie auch mehrere Modelle und stellen dann fest, dass diese nicht in geeigneter Weise das von Ihnen definierte Problem lösen und dass Sie deshalb das Problem neu definieren müssen. Möglicherweise müssen die Modelle nach ihrer Implementierung angepasst werden, da mehr Daten zur Verfügung stehen. Jeder Schritt des Prozesses kann so oft wiederholt werden, wie es für die Erstellung eines qualifizierten Modells notwendig ist.

SQL Server 2008 stellt mit Business Intelligence Development Studio eine integrierte Umgebung für die Erstellung und Verwendung von Data Mining-Modellen zur Verfügung. Diese beinhaltet Data Mining-Algorithmen und Tools, die es einfach machen, eine umfassende Lösung für ein breites Spektrum an Projekten zu entwickeln. Weitere Informationen zum Verwenden von BI Development Studio finden Sie unter Entwickeln und Implementieren mithilfe von Business Intelligence Development Studio.

Nachdem Sie eine Data Mining-Lösung erstellt haben, können Sie diese mit SQL Server Management Studio pflegen und durchsuchen. Weitere Informationen finden Sie unter Verwalten von Data Mining-Strukturen und -Modellen.

Ein Beispiel dafür, wie die SQL Server-Tools auf ein Geschäftsszenario angewandt werden können, finden Sie unter Lernprogramm zu Data Mining-Grundlagen.

Definieren der Problemstellung

Wie das folgende Diagramm verdeutlicht, besteht der erste Schritt des Data Mining-Prozesses darin, die Problemstellung des Unternehmens exakt zu definieren und Wege zur Problemlösung zu berücksichtigen.

Dieser Schritt schließt das Analysieren der Geschäftsanforderungen, das Festlegen des Problemumfangs, das Definieren der Erfolgsfaktoren für die Modellbewertung und das Formulieren der spezifischen Zielsetzung des Data Mining-Projekts ein. Diese Tasks lassen sich u. a. in folgende Fragen übersetzen:

• Wonach suchen Sie? Welche Art von Beziehung versuchen Sie ausfindig zu machen?

• Spiegelt das Problem, das Sie lösen möchten, die Richtlinien oder Prozesse des Unternehmens wider?

• Möchten Sie mit dem Data Mining-Modell Vorhersagen treffen oder nur interessante Muster oder Zusammenhänge aufdecken?

• Welche Attribute des Datasets möchten Sie vorhersagen?

• Wie stehen die Spalten in Beziehung? Wie stehen die Tabellen miteinander in Beziehung, wenn mehrere Tabellen vorhanden sein sollten?

• Wie sind die Daten gestreut? Sind die Daten saisonbedingt? Spiegeln die Daten die Prozesse des Unternehmens in geeigneter Weise wider?

Um diese Fragen zu beantworten, müssen Sie u. U. im Rahmen einer Datenverfügbarkeitsstudie den Bedarf von Geschäftsanwendern im Hinblick auf die verfügbaren Daten ermitteln. Wenn die Daten den Bedarf der Benutzer nicht unterstützen, müssen Sie das Projekt evtl. neu definieren.

Darüber hinaus müssen Sie die Art und Weise berücksichtigen, in der die Ergebnisse des Modells in die zur Messung des Geschäftserfolgs verwendeten Key Performance Indicators (KPI) eingebunden werden können.

Vorbereiten der Daten

Wie das folgende Diagramm verdeutlicht, besteht der zweite Schritt des Data Mining-Prozesses im Konsolidieren und Bereinigen der im Schritt Definieren der Problemstellung identifizierten Daten.

Daten können im gesamten Unternehmen verstreut und in unterschiedlichen Formaten gespeichert sein. Mitunter weisen sie Inkonsistenzen wie falsche oder fehlende Einträge auf. Es kann beispielsweise vorkommen, dass den Daten zufolge ein Produkt gekauft wurde, das auf dem Markt zu diesem Zeitpunkt noch nicht erhältlich war, oder die Daten zeigen, dass ein Kunde regelmäßig in einem Geschäft 2.000 Meilen von seinem Wohnsitz entfernt Einkäufe tätigt.

Beim Data Cleaning geht es nicht nur um das Löschen von fehlerhaften Daten, sondern auch um das Auffinden versteckter Beziehungen in den Daten, die Identifikation der genauesten Datenquellen und die Festlegung der Spalten, die für die Analyse am geeignetsten sind. Zum Beispiel: Sollte das Versanddatum oder das Bestelldatum verwendet werden? Ist der beste Verkaufseinflussfaktor die Menge, der Gesamtpreis oder ein diskontierter Preis? Unvollständige Daten, falsche Daten und Eingaben, die separat erscheinen, aber tatsächlich stark korrelieren, können die Ergebnisse des Modells in unerwarteter Weise beeinflussen. Daher sollten Sie diese Probleme bestimmen, bevor Sie mit der Erstellung der Miningmodelle beginnen, und festlegen, wie Sie sie beheben wollen.

In der Regel haben Sie es mit sehr umfangreichen Datasets zu tun und können nicht jede Transaktion durchsehen. Deshalb müssen Sie zum Durchsuchen der Daten und Aufdecken von Inkonsistenzen auf automatisierte Funktionen zurückgreifen, wie sie zum Beispiel in Integration Services zur Verfügung stehen. MicrosoftSQL Server 2008 Integration Services (SSIS) enthält alle Tools, die Sie für die Durchführung dieses Schrittes benötigen. Darin eingeschlossen sind auch die Transformationen zum Automatisieren des Datencleanups und der Datenkonsolidierung. Weitere Informationen finden Sie unter Integration Services in Business Intelligence Development Studio.

Wichtig zu erwähnen ist, dass die für das Data Mining verwendeten Daten nicht in einem OLAP-Cube (Online Analytical Processing, Analytische Onlineverarbeitung) oder in einer relationalen Datenbank gespeichert werden müssen, auch wenn beide als Datenquellen verwendet werden können. Das Data Mining kann mit jeder Datenquelle durchgeführt werden, die als Analysis Services-Datenquelle definiert wurde. Hierzu können Textdateien, Excel-Arbeitsmappen oder Daten von anderen externen Anbietern gehören. Weitere Informationen finden Sie unter Definieren von Datenquellen (Analysis Services).

Durchsuchen von Daten

Wie das nachstehende Diagramm verdeutlicht, besteht der dritte Schritt des Data Mining-Prozesses im Durchsuchen der vorbereiteten Daten.

Nur wenn Sie Ihre Datensituation verstanden haben, können Sie beim Erstellen der Miningmodelle sinnvolle Entscheidungen treffen. Zu den Durchsuchungstechniken gehören das Berechnen von Mindest- und Maximalwerten, das Ermitteln von mittleren Abweichungen und Standardabweichungen und das Analysieren der Datenstreuung. Beispielsweise können Sie gegebenenfalls durch Prüfung der Maximal-, Mindest- und Mittelwerte ermitteln, dass die Daten nicht repräsentativ für Ihre Kunden oder Geschäftsprozesse sind und dass Sie daher ausgewogenere Daten benötigen oder die Annahmen prüfen müssen, die Grundlage Ihrer Erwartungen sind. Standardabweichungen und andere Streuungswerte können nützliche Informationen über die Stabilität und Genauigkeit der Ergebnisse bieten. Eine große Standardabweichung kann darauf hinweisen, dass ein weiteres Hinzufügen von Daten bei der Verbesserung des Modells hilfreich sein kann. Daten, die stark von einer Standardverteilung abweichen, können verfälscht sein oder ein genaues Abbild eines realen Problems darstellen. In jedem Fall erschweren Sie die Anpassung eines Modells auf die Daten.

Durch das Durchsuchen der Daten angesichts Ihres eigenen Verständnisses des Geschäftsproblems können Sie entscheiden, ob das Dataset verfälschte Daten enthält. Daraufhin können Sie eine Strategie für die Behebung des Problems ausarbeiten oder ein tieferes Verständnis über die Verhaltensweisen erlangen, die für Ihr Unternehmen typisch sind.

Der Datenquellensicht-Designer in BI Development Studio enthält mehrere Tools zum Durchsuchen von Daten. Weitere Informationen finden Sie unter Entwerfen von Datenquellensichten (Analysis Services) oder Durchsuchen von Daten in einer Datenquellensicht (Analysis Services).

Wenn Sie ein Modell erstellen, erzeugt Analysis Services automatisch statistische Zusammenfassungen der im Modell enthaltenen Daten, auf die Sie zur Verwendung in Berichten oder weiteren Analysen zurückgreifen können. Weitere Informationen finden Sie unter Abfragen von Data Mining-Modellen (Analysis Services - Data Mining).

Erstellen von Modellen

Wie das nachstehende Diagramm verdeutlicht, besteht der vierte Prozessschritt des Data Mining-Prozesses im Generieren eines oder mehrerer Miningmodelle. Sie werden die im Schritt Durchsuchen von Daten gewonnenen Erkenntnisse verwenden, um die Modelle zu definieren und zu erstellen.

Sie legen fest, welche Daten Sie verwenden möchten, indem Sie eine Miningstruktur erstellen. Die Miningstruktur definiert die Datenquelle, aber enthält bis zu ihrer Verarbeitung keine Daten. Wenn Sie die Miningstruktur verarbeiten, erzeugt Analysis Services Aggregate und andere statistische Informationen, die zu Analysezwecken verwendet werden können. Diese Informationen können von allen Miningmodellen verwendet werden, die auf der Struktur basieren. Weitere Informationen dazu, wie Miningstrukturen mit Miningmodellen in Beziehung stehen, finden Sie unter Logische Architektur (Analysis Services - Data Mining).

Bevor das Modell verarbeitet wird, ist ein Miningmodell lediglich ein Container, der die Spalten, die für die Eingabe verwendet werden, die Attribute, die Sie vorhersagen, und die Parameter, die dem Algorithmus sagen, wie die Daten verarbeitet werden, festlegt. Die Verarbeitung eines Modells wird auch als Training bezeichnet. Training bezieht sich auf den Vorgang der Anwendung eines spezifischen mathematischen Algorithmus auf die Daten in der Struktur, um Muster zu extrahieren. Die Muster, die Sie im Trainingsvorgang finden, hängen von der Auswahl der Trainingsdaten, dem von Ihnen ausgewählten Algorithmus und von Ihrer Konfiguration des Algorithmus ab. SQL Server 2008 enthält diverse unterschiedliche Algorithmen, die alle auf einen anderen Tasktyp ausgelegt sind und alle einen anderen Modelltyp erstellen. Eine Liste der bei SQL Server 2008 bereitgestellten Algorithmen finden Sie unter Data Mining-Algorithmen (Analysis Services - Data Mining).

Darüber hinaus können Sie Parameter einsetzen, um jeden Algorithmus anzupassen, und Sie können Filter auf die Trainingsdaten anwenden, um nur eine Teilmenge der Daten zu verwenden, wodurch unterschiedliche Ergebnisse erreicht werden. Nachdem Daten durch das Modell gelaufen sind, enthält das Miningmodellobjekt Zusammenfassungen und Muster, die abgefragt oder für Vorhersagen verwendet werden können.

Ein neues Modell können Sie mithilfe des Data Mining-Assistenten in BI Development Studio oder über die Abfragesprache Data Mining-Erweiterungen (Data Mining Extensions, DMX) definieren. Weitere Informationen zum Verwenden des Data Mining-Assistenten finden Sie unter Data Mining-Assistent (Analysis Services - Data Mining). Weitere Informationen über die Verwendung von DMX finden Sie unter Data Mining-Erweiterungen (DMX) - Referenz.

Es ist zu beachten, dass bei jeder Datenänderung sowohl die Miningstruktur als auch das Miningmodell aktualisiert werden müssen. Wenn Sie eine Miningstruktur durch eine erneute Verarbeitung aktualisieren, ruft Analysis Services Daten von der Quelle ab, einschließlich aller neuen Daten, wenn die Quelle dynamisch aktualisiert wird, und füllt die Miningstruktur neu. Wenn Sie Modelle haben, die auf der Struktur basieren, können Sie auswählen, ob die Modelle, die auf der Struktur basieren, aktualisiert werden sollen, d. h. sie werden mit den neuen Daten erneut trainiert, oder Sie können die Modelle so belassen, wie sie sind. Weitere Informationen finden Sie unter Verarbeiten von Data Mining-Objekten.

Durchsuchen und Validieren von Modellen

Wie das folgende Diagramm verdeutlicht, besteht der fünfte Schritt des Data Mining-Prozesses im Durchsuchen der von Ihnen generierten Miningmodelle und im Testen ihrer Wirksamkeit.

Bevor Sie ein Modell in einer Produktionsumgebung einsetzen, möchten Sie wahrscheinlich testen, wie gut das Modell ist. Ferner erstellt man üblicherweise beim Aufbau eines Modells mehrere Modelle mit unterschiedlichen Konfigurationen und testet alle Modelle, um herauszufinden, welches die besten Ergebnisse für das Problem und die Daten erzielt.

Analysis Services bietet Tools, die hilfreich bei der Trennung Ihrer Daten in Trainings- und Testdatasets sind. So können Sie die Leistungsfähigkeit aller Modelle an den gleichen Daten genau bewerten. Mit dem Trainings-Dataset wird das Modell generiert, während das Test-Dataset mithilfe von Vorhersageabfragen die Genauigkeit des Modells testet. In SQL Server 2008 Analysis Services kann diese Partitionierung während der Erstellung des Miningmodells automatisch erfolgen. Weitere Informationen finden Sie unter Überprüfen von Data Mining-Modellen (Analysis Services - Data Mining).

Die von den Algorithmen ermittelten Trends und Muster können mit den Viewern im Data Mining-Designer in BI Development Studio analysiert werden. Weitere Informationen finden Sie unter Anzeigen eines Data Mining-Modells. Darüber hinaus können Sie testen, wie gut die Modelle Vorhersagen erstellen. Für diese Tasks stehen im Designer Tools wie das Prognosegütediagramm und die Klassifikationsmatrix zur Verfügung. Um zu bestimmen, ob das Modell spezifisch für Ihre Daten ist oder verwendet werden kann, um Rückschlüsse auf die allgemeine Population zu ziehen, können Sie eine statistischeTechnik mit dem Namen Kreuzvalidierung nutzen, um automatisch Teilmengen der Daten zu erstellen und das Modell gegen jede Teilmenge zu testen. Weitere Informationen finden Sie unter Überprüfen von Data Mining-Modellen (Analysis Services - Data Mining).

Wenn keines der Modelle, die Sie im Schritt Erstellen von Modellen erstellt haben, seiner Aufgabe gerecht wird, müssen Sie u. U. zu einem vorhergehenden Prozessschritt zurückkehren und das Problem neu definieren oder die Daten im ursprünglichen Dataset neu analysieren.

Bereitstellen und Aktualisieren von Modellen

Wie das folgende Diagramm verdeutlicht, besteht der letzte Schritt des Data Mining-Prozesses darin, in einer Produktionsumgebung diejenigen Modelle bereitzustellen, die die besten Ergebnisse erzielen.

Sobald die Miningmodelle in eine Produktionsumgebung integriert wurden, stehen sie je nach Bedarf für zahlreiche Tasks zur Verfügung. Sie können u. a. folgende Tasks ausführen:

• Mithilfe der Modelle Vorhersagen erstellen, die für Geschäftsentscheidungen herangezogen werden können. SQL Server stellt die DMX-Sprache zur Verfügung, die Sie zum Erstellen von Vorhersageabfragen verwenden können. Darüber hinaus unterstützt Sie der Generator für Vorhersagebabfragen beim Erstellen der Abfragen. Weitere Informationen finden Sie unter Data Mining-Erweiterungen (DMX) - Referenz.

• Erstellen von Inhaltsabfragen, um Statistik, Regeln oder Formeln für das Modell abzurufen. Weitere Informationen finden Sie unter Abfragen von Data Mining-Modellen (Analysis Services - Data Mining).

• Data Mining-Funktionen in eine Anwendung integrieren. Sie können Analysis Management Objects (AMO) hinzufügen, das mehrere Objekte enthält, mit denen Ihre Anwendung Miningstrukturen und -modelle erstellen, ändern, verarbeiten und löschen. Alternativ können Sie XMLA-Nachrichten (XML for Analysis) direkt an eine Instanz von Analysis Services senden. Weitere Informationen finden Sie unter Entwicklung (Analysis Services - Data Mining).

• Mit Integration Services ein Paket erstellen, in dem mithilfe eines Miningmodells eingehende Daten eigenständig aufgeteilt und mehreren Tabellen zugeordnet werden. Wenn eine Datenbank beispielsweise fortlaufend mit potenziellen Neukunden aktualisiert wird, können Sie ein Miningmodell zusammen mit Integration Services dazu verwenden, die eingehenden Daten zwei verschiedenen Kundengruppen zuzuordnen: einer Gruppe, deren Kunden wahrscheinlich ein Produkt kaufen, und einer anderen, deren Kunden wahrscheinlich kein Produkt kaufen. Weitere Informationen finden Sie unter Typische Verwendungen von SQL Server Integration Services.

• Einen Bericht erstellen, mit dem Abfragen direkt für ein vorhandenes Miningmodell ausgeführt werden können. Weitere Informationen finden Sie unter Reporting Services in Business Intelligence Development Studio.

• Nach Überprüfung und Analyse die Modelle aktualisieren. Jede Aktualisierung erfordert, dass Sie die Modelle erneut verarbeiten. Weitere Informationen finden Sie unter Verarbeiten von Strukturen und Modellen (Analysis Services - Data Mining).

• Eine dynamische Aktualisierung der Modelle, während neue Daten in das Unternehmen kommen, und die konstante Vornahme von Änderungen zur Verbesserung der Effizienz der Lösung sollten Teil der Bereitstellungsstrategie sein. Weitere Informationen finden Sie unter Verwalten von Data Mining-Strukturen und -Modellen.

Siehe auch

Konzepte

Data Mining-Projekte (Analysis Services - Data Mining)

Verwenden der Data Mining-Tools