通过

  • 项目

数据挖掘概念（Analysis Services - 数据挖掘）

数据挖掘是从大型数据集中发现可行信息的过程。数据挖掘使用数学分析来派生存在于数据中的模式和趋势。通常，由于这些模式的关系过于复杂或涉及数据过多，因此使用传统数据浏览无法发现这些模式。

这些模式和趋势可以被收集在一起并定义为“数据挖掘模型”。挖掘模型可以应用于特定的业务方案，例如：

  • 预测销售额

  • 向特定客户发送邮件

  • 确定可能需要搭售的产品

  • 查找客户将产品放入购物车的顺序序列

生成挖掘模型是大型过程的一部分，此过程包括从提出相关数据问题并创建模型以解答这些问题到将模型部署到工作环境的所有事情。此过程可以使用下列六个基本步骤进行定义：

  1. 定义问题

  2. 准备数据

  3. 浏览数据

  4. 生成模型

  5. 浏览和验证模型

  6. 部署和更新模型

以下关系图说明过程中每个步骤之间的关系，以及 Microsoft SQL Server 中可用于完成每个步骤的技术。

数据挖掘进程中的关键步骤

尽管关系图中所示的过程是一个循环过程，但是每个步骤并不需要直接执行到下一个步骤。创建数据挖掘模型是一个动态、交互的过程。浏览完数据之后，您可能会发现数据不足，无法创建适当的挖掘模型，因此必须查找更多的数据。或者，您可以生成数个模型，但随后发现这些模型无法充分地回答定义的问题，因此必须重新定义问题。您可能必须在部署模型之后对其进行更新，因为又出现了更多的可用数据。可能需要多次重复过程中的每个步骤才能创建良好的模型。

SQL Server 2008 提供用于创建和使用数据挖掘模型的集成环境，称为 Business Intelligence Development Studio。该环境包括数据挖掘算法和工具，使用这些算法和工具更易于生成用于各种项目的综合解决方案。有关使用 BI Development Studio 的详细信息，请参阅使用 Business Intelligence Development Studio 进行开发和实现。

创建数据挖掘解决方案后，您可以使用 SQL Server Management Studio 维护和浏览该解决方案。有关详细信息，请参阅 管理数据挖掘结构和模型。

有关如何将 SQL Server 工具应用于业务方案的示例，请参阅数据挖掘基础教程。

定义问题

与以下关系图的突出显示相同，数据挖掘过程的第一步就是明确定义业务问题，并考虑解答该问题的方法。

数据挖掘的第一个步骤：定义问题

该步骤包括分析业务需求，定义问题的范围，定义计算模型所使用的度量，以及定义数据挖掘项目的特定目标。这些任务转换为下列问题：

  • 您在查找什么？您要尝试找到什么类型的关系？

  • 您要尝试解决的问题是否反映了业务策略或流程？

  • 您要通过数据挖掘模型进行预测，还是仅仅查找受关注的模式和关联？

  • 您要尝试预测数据集的哪个属性？

  • 列如何关联？或者如果有多个表，则表如何关联？

  • 如何分发数据？数据是否具有季节性性质？数据是否可以准确反映业务流程？

若要回答这些问题，可能必须进行数据可用性研究，必须调查业务用户对可用数据的需求。如果数据不支持用户的需求，则还必须重新定义项目。

此外，还需要考虑如何将模型结果纳入用于度量业务进度的关键绩效指标 (KPI)。

准备数据

如以下关系图中突出显示的那样，数据挖掘过程的第二步就是合并和清除定义问题步骤中标识的数据。

数据挖掘的第二个步骤：准备数据

数据可以分散在公司的各个部门并以不同的格式存储，或者可能包含错误项或缺少项之类的不一致性。例如，数据可能显示客户在产品推向市场之前购买该产品，或者客户在距离她家 2,000 英里的商店定期购物。

数据清除不仅仅是删除错误数据，还包括查找数据中的隐含相关性、标识最准确的数据源并确定哪些列最适合用于分析。例如，应当使用发货日期还是订购日期？最佳销售影响因素是数量、总价格，还是打折价格？不完整数据、错误数据和输入看似独立，但实际上有很强的关联性，它们可以以意想不到的方式影响模型的结果。因此，在开始生成挖掘模型之前，应确定这些问题及其解决方式。

通常，您使用的是一个非常大的数据集，并且无法仔细查看每个事务。因此，必须使用某种自动化的形式（如，在 Integration Services 中）来浏览数据并找到这些不一致。Microsoft Integration Services 包含完成该步骤所需的所有工具，步骤内容包括转换到自动执行数据清除和合并。有关详细信息，请参阅 Business Intelligence Development Studio 中的 Integration Services。

需要特别注意的是用于数据挖掘的数据不必存储在联机分析处理 (OLAP) 多维数据集中，或者甚至不必存储在关系数据库中，但是您可以将它们作为数据源使用。您可以使用已被定义为 Analysis Services 数据源的任何数据源执行数据挖掘。这些数据源可以包括文本文件、Excel 工作簿或来自其他外部提供程序的数据。有关详细信息，请参阅定义数据源 (Analysis Services)。

浏览数据

如以下关系图中突出显示的那样，数据挖掘过程的第三步就是浏览已准备的数据。

数据挖掘的第三个步骤：浏览数据

您必须了解数据，以便在创建挖掘模型时作出正确的决策。浏览技术包括计算最小值和最大值，计算平均偏差和标准偏差，以及查看数据的分布。例如，通过查看最大值、最小值和平均值，您可以确定数据并不能代表客户或业务流程，因此您必须获取更多均衡数据或查看您的预期结果所依据的假定。标准偏差和其他分发值可以提供有关结果的稳定性和准确性的有用信息。大型标准偏差可以指示添加更多数据可以帮助改进模型。与标准分发偏差很大的数据可能已被扭曲，抑或准确反映了现实问题，但很难使模型适合数据。

借助您自己对业务问题的理解来浏览数据，您可以确定数据集是否包含缺陷数据，随后您可以设计用于解决该问题的策略或者更深入地理解业务的典型行为。

BI Development Studio 中的数据源视图设计器包含数种可用于浏览数据的工具。有关详细信息，请参阅定义数据源视图 (Analysis Services) 或在数据源视图中浏览数据 (Analysis Services)。

此外，在创建模型时，Analysis Services 还会针对该模型中包含的数据自动创建统计摘要，您可以进行查询以便用于报告或进一步分析。有关详细信息，请参阅查询数据挖掘模型（Analysis Services – 数据挖掘）。

生成模型

如以下关系图中突出显示的那样，数据挖掘过程的第四步就是生成一个或多个挖掘模型。您将使用从浏览数据步骤中获得的知识来帮助定义和创建模型。

数据挖掘的第四个步骤：生成挖掘模型

通过创建挖掘结构定义要使用的数据。挖掘结构定义数据源，但只有对挖掘结构进行处理后，该结构才会包含任何数据。处理挖掘结构时，Analysis Services 生成可用于分析的聚合信息以及其他统计信息。基于该结构的所有挖掘模型均可使用该信息。有关挖掘结构如何与挖掘模型关联的详细信息，请参阅逻辑体系结构（Analysis Services - 数据挖掘）。

在处理模型之前，数据挖掘模型只是一个容器，指定用于输入的列、要预测的属性以及指示算法如何处理数据的参数。处理模型也称为“定型”。定型表示向结构中的数据应用特定数学算法以便提取模式的过程。在定型过程中找到的模式取决于选择的定型数据、所选算法以及如何配置该算法。SQL Server 2008 包含多种不同算法，每种算法都适合不同的任务类型，并且每种算法都创建不同的模型类型。有关 SQL Server 2008 中提供的算法的列表，请参阅数据挖掘算法（Analysis Services – 数据挖掘）。

此外，还可以使用参数调整每种算法，并向定型数据应用筛选器，以便仅使用数据子集，进而创建不同结果。在通过模型传递数据之后，即可查询挖掘模型对象包含的摘要和模式，并将其用于预测。

您可以在 BI Development Studio 中使用数据挖掘向导或使用数据挖掘扩展插件 (DMX) 语言来定义新的模型。有关如何使用数据挖掘向导的详细信息，请参阅数据挖掘向导（Analysis Services - 数据挖掘）。有关如何使用 DMX 的详细信息，请参阅数据挖掘扩展插件 (DMX) 参考。

务必记住，只要数据发生更改，必须更新数据挖掘结构和挖掘模型。重新处理挖掘结构以进行更新时，Analysis Services 检索源中的数据，包括任何新数据（如果动态更新源），并重新填充挖掘结构。如果您具有基于结构的模型，则可以选择更新基于该结构的模型，这表示可以根据新数据保留模型，或者也可以使模型保持原样。有关详细信息，请参阅处理数据挖掘对象。

浏览和验证模型

如以下关系图中突出显示的那样，数据挖掘过程的第五步就是浏览您已经生成的挖掘模型并测试其有效性。

数据挖掘的第五个步骤：验证挖掘模型

在将模型部署到生产环境之前，您需要测试模型的性能。此外，在生成模型时，您通常需要使用不同配置创建多个模型，并对所有这些模型进行测试，以便查看哪个模型为您的问题和数据生成最佳结果。

Analysis Services 提供的工具可帮助您将数据分成定型数据集和测试数据集，使您可以更准确地评估基于相同数据的所有模型的性能。您使用定型数据集生成模型，并通过创建预测查询来使用测试数据集测试模型的准确性。在 SQL Server 2008 Analysis Services 中，生成挖掘模型时可自动执行该分区操作。有关详细信息，请参阅验证数据挖掘模型（Analysis Services – 数据挖掘）。

可以使用 BI Development Studio 中数据挖掘设计器内的查看器来浏览算法发现的趋势和模式。有关详细信息，请参阅查看数据挖掘模型。还可以使用该设计器中的工具（如，提升图和分类矩阵）来测试模型创建预测的性能。若要验证模型是否特定于您的数据，或者是否可用于推断总体，您可以使用称为“交叉验证”的统计方法来自动创建数据子集，并参照每个子集测试模型。有关详细信息，请参阅验证数据挖掘模型（Analysis Services – 数据挖掘）。

如果您在生成模型步骤中创建的所有模型都无法正常工作，则必须返回到此过程的上一个步骤，并重新定义问题或重新调查原始数据集中的数据。

部署和更新模型

如下面的关系图中突出显示的那样，数据挖掘过程的最后一步是将性能最佳的模型部署到生产环境。

数据挖掘的第六个步骤：部署挖掘模型

当生产环境中部署了挖掘模型之后，便可根据您的需求执行许多任务。下面是一些可以执行的任务：

  • 使用模型创建预测，然后可以使用这些预测作出业务决策。SQL Server 提供可用于创建预测查询的 DMX 语言，同时还提供有助于生成查询的预测查询生成器。有关详细信息，请参阅数据挖掘扩展插件 (DMX) 参考。

  • 创建内容查询以检索模型中的统计信息、规则或公式。有关详细信息，请参阅查询数据挖掘模型（Analysis Services – 数据挖掘）。

  • 直接将数据挖掘功能嵌入到应用程序。您可以包括含有一组对象的分析管理对象 (AMO)，应用程序可使用这组对象创建、更改、处理以及删除挖掘结构和挖掘模型。另外，可以直接将 XML for Analysis (XMLA) 消息发送到 Analysis Services 实例。 有关详细信息，请参阅开发（Analysis Services - 数据挖掘）。

  • 使用 Integration Services 创建一个包，在这个包中，挖掘模型用于将传入数据合理地分离到多个表中。例如，如果数据库不断地通过潜在客户进行更新，则可以结合使用挖掘模型和 Integration Services 将传入数据拆分为可能购买产品的客户和不可能购买产品的客户。有关详细信息，请参阅 Integration Services 的典型用途。

  • 创建可让用户直接对现有挖掘模型进行查询的报表。有关详细信息，请参阅 Business Intelligence Development Studio 中的 Reporting Services (SSRS)。

  • 在查看和分析后更新模型。任何更新都要求您重新处理该模型。有关详细信息，请参阅处理结构和模型（Analysis Services - 数据挖掘）。

  • 随着组织传入的数据不断增多，应将动态更新模型并进行一致更改（以便提高解决方案的效率）作为部署策略的一部分。有关详细信息，请参阅管理数据挖掘结构和模型。