适用于:
SQL Server 2019 及更早版本的 Analysis Services
Azure Analysis Services
Fabric/Power BI Premium
重要
SQL Server 2017 Analysis Services 中弃用了数据挖掘,现已在 SQL Server 2022 Analysis Services 中停止使用。 对于已弃用和停止使用的功能,文档不会更新。 若要了解详细信息,请参阅 Analysis Services 向后兼容性。
正确处理 缺失值 对于有效建模非常重要。 本部分介绍缺失值,并介绍如何在生成数据挖掘结构和模型时使用SQL Server Analysis Services特征来处理它们。
数据挖掘中缺失值的定义
缺失的值可以表示多种不同的内容。 也许字段不适用,事件未发生,或者数据不可用。 输入数据的人可能不知道正确的值,或者不关心字段是否未填写。
缺失值在很多数据挖掘方案中都提供了重要信息。 缺失值的含义在很大程度上取决于上下文。 例如,发票列表中日期缺失与指示员工入职日期的列中缺少日期,两者的含义有本质不同。 通常,SQL Server Analysis Services 将缺失值视为信息性值,并调整将缺失值合并到计算中的概率。 这样做可以确保模型平衡,并且不会对现有事例进行过重的权重。
SQL Server Analysis Services提供了两种处理缺失值的机制。 第一种方法控制挖掘结构中的 null 处理。 每个算法以不同的方式实现第二种方法,以处理和计算允许 null 值的模型中的缺失值。
指定 null 值的处理方式
数据源可能将缺失值表示为 null、空电子表格单元格或其他代码, N/A 或人工值,例如 9999。 但是,出于数据挖掘目的,仅将 null 视为缺失值。 如果数据包含占位符值而不是 null 值,则它们可能会影响模型的结果,因此应将其替换为 null 或推断正确的值(如果可能)。 有多种工具可用于推断和填充适当的值,例如 SQL Server Integration Services 中的查找转换或数据探查器任务,或者 Excel 数据挖掘插件中提供的示例填充工具。
如果要建模的任务不允许列中缺少值,请在定义挖掘结构时应用 NOT_NULL 建模标志。 此标志表明,如果某种情况没有适当的值,则处理应判定为失败。 如果在处理模型时发生此错误,可以记录错误并采取措施更正提供给模型的数据。
缺失状态的计算
数据挖掘算法将缺失值视为信息性值。 在案例表中,Missing 是一个有效状态。 数据挖掘模型可以使用其他值来预测值是否缺失,因此缺失值不是错误。
创建挖掘模型时,所有离散列都会自动将 缺少 状态添加到模型中。 例如,如果输入列 [Gender] 包含“男性”和“女性”值,则模型将添加第三个值 “Missing”。 该列的直方图包括处于缺失状态的事例数。 如果“性别”列未缺少任何值,则直方图显示“缺失”状态在 0 种情况下。
当你认为数据可能没有所有可能值的示例时,默认包含 缺失 状态的理由就变得清晰了,并且你不希望模型仅因为数据中没有示例而排除这种可能性。 例如,如果商店的销售数据显示购买特定产品的所有客户都是女性,你不应该创建一个模型来预测只有女性能够购买该产品。 相反,SQL Server Analysis Services 会添加额外的未知值的占位符,称为 Missing,作为适应可能的其他状态的方法。
例如,下表显示了为 Bike Buyer 教程创建的决策树模型中(全部)节点的值分布。 在示例方案中,[Bike Buyer] 列是可预测属性,其中 1 表示“是”,0 表示“否”。
| 价值 | 案例 |
|---|---|
| 0 | 9296 |
| 1 | 9098 |
| 失踪 | 0 |
该分布显示,大约一半的客户购买了自行车,而另一半没有购买。 此数据集中的每个事例在 [Bike Buyer] 列中都有一个值,因此 缺失 值的计数为零。 如果某个个案在 [Bike Buyer] 字段中为 null 值,SQL Server Analysis Services 将该行计为具有缺失值的个案。
如果输入是连续列,则模型会为该属性制表两种可能的状态: 现有 和 缺失。 换句话说,该列包含某些数值数据类型的值,或者不包含任何值。 对于具有值的情况,模型将计算平均值、标准偏差和其他有意义的统计信息。 对于没有值的情况,模型提供缺失值的计数,并相应地调整预测。 调整预测的方法因算法而异,如下一节所述。
注释
对于嵌套表中的属性,缺失值不会提供信息。 例如,如果客户未购买产品,则嵌套 产品 表没有该产品的行,并且挖掘模型不会为其创建属性。 若要识别未购买某些产品的客户,请使用模型筛选器中的 NOT EXISTS 语句筛选嵌套表中不存在的产品。 有关详细信息,请参阅 将筛选器应用于挖掘模型。
针对缺失状态调整概率
除了计算值外,SQL Server Analysis Services 还计算数据集中任何值的概率。 相同的计算适用于 Missing 值。 例如,下表显示了上一示例中事例的概率:
| 价值 | 案例 | 概率 |
|---|---|---|
| 0 | 9296 | 50.55% |
| 1 | 9098 | 49.42% |
| 失踪 | 0 | 0.03% |
当事例数为 0 时,Missing 值的概率却为 0.03%,这似乎有些奇怪。 这种行为是有意如此的,属于一项调整,可让模型妥善处理未知值。
一般情况下,概率计算为有利事例除以所有可能的事例。 在此示例中,该算法计算满足特定条件([Bike Buyer] = 1 或 [Bike Buyer] = 0)的事例的总和,并将该数字除以总行数。 为了将 缺失 情况考虑在内,该算法会在所有可能情况的数量上加 1。 因此,未知事例的概率不再是零,而是一个非常小的数字,表明状态只是不可能的,并非不可能。
较小的 Missing 值不会更改预测,但当历史数据不包含每个可能的结果时,它可改进建模。
注释
数据挖掘提供程序以不同的方式处理缺失值。 例如,某些提供程序将嵌套列中的缺失数据视为稀疏表示,将非嵌套列中的缺失数据视为随机缺失。
如果数据指定每个结果,请在挖掘结构列上设置NOT_NULL建模标志以防止概率调整。
注释
每个算法(包括来自第三方插件的自定义算法)都可以以不同的方式处理缺失值。
在决策树模型中特殊处理缺失值
Microsoft决策树算法计算的缺失值概率与其他算法不同。 算法不是在总案例数上加 1,而是使用不同的公式来对 缺失 状态进行调整。
在决策树模型中,使用以下公式计算 缺失 状态的概率:
StateProbability = (NodePriorProbability)* (StateSupport + 1) / (NodeSupport + TotalStates)
决策树算法提供了一个额外的调整,可帮助算法补偿模型上存在筛选器,这可能会在训练期间排除许多状态。
在 2017 SQL Server中,如果某个状态在训练期间存在,但在某个节点中具有零支持,则算法会进行标准调整。 但是,如果在训练期间从未遇到某个状态,则算法会将概率设置为完全为零。 此调整不仅适用于 缺失 状态,也适用于训练数据中存在但因模型筛选而支持度为零的其他状态。
此附加调整会导致以下公式:
如果该状态在训练集中没有支持,则StateProbability = 0.0
否则,状态概率 = (节点先验概率)* (状态支持 + 1)/ (节点支持 + 具有非零支持的总状态数)
这种调整的净效果是保持树的稳定性。
相关任务
这些资源说明如何处理缺失值。
| Tasks | Links |
|---|---|
| 向单个模型列添加标志以控制模型如何处理缺失值 | 查看或更改建模标志(数据挖掘) |
| 设置挖掘模型属性以控制模型如何处理缺失值 | 更改挖掘模型的属性 |
| 在 DMX 中指定建模标志 | 建模标志 (DMX) |
| 更改挖掘结构处理缺失值的方式 | 更改挖掘结构的属性 |