数据转换
数据转换用于：
- 准备用于模型训练的数据
- 采用 TensorFlow 或 ONNX 格式应用导入的模型
- 通过模型传递数据后对其进行后处理
本指南中的数据转换返回实现 IEstimator 接口的类。 数据转换可以链接在一起。 每个数据转换都需要获取并生成特定类型和格式的数据，链接的参考文档中规定了具体类型和格式。
一些数据转换需要通过定型数据来计算参数。 例如，NormalizeMeanVariance 转换器计算 Fit() 操作期间定型数据的平均值和方差，并在 Transform() 操作中使用这些参数。
另一些数据转换不需要定型数据。 例如，ConvertToGrayscale 转换可以执行 Transform() 操作，而无需在 Fit() 操作期间看到任何定型数据。
列映射和分组
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| Concatenate | 将一个或多个输入列连接到新输出列中 | 是 |
| CopyColumns | 复制和重命名一个或多个输入列 | 是 |
| DropColumns | 删除一个或多个输入列 | 是 |
| SelectColumns | 选择一个或多个不包含输入数据的列 | 是 |
规范化和缩放
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| NormalizeMeanVariance | 减去（定型数据的）平均值，再除以（定型数据的）方差 | 是 |
| NormalizeLogMeanVariance | 根据定型数据的对数进行规范化 | 是 |
| NormalizeLpNorm | 按 lp 范数缩放输入向量，其中 p 为 1、2 或无穷大。 默认为 l2（欧几里得距离）范数 | 是 |
| NormalizeGlobalContrast | 缩放行中的每个值，具体方法是减去行数据的平均值，除以（行数据的）标准差或 l2 范数，再乘以可配置的比例因子（默认值为 2） | 是 |
| NormalizeBinning | 将输入值分配到箱索引，并除以箱数量，以生成介于 0 和 1 之间的浮点值。 计算箱边界是为了在各个箱中均匀分布定型数据 | 是 |
| NormalizeSupervisedBinning | 根据与标签列的相关性，将输入值分配到箱 | 是 |
| NormalizeMinMax | 按定型数据最小值和最大值的差值缩放输入 | 是 |
| NormalizeRobustScaling | 使用可靠的离群值统计信息缩放每个值，这些离群值将数据集中在 0 附近，并根据分位数范围缩放数据。 | 是 |
数据类型转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| ConvertType | 将输入列的类型转换为新类型 | 是 |
| MapValue | 根据提供的映射字典将值映射到键（类别） | 否 |
| MapValueToKey | 通过从输入数据创建映射，将值映射到键（类别） | 是 |
| MapKeyToValue | 将键转换回原始值 | 是 |
| MapKeyToVector | 将键转换回原始值的向量 | 是 |
| MapKeyToBinaryVector | 将键转换回原始值的二元向量 | 否 |
| Hash | 哈希处理输入列中的值 | 是 |
文本转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| FeaturizeText | 将文本列转换为规范化 ngram 和 char-gram 计数的浮点数组 | 否 |
| TokenizeIntoWords | 将一个或多个文本列拆分为各个字词 | 是 |
| TokenizeIntoCharactersAsKeys | 将一个或多个文本列拆分为关于一组主题的各个字符浮点数 | 是 |
| NormalizeText | 更改大小写、删除标注字符、标点符号和数字 | 是 |
| ProduceNgrams | 将文本列转换为一组 ngram 计数（连续单词的序列） | 是 |
| ProduceWordBags | 将文本列转换为一组 ngram 向量计数 | 是 |
| ProduceHashedNgrams | 将文本列转换为已哈希处理的 ngram 计数向量 | 否 |
| ProduceHashedWordBags | 将文本列转换为一组已哈希处理的 ngram 计数 | 是 |
| RemoveDefaultStopWords | 从输入列中删除指定语言的默认停用词 | 是 |
| RemoveStopWords | 从输入列中删除指定的停用词 | 是 |
| LatentDirichletAllocation | 将文档（表示为浮点数向量）转换为关于一组主题的浮点数向量 | 是 |
| ApplyWordEmbedding | 使用预定型模型将文本令牌向量转换为句向量 | 是 |
图像转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| ConvertToGrayscale | 将图像转换为灰度图像 | 否 |
| ConvertToImage | 将像素向量转换为 ImageDataViewType | 否 |
| ExtractPixels | 将输入图像中的像素转换为数字向量 | 否 |
| LoadImages | 将图像从文件夹加载到内存中 | 否 |
| LoadRawImageBytes | 将原始字节的图像加载到新列中。 | 否 |
| ResizeImages | 调整图像大小 | 否 |
| DnnFeaturizeImage | 应用预训练的深度神经网络 (DNN) 模型将输入图像转换为特征向量 | 否 |
分类数据转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| OneHotEncoding | 将一个或多个文本列转换为单热编码向量 | 是 |
| OneHotHashEncoding | 将一个或多个文本列转换为基于哈希的单热编码向量 | 否 |
时序数据转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| DetectAnomalyBySrCnn | 使用 Spectral Residual (SR) 算法检测输入时序数据中的异常 | 否 |
| DetectChangePointBySsa | 使用奇异谱分析 (SSA) 检测时序数据中的更改点 | 否 |
| DetectIidChangePoint | 使用自适应内核密度估计和鞅评分检测独立同分布 (IID) 的时序数据中的更改点 | 否 |
| ForecastBySsa | 使用奇异谱分析 (SSA) 预测时序数据 | 否 |
| DetectSpikeBySsa | 使用奇异谱分析 (SSA) 检测时序数据中的峰值 | 否 |
| DetectIidSpike | 使用自适应内核密度估计和鞅评分检测独立同分布 (IID) 的时序数据中的峰值 | 否 |
| DetectEntireAnomalyBySrCnn | 使用 SRCNN 算法检测整个输入数据的异常。 | 否 |
| DetectSeasonality | 使用傅立叶分析检测季节性。 | 否 |
| LocalizeRootCause | 使用决策树算法从时序输入中找出根本原因。 | 否 |
| LocalizeRootCauses | 从时序输入中中找出根本原因。 | 否 |
缺少值
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| IndicateMissingValues | 新建布尔输出列：如果输入列中缺少值，输出列的值为 true | 是 |
| ReplaceMissingValues | 新建输出列：如果输入列中缺少值，输出列的值设置为默认值，否则设置为输入值 | 是 |
功能选择
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| SelectFeaturesBasedOnCount | 选择非默认值大于阈值的功能 | 是 |
| SelectFeaturesBasedOnMutualInformation | 选择标签列中的数据最依赖的功能 | 是 |
功能转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| ApproximatedKernelMap | 将每个输入向量映射到较低维度的特征空间，在该特征空间中，内积近似于内核函数，这样就可以将特征用作线性算法的输入 | 否 |
| ProjectToPrincipalComponents | 通过应用主成分分析算法来降低输入特征向量的维度 |
解释能力转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| CalculateFeatureContribution | 计算特征向量的每个元素的贡献分数 | 否 |
校准转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| Platt(String, String, String) | 使用带有使用训练数据的参数估计的逻辑回归将二元分类器原始分数转换为类概率 | 是 |
| Platt(Double, Double, String) | 使用带有固定参数的逻辑回归将二元分类器原始分数转换为类概率 | 是 |
| Naive | 通过将分数分配到箱并根据箱之间的分布计算概率将二元分类器原始分数转换为类概率 | 是 |
| Isotonic | 通过将分数分配到箱将二元分类器原始分数转换为类概率（使用训练数据估计边界位置和箱的大小） | 否 |
深度学习转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| ApplyOnnxModel | 使用导入的 ONNX 模型转换输入数据 | 否 |
| LoadTensorFlowModel | 使用导入的 TensorFlow 模型转换输入数据 | 否 |
自定义转换
| 转换 | 定义 | ONNX 可导出 |
|---|---|---|
| FilterByCustomPredicate | 删除指定谓词返回 true 的行。 | 否 |
| FilterByStatefulCustomPredicate | 删除指定谓词返回 true 但允许指定状态的行。 | 否 |
| CustomMapping | 使用用户定义映射将现有列转换为新列 | 否 |
| Expression | 应用表达式将列转换为新列 | 否 |
