DML_QUANTIZED_LINEAR_MATRIX_MULTIPLY_OPERATOR_DESC 结构 (directml.h)

  • 项目

对量化数据执行矩阵乘法函数。 此运算符在数学上等效于取消输入数量，然后执行矩阵乘法，然后量化输出。

此运算符要求矩阵乘法输入张量为 4D，格式为 { BatchCount, ChannelCount, Height, Width }。 矩阵乘法运算符将执行独立矩阵乘法的 BatchCount * ChannelCount 数。

例如，如果 ATensor 的 Size 为 { BatchCount, ChannelCount, M, K }， 而 BTensor的大小为{ BatchCount, ChannelCount, K, N }， OutputTensor 的 Size 为 { BatchCount, ChannelCount, M, N }，则矩阵乘法运算符将执行维度 {M，K} x {K，N} = {M，N} 的 BatchCount * ChannelCount 独立矩阵乘法。

去量化函数

f(Input, Scale, ZeroPoint) = (Input - ZeroPoint) * Scale

Quantize 函数

f(Input, Scale, ZeroPoint) = clamp(round(Input / Scale) + ZeroPoint, Min, Max)

语法

struct DML_QUANTIZED_LINEAR_MATRIX_MULTIPLY_OPERATOR_DESC {
  const DML_TENSOR_DESC *ATensor;
  const DML_TENSOR_DESC *AScaleTensor;
  const DML_TENSOR_DESC *AZeroPointTensor;
  const DML_TENSOR_DESC *BTensor;
  const DML_TENSOR_DESC *BScaleTensor;
  const DML_TENSOR_DESC *BZeroPointTensor;
  const DML_TENSOR_DESC *OutputScaleTensor;
  const DML_TENSOR_DESC *OutputZeroPointTensor;
  const DML_TENSOR_DESC *OutputTensor;
};

成员

ATensor

类型： const DML_TENSOR_DESC*

包含 A 数据的张量。 此张量维度应为 { BatchCount, ChannelCount, M, K }。

AScaleTensor

类型： const DML_TENSOR_DESC*

包含 ATensor 刻度数据的张量。 如果需要按张量量化，则 的预期维度 AScaleTensor 为 { 1, 1, 1, 1 } ，或者 { 1, 1, M, 1 } 如果需要每行量化。 这些刻度值用于取消 A 值数量。

AZeroPointTensor

类型：_Maybenull_ const DML_TENSOR_DESC*

包含 ATensor 零点数据的可选张量。 如果需要按张量量化，或者{ 1, 1, M, 1 }需要每行量化，则 AZeroPointTensor { 1, 1, 1, 1 } 的预期维度为。 这些零点值用于取消 ATensor 值的量化。

BTensor

类型： const DML_TENSOR_DESC*

包含 B 数据的张量。 此张量维度应为 { BatchCount, ChannelCount, K, N }。

BScaleTensor

类型： const DML_TENSOR_DESC*

包含 BTensor 刻度数据的张量。 如果需要按张量量化，则 的预期维度 BScaleTensor 为 { 1, 1, 1, 1 } ，或者 { 1, 1, 1, N } 如果需要每列量化。 这些刻度值用于取消 BTensor 值的范围。

BZeroPointTensor

类型：_Maybenull_ const DML_TENSOR_DESC*

包含 BTensor 零点数据的可选张量。 如果需要按张量量化，则 的预期维度 BZeroPointTensor 为 { 1, 1, 1, 1 } ，或者 { 1, 1, 1, N } 如果需要每列量化。 这些零点值用于取消 BTensor 值的量化。

OutputScaleTensor

类型： const DML_TENSOR_DESC*

包含 OutputTensor 刻度数据的张量。 如果需要按张量量子化，或{ 1, 1, M, 1 }需要每行量化，则 的预期维度OutputScaleTensor为 { 1, 1, 1, 1 } 。 此缩放值用于取消 量化 OutputTensor 值。

OutputZeroPointTensor

类型：_Maybenull_ const DML_TENSOR_DESC*

包含 OutputTensor 零点数据的可选张量。 如果需要按张量量子化，或{ 1, 1, M, 1 }需要每行量化，则 的预期维度OutputZeroPointTensor为 { 1, 1, 1, 1 } 。 此零点值用于取消 量化 OutputTensor 值。

OutputTensor

类型： const DML_TENSOR_DESC*

要向其写入结果的张量。 此张量的维度为 { BatchCount, ChannelCount, M, N }。

可用性

此运算符是在 中引入的 DML_FEATURE_LEVEL_2_1。

张量约束

  • AScaleTensor、 AZeroPointTensor、 BScaleTensor、 BZeroPointTensor、 OutputScaleTensor 和 OutputZeroPointTensor 必须具有相同的 DimensionCount。
  • ATensor、 BTensor 和 OutputTensor 必须具有相同的 DimensionCount。
  • BTensor 和 BZeroPointTensor 必须具有相同的 数据类型。
  • OutputTensor 和 OutputZeroPointTensor 必须具有相同的 数据类型。
  • AScaleTensor、 AZeroPointTensor、 BScaleTensor、 BZeroPointTensor、 OutputScaleTensor 和 OutputZeroPointTensor 必须具有相同的 DimensionCount。
  • ATensor 和 AZeroPointTensor 必须具有相同 的数据类型。

Tensor 支持

DML_FEATURE_LEVEL_4_0及更高版本

张 种类 支持的维度计数 支持的数据类型
ATensor 输入 2 到 4 INT8、UINT8
AScaleTensor 输入 1 到 4 FLOAT32
AZeroPointTensor 可选输入 1 到 4 INT8、UINT8
BTensor 输入 2 到 4 INT8、UINT8
BScaleTensor 输入 1 到 4 FLOAT32
BZeroPointTensor 可选输入 1 到 4 INT8、UINT8
OutputScaleTensor 输入 1 到 4 FLOAT32
OutputZeroPointTensor 可选输入 1 到 4 INT8、UINT8
OutputTensor 输出 2 到 4 INT8、UINT8

DML_FEATURE_LEVEL_2_1及更高版本

张 种类 支持的维度计数 支持的数据类型
ATensor 输入 4 INT8、UINT8
AScaleTensor 输入 4 FLOAT32
AZeroPointTensor 可选输入 4 INT8、UINT8
BTensor 输入 4 INT8、UINT8
BScaleTensor 输入 4 FLOAT32
BZeroPointTensor 可选输入 4 INT8、UINT8
OutputScaleTensor 输入 4 FLOAT32
OutputZeroPointTensor 可选输入 4 INT8、UINT8
OutputTensor 输出 4 INT8、UINT8

要求

   
最低受支持的客户端 Windows 10内部版本 20348
最低受支持的服务器 Windows 10内部版本 20348
标头 directml.h