DML_QUANTIZED_LINEAR_MATRIX_MULTIPLY_OPERATOR_DESC 结构 (directml.h)
对量化数据执行矩阵乘法函数。 此运算符在数学上等效于取消输入数量,然后执行矩阵乘法,然后量化输出。
此运算符要求矩阵乘法输入张量为 4D,格式为 { BatchCount, ChannelCount, Height, Width }
。 矩阵乘法运算符将执行独立矩阵乘法的 BatchCount * ChannelCount 数。
例如,如果 ATensor 的 Size 为 { BatchCount, ChannelCount, M, K }
, 而 BTensor的大小为{ BatchCount, ChannelCount, K, N }
, OutputTensor 的 Size 为 { BatchCount, ChannelCount, M, N }
,则矩阵乘法运算符将执行维度 {M,K} x {K,N} = {M,N} 的 BatchCount * ChannelCount 独立矩阵乘法。
去量化函数
f(Input, Scale, ZeroPoint) = (Input - ZeroPoint) * Scale
Quantize 函数
f(Input, Scale, ZeroPoint) = clamp(round(Input / Scale) + ZeroPoint, Min, Max)
语法
struct DML_QUANTIZED_LINEAR_MATRIX_MULTIPLY_OPERATOR_DESC {
const DML_TENSOR_DESC *ATensor;
const DML_TENSOR_DESC *AScaleTensor;
const DML_TENSOR_DESC *AZeroPointTensor;
const DML_TENSOR_DESC *BTensor;
const DML_TENSOR_DESC *BScaleTensor;
const DML_TENSOR_DESC *BZeroPointTensor;
const DML_TENSOR_DESC *OutputScaleTensor;
const DML_TENSOR_DESC *OutputZeroPointTensor;
const DML_TENSOR_DESC *OutputTensor;
};
成员
ATensor
类型: const DML_TENSOR_DESC*
包含 A 数据的张量。 此张量维度应为 { BatchCount, ChannelCount, M, K }
。
AScaleTensor
类型: const DML_TENSOR_DESC*
包含 ATensor 刻度数据的张量。 如果需要按张量量化,则 的预期维度 AScaleTensor
为 { 1, 1, 1, 1 }
,或者 { 1, 1, M, 1 }
如果需要每行量化。 这些刻度值用于取消 A 值数量。
AZeroPointTensor
类型:_Maybenull_ const DML_TENSOR_DESC*
包含 ATensor 零点数据的可选张量。 如果需要按张量量化,或者{ 1, 1, M, 1 }
需要每行量化,则 AZeroPointTensor { 1, 1, 1, 1 }
的预期维度为。 这些零点值用于取消 ATensor 值的量化。
BTensor
类型: const DML_TENSOR_DESC*
包含 B 数据的张量。 此张量维度应为 { BatchCount, ChannelCount, K, N }
。
BScaleTensor
类型: const DML_TENSOR_DESC*
包含 BTensor 刻度数据的张量。 如果需要按张量量化,则 的预期维度 BScaleTensor
为 { 1, 1, 1, 1 }
,或者 { 1, 1, 1, N }
如果需要每列量化。 这些刻度值用于取消 BTensor 值的范围。
BZeroPointTensor
类型:_Maybenull_ const DML_TENSOR_DESC*
包含 BTensor 零点数据的可选张量。 如果需要按张量量化,则 的预期维度 BZeroPointTensor
为 { 1, 1, 1, 1 }
,或者 { 1, 1, 1, N }
如果需要每列量化。 这些零点值用于取消 BTensor 值的量化。
OutputScaleTensor
类型: const DML_TENSOR_DESC*
包含 OutputTensor 刻度数据的张量。 如果需要按张量量子化,或{ 1, 1, M, 1 }
需要每行量化,则 的预期维度OutputScaleTensor
为 { 1, 1, 1, 1 }
。 此缩放值用于取消 量化 OutputTensor 值。
OutputZeroPointTensor
类型:_Maybenull_ const DML_TENSOR_DESC*
包含 OutputTensor 零点数据的可选张量。 如果需要按张量量子化,或{ 1, 1, M, 1 }
需要每行量化,则 的预期维度OutputZeroPointTensor
为 { 1, 1, 1, 1 }
。 此零点值用于取消 量化 OutputTensor 值。
OutputTensor
类型: const DML_TENSOR_DESC*
要向其写入结果的张量。 此张量的维度为 { BatchCount, ChannelCount, M, N }
。
可用性
此运算符是在 中引入的 DML_FEATURE_LEVEL_2_1
。
张量约束
- AScaleTensor、 AZeroPointTensor、 BScaleTensor、 BZeroPointTensor、 OutputScaleTensor 和 OutputZeroPointTensor 必须具有相同的 DimensionCount。
- ATensor、 BTensor 和 OutputTensor 必须具有相同的 DimensionCount。
- BTensor 和 BZeroPointTensor 必须具有相同的 数据类型。
- OutputTensor 和 OutputZeroPointTensor 必须具有相同的 数据类型。
- AScaleTensor、 AZeroPointTensor、 BScaleTensor、 BZeroPointTensor、 OutputScaleTensor 和 OutputZeroPointTensor 必须具有相同的 DimensionCount。
- ATensor 和 AZeroPointTensor 必须具有相同 的数据类型。
Tensor 支持
DML_FEATURE_LEVEL_4_0及更高版本
张 | 种类 | 支持的维度计数 | 支持的数据类型 |
---|---|---|---|
ATensor | 输入 | 2 到 4 | INT8、UINT8 |
AScaleTensor | 输入 | 1 到 4 | FLOAT32 |
AZeroPointTensor | 可选输入 | 1 到 4 | INT8、UINT8 |
BTensor | 输入 | 2 到 4 | INT8、UINT8 |
BScaleTensor | 输入 | 1 到 4 | FLOAT32 |
BZeroPointTensor | 可选输入 | 1 到 4 | INT8、UINT8 |
OutputScaleTensor | 输入 | 1 到 4 | FLOAT32 |
OutputZeroPointTensor | 可选输入 | 1 到 4 | INT8、UINT8 |
OutputTensor | 输出 | 2 到 4 | INT8、UINT8 |
DML_FEATURE_LEVEL_2_1及更高版本
张 | 种类 | 支持的维度计数 | 支持的数据类型 |
---|---|---|---|
ATensor | 输入 | 4 | INT8、UINT8 |
AScaleTensor | 输入 | 4 | FLOAT32 |
AZeroPointTensor | 可选输入 | 4 | INT8、UINT8 |
BTensor | 输入 | 4 | INT8、UINT8 |
BScaleTensor | 输入 | 4 | FLOAT32 |
BZeroPointTensor | 可选输入 | 4 | INT8、UINT8 |
OutputScaleTensor | 输入 | 4 | FLOAT32 |
OutputZeroPointTensor | 可选输入 | 4 | INT8、UINT8 |
OutputTensor | 输出 | 4 | INT8、UINT8 |
要求
最低受支持的客户端 | Windows 10内部版本 20348 |
最低受支持的服务器 | Windows 10内部版本 20348 |
标头 | directml.h |
反馈
https://aka.ms/ContentUserFeedback。
即将发布:在整个 2024 年,我们将逐步淘汰作为内容反馈机制的“GitHub 问题”,并将其取代为新的反馈系统。 有关详细信息,请参阅:提交和查看相关反馈