D3D12 AV1 视频编码

Direct3D12 视频编码功能经过扩展，以支持从 Windows 11 版本 24H2 (WDDM 3.2) 开始的 AV1 编码。 本文介绍现有 D3D12 视频编码 DDI 需要修改和新结构来支持 AV1 编码的扩展点。 有关详细信息，包括应用程序级详细信息，请参阅 AV1 D3D12 视频编码规范。

对速率控制的扩展

以下现有枚举通过速率控制扩展和速率控制支持进行更新：

• 将速率控制支持标志添加到 D3D12DDI_VIDEO_ENCODER_SUPPORT_FLAGS_0083_0

• 将速率控制标志添加到 D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_FLAGS_0080

• 添加了以下扩展（扩展 1）D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_XXX1 结构，并更新了 D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_CONFIGURATION_PARAMS 以包括它们。 所有模式均添加了 QualityVsSpeed；此外，还向 _QVBR1 添加了 VBVCapacity 和 InitialVBVFullness。

  • D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_CQP1_0096
  • D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_CBR1_0096
  • D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_VBR1_0096
  • D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_QVBR1_0096
  • D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_ABSOLUTE_QP_MAP_0096

启用 D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_FLAG_0096_ENABLE_EXTENSION1_SUPPORT 后，扩展速率控制结构用于 D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_CONFIGURATION_PARAMS_0080_2.pConfiguration_XXX；否则，根据 D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_FLAGS_0080 参考页上记录的表禁用时，将使用旧结构。

视频编码支持扩展

扩展了现有的视频相关框架，以允许驱动程序报告 AV1 视频编码支持和功能。 本节列出了用于查询和报告 AV1 视频编码支持的新增或更新的结构和枚举。

• D3D12DDI_FEATURE_VERSION_VIDEO_0095_0 是定义在 Windows 11 版本 24H2 (WDDM 3.2) 中引入的所有 D3D12 视频编码里程碑的最低实现的版本号

• D3D12DDICAPS_TYPE_VIDEO_0020 枚举已扩展为包括以下视频编码支持值：

  • D3D12DDICAPS_TYPE_VIDEO_0095_ENCODER_FRAME_SUBREGION_LAYOUT_CONFIG
  • D3D12DDICAPS_TYPE_VIDEO_0096_ENCODER_SUPPORT1

• D3D12DDI_VIDEO_ENCODER_CODEC_0095_AV1 已添加到 D3D12DDI_VIDEO_ENCODER_CODEC_0080

• 添加了 D3D12DDI_VIDEO_ENCODER_AV1_PROFILE_0095 枚举，以定义驱动程序支持的 AV1 配置文件。 驱动程序使用 D3D12DDICAPS_VIDEO_ENCODER_INPUT_FORMAT_DATA_0080_2 为查询提供给定 D3D12DDI_VIDEO_ENCODER_AV1_PROFILE_0095 输入报告可选支持的格式。

• D3D12DDI_VIDEO_ENCODER_PROFILE_DESC_0080_2 更新为包括 AV1 配置文件 (pAV1Profile)。

• 添加或扩展了以下结构和枚举以支持 AV1 编码：

  • D3D12DDI_VIDEO_ENCODER_AV1_LEVELS_0095

  • D3D12DDI_VIDEO_ENCODER_AV1_TIER_0095

  • D3D12DDI_VIDEO_ENCODER_AV1_LEVEL_TIER_CONSTRAINTS_0095 (pAV1LevelSetting 已添加到 D3D12DDI_VIDEO_ENCODER_LEVEL_SETTING_0080_2)

  • D3D12DDI_VIDEO_ENCODER_FRAME_SUBREGION_LAYOUT_MODE_0080 已扩展为包括 D3D12DDI_VIDEO_ENCODER_FRAME_SUBREGION_LAYOUT_MODE_0095_UNIFORM_GRID_PARTITION 和 D3D12DDI_VIDEO_ENCODER_FRAME_SUBREGION_LAYOUT_MODE_0095_CONFIGURABLE_GRID_PARTITION.

  • D3D12DDI_VIDEO_ENCODER_MOTION_ESTIMATION_PRECISION_MODE_EIGHTH_PIXEL_0095 已添加到 D3D12DDI_VIDEO_ENCODER_MOTION_ESTIMATION_PRECISION_MODE_0080

  • D3D12DDI_VIDEO_ENCODER_AV1_FEATURE_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_TX_MODE_0095 和 D3D12DDI_VIDEO_ENCODER_AV1_TX_MODE_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_INTERPOLATION_FILTERS_0095 和 D3D12DDI_VIDEO_ENCODER_AV1_INTERPOLATION_FILTERS_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_SEGMENTATION_BLOCK_SIZE_0095

  • D3D12DDI_VIDEO_ENCODER_AV1_SEGMENTATION_MODE_0095 和 D3D12DDI_VIDEO_ENCODER_AV1_SEGMENTATION_MODE_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_RESTORATION_TYPE_0095

  • D3D12DDI_VIDEO_ENCODER_AV1_RESTORATION_TILESIZE_0095

  • D3D12DDI_VIDEO_ENCODER_AV1_REFERENCE_WARPED_MOTION_TRANSFORMATION_0095 和 D3D12DDI_VIDEO_ENCODER_AV1_REFERENCE_WARPED_MOTION_TRANSFORMATION_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_POST_ENCODE_VALUES_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_CODEC_CONFIGURATION_SUPPORT，pAV1Support 已添加到 D3D12DDI_VIDEO_ENCODER_CODEC_CONFIGURATION_SUPPORT_0083_0

  • D3D12DDI_VIDEO_ENCODER_AV1_FRAME_TYPE_0095 和 D3D12DDI_VIDEO_ENCODER_AV1_FRAME_TYPE_0095_FLAGS

  • D3D12DDI_VIDEO_ENCODER_AV1_COMP_PREDICTION_TYPE_0095

  • D3D12DDI_VIDEO_ENCODER_CODEC_AV1_PICTURE_CONTROL_SUPPORT_0095，pAV1Support 已添加到 D3D12DDI_VIDEO_ENCODER_CODEC_PICTURE_CONTROL_SUPPORT_0080_2

  • D3D12DDI_VIDEO_ENCODER_AV1_CODEC_CONFIGURATION_0095

  • D3D12DDI_VIDEO_ENCODER_AV1_FRAME_SUBREGION_LAYOUT_CONFIG_SUPPORT_0095 和 D3D12DDI_VIDEO_ENCODER_AV1_FRAME_SUBREGION_LAYOUT_CONFIG_VALIDATION_0095_FLAGS

  • D3D12DDI_FEATURE_DATA_VIDEO_ENCODER_FRAME_SUBREGION_LAYOUT_CONFIG_0095 和 D3D12DDI_VIDEO_ENCODER_FRAME_SUBREGION_LAYOUT_CONFIG_SUPPORT_0095

  • pAV1Config 已添加到 D3D12DDI_VIDEO_ENCODER_CODEC_CONFIGURATION_0082_0

  • D3D12DDI_VIDEO_ENCODER_VALIDATION_FLAG_0080_SUBREGION_LAYOUT_MODE_NOT_SUPPORTED 标志将添加到 D3D12DDI_VIDEO_ENCODER_VALIDATION_FLAGS_0080，以便与扩展 D3D12DDICAPS_TYPE_VIDEO_0096_ENCODER_SUPPORT1 查询上限一起使用。

  • 添加了 D3D12DDICAPS_VIDEO_ENCODER_SUPPORT1_DATA_0096，以扩展以前的 D3D12DDICAPS_VIDEO_ENCODER_SUPPORT_DATA_0083_0 查询，并在结构底部添加参数。 此扩展查询可以与所有 H264、HEVC 和 AV1 编解码器一起使用，并且必须完全按照 D3D12_FEATURE_VIDEO_ENCODER_SUPPORT 语义执行。

  • 对于 AV1，更新了 D3D12DDI_VIDEO_ENCODER_RESOLUTION_SUPPORT_LIMITS_0080_2 的MaxSubregionsNumber、SubregionBlockPixelsSize 和 QPMapRegionPixelsSize 成员的语义。

  • 添加了 _D3D12DDI_VIDEO_ENCODER_AV1_SEQUENCE_STRUCTURE_0095，并将 pAV1SequenceStructure 添加到 D3D12DDI_VIDEO_ENCODER_SEQUENCE_GOP_STRUCTURE_0082_0。

编码操作

AV1 的预期位流标头值

驱动程序/主机标头编码责任

给定具有 K 个磁贴的编码帧，驱动程序将在压缩位流中写入 K 个 decode_tile() AV1 语法元素，这与 EncodeFrame 参数中请求的磁贴相对应。

然后，API 客户端利用 tile_start_and_end_present_flag/tg_start/tg_end 元素构建 tile_group_obu() AV1 语法元素，以便根据需要将磁贴排列为磁贴组，条件是按顺序放置磁贴。 tile_size_minus_1 元素是从相关磁贴 D3D12_VIDEO_ENCODER_FRAME_SUBREGION_METADATA 信息编码的，decode_tile() 元素是从压缩位流缓冲区复制的。 最后，每个 tile_group_obu() 都被封装在 OBU_TILE_GROUP 类型的 open_bitstream_unit() 元素周围，并以 OBU_FRAME_HEADER 作为前缀。 对于单个磁贴组，可以改用 OBU_FRAME 类型。

API 客户端负责将当前帧的 obu_extension_flag 推断为 !(TemporalLayerIndexPlus1 || SpatialLayerIndexPlus1)，并在 open_bitstream_unit() 中进行必要的 temporal_id 和 spatial_id 编码。

EncodeFrame 提交按编码顺序进行，与 D3D12 Encode API 中实现的其他编解码器类似。

分辨率更改和空间可伸缩性

如果驱动程序报告 D3D12_VIDEO_ENCODER_SUPPORT_FLAG_RESOLUTION_RECONFIGURATION_AVAILABLE,，它仍仅适用于关键帧上的分辨率更改。

活动序列标头的 max_frame_*_minus_1 语法必须设置为所使用的相关 ID3D12VideoEncoderHeap 中存在的最大分辨率。 使用分辨率的不同帧也存在于关联的 ID3D12VideoEncoderHeap 中，可以使用 AV1 语法frame_size_override_flag in frame_size() 来传达分辨率更改。

如果支持 D3D12_VIDEO_ENCODER_AV1_FRAME_TYPE_FLAG_SWITCH_FRAME，则引用帧必须指向比编码的当前切换帧更高的或相等的分辨率，并且不同的分辨率必须全部存在于正在使用的相关 ID3D12VideoEncoderHeap 中。

同样，如果支持空间可伸缩性，则引用帧的不同分辨率必须全部存在于所使用的关联的 ID3D12VideoEncoderHeap 中。

速率控制说明

D3D12DDI_VIDEO_ENCODER_RATE_CONTROL_QVBR1_0096.ConstantQualityTarget 的可接受范围为 [0..63]。 最低值产生最高的质量。

通常，D3D12DDI_VIDEO_ENCODER_SUPPORT_FLAG_0083_0_RATE_CONTROL_RECONFIGURATION_AVAILABLE 适用于不同速率控制模式的质量与速度调整和以下速率控制参数：常量 QP 中的 QP、CBR、VBR 和 QVBR 中的比特率和质量级别。 驱动程序可以在 D3D12DDI_VIDEO_ENCODER_OUTPUT_METADATA_0083_0.EncodeErrorFlags 中为其他不支持的速率控制参数重新配置返回 D3D12DDI_VIDEO_ENCODER_ENCODE_ERROR_FLAG_0082_0_RECONFIGURATION_REQUEST_NOT_SUPPORTED。

编码操作 API

添加或更新了以下结构和枚举的扩展，以支持 AV1 编码操作：

• D3D12DDI_VIDEO_ENCODER_AV1_REFERENCE_PICTURE_WARPED_MOTION_INFO_0095

• D3D12DDI_VIDEO_ENCODER_AV1_REFERENCE_PICTURE_DESCRIPTOR_0095

• D3D12DD1_VIDEO_ENCODER_AV1_PICTURE_CONTROL_0095_FLAGS

• D3D12DDI_VIDEO_ENCODER_AV1_RESTORATION_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_AV1_SEGMENT_DATA_0095

• D3D12DDI_VIDEO_ENCODER_AV1_SEGMENTATION_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_AV1_SEGMENTATION_MAP_0095

• D3D12DDI_VIDEO_ENCODER_CODEC_AV1_LOOP_FILTER_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_CODEC_AV1_LOOP_FILTER_DELTA_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_CODEC_AV1_QUANTIZATION_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_CODEC_AV1_QUANTIZATION_DELTA_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_AV1_CDEF_CONFIG_0095

• D3D12DDI_VIDEO_ENCODER_AV1_PICTURE_CONTROL_CODEC_DATA_0095

• pAV1PicData 已添加到 D3D12DDI_VIDEO_ENCODER_PICTURE_CONTROL_CODEC_DATA_0082_0

• D3D12DDI_VIDEO_ENCODER_AV1_PICTURE_CONTROL_SUBREGIONS_LAYOUT_DATA_TILES_0095

• pTilesPartition_AV1 已添加到 D3D12DDI_VIDEO_ENCODER_PICTURE_CONTROL_SUBREGIONS_LAYOUT_DATA_0080_2

• D3D12DDI_VIDEO_ENCODER_AV1_POST_ENCODE_VALUES_0095

此外，需要更新驱动程序的现有 PFND3D12DDI_VIDEO_ENCODE_RESOLVE_OUTPUT_METADATA_0082_0 回调，以处理为 AV1 编码添加的 AV1 特定解析缓冲区布局。