同步多个 Azure Kinect DK 设备

每个 Azure Kinect DK 设备都包含 3.5 毫米的同步输入端口(同步输入)和同步输出端口(同步输出),可用于将多个设备连接在一起。 连接设备后,软件可以协调它们之间的触发器计时。

本文介绍如何连接和同步设备。

使用多个 Azure Kinect DK 设备的好处

使用多个 Azure Kinect DK 设备的原因有很多,包括:

  • 填补遮挡物。 尽管 Azure Kinect DK 数据转换生成单个图像,但两个相机(深度和 RGB)实际上相距很小。 偏移量使遮挡成为可能。 当前景对象阻挡设备上两个相机之一的视野时,会发生视图遮挡。 在生成的彩色图像中,前景对象似乎在背景对象上投射阴影。
    例如,在下图中,左侧相机看到灰色像素“P2”。但是,白色前景对象会阻止右侧相机 IR 束。 右侧相机没有“P2”的数据。
    图显示了两个相机对准同一点,其中一个被阻挡。
    其他同步设备可以提供被遮挡的数据。
  • 扫描三个维度中的对象。
  • 将有效帧速率提高到每秒 30 帧以上的值(FPS)。
  • 捕获同一场景的多个 4K 颜色图像,这些图像均在曝光中心的 100 微秒(μs)内对齐。
  • 增加空间内的相机覆盖范围。

规划多设备配置

在开始之前,请确保查看 Azure Kinect DK 硬件规格 和 Azure Kinect DK 深度相机。

注释

移除外层塑料盖,以露出Sync In和Sync Out插孔。

选择设备配置

可以将以下任一方法用于设备配置:

  • 菊花链配置。 同步一个主设备和最多 8 个从属设备。
    关系图,显示如何在菊花链配置中连接 Azure Kinect DK 设备。
  • 星型配置。 同步一个主设备和最多两个从属设备。
    图,显示如何在星形配置中设置多个 Azure DK 设备。

使用外部同步触发器

在这两种配置中,主设备都为从属设备提供触发信号。 但是,可以将自定义外部源用于同步触发器。 例如,可以使用此选项将图像捕获与其他设备同步。 在菊花链配置或星形配置中,外部触发器源连接到主设备。

外部触发器源必须以与主设备相同的方式运行。 它必须传递具有以下特征的同步信号:

  • 活跃度高
  • 脉冲宽度:大于 8μs
  • 5V TTL/CMOS
  • 最大驱动能力:不少于 8 毫安(mA)
  • 支持的频率:恰好 30 帧每秒 (FPS),15 帧每秒 (FPS) 和 5 帧每秒 (FPS) (彩色相机主 VSYNC 信号的频率)

触发源必须使用 3.5 毫米音频电缆通过 端口将信号传送到主设备 进行同步。 可以使用立体声或单声道电缆。 Azure Kinect DK 将音频电缆连接器的所有袖子和环短接,并接地。 如下图所示,设备仅从连接器端接收同步信号。

外部触发信号的电缆配置

有关如何使用外部设备的详细信息,请参阅 将 Azure Kinect 记录器与外部同步设备配合使用

注释

Sync Out 是 RGB 相机的 VSync。 所有设备的时间戳设置为零,并开始递增。 Microsoft尚未明确同步脉冲的最小和最大宽度,并建议模拟由Azure Kinect DK的同步输出生成的脉冲。

规划相机设置和软件配置

有关如何设置软件以控制相机和使用图像数据的信息,请参阅 azure Kinect 传感器 SDK 。

本部分讨论影响同步设备(但不是单个设备)的几个因素。 软件应考虑这些因素。

曝光注意事项

如果要控制每个设备的精确计时,建议使用手动曝光设置。 在自动曝光设置下,每个彩色相机都可以动态更改实际曝光。 由于曝光影响时间,这类变化会迅速使相机失去同步。

在图像捕获循环中,避免重复设置相同的曝光设置。 仅在需要时调用 API 一次。

避免多个深度相机之间的干扰

当多个深度相机在拍摄重叠的视场时,每个相机必须捕获其自身的关联激光。 为了防止激光相互干扰,相机拍摄应彼此间隔 160微秒或更多。

在每次深度相机捕获中,激光启动并只保持活跃状态 9 次,每次仅 125 μs。 然后,根据操作模式,激光在 1450μs 或 2390μs 内处于空闲状态。 此行为表示偏移计算的起点为 125μs。

此外,相机时钟和设备固件时钟之间的差异将最小偏移量增加到 160μs。 若要计算配置更精确的偏移量,请注意使用的深度模式,并参考 深度传感器原始计时表。 通过使用此表中的数据,可以使用以下公式计算最小偏移量(每个相机的曝光时间):

曝光时间 = (IR 脉冲 × 脉冲宽度) + (空闲时间 × 空闲时间)

使用偏移量为 160μs 时,最多可以配置 9 个额外的深度相机,以便每个激光在其他激光空闲时打开。

在您的软件中,使用 depth_delay_off_color_usec 或 subordinate_delay_off_master_usec 来确保每个 IR 激光在其各自的 160微秒窗口中发射,或者具有不同的视野范围。

注释

实际脉冲宽度为 125μs,但我们指出 160us 提供一些回旋余地。 以 NFOV UNBINNED 为例,每个 125 μs 脉冲后跟随 1450 μs 空闲时间。 总计这些 - (9 x 125) + (8 x 1450) - 产生 12.8 毫秒的曝光时间。 交错两台设备的曝光最佳方式是让第二台相机的第一个脉冲落在第一台相机的第一个空闲期。 第一和第二个相机之间的延迟可能最小为 125μs(脉冲宽度),然而我们建议留有一些余地,因此设置为 160μs。 给定 160μs,最多可交错 10 个相机的曝光期。

准备设备和其他硬件

除了多个 Azure Kinect DK 设备之外,可能还需要获取其他主机和其他硬件才能支持要生成的配置。 使用本节中的信息,确保在开始设置之前所有设备和硬件都已准备就绪。

Azure Kinect DK 设备

对于要同步的每个 Azure Kinect DK 设备,请执行以下作:

  • 请确保设备上安装了最新的固件。 有关如何更新设备的详细信息,请转到 更新 Azure Kinect DK 固件。
  • 删除设备盖以显示同步端口。
  • 记下每个设备的序列号。 稍后将在安装过程中使用此数字。

主机计算机

通常,每个 Azure Kinect DK 都使用自己的主计算机。 可以使用专用主机控制器,具体取决于使用设备的方式以及通过 USB 连接传输的数据量。

确保每个主计算机上都安装了 Azure Kinect 传感器 SDK。 有关如何安装传感器 SDK 的详细信息,请转到 快速入门:设置 Azure Kinect DK。

Linux 计算机:Ubuntu 上的 USB 内存

默认情况下,基于 Linux 的主机仅分配 USB 控制器 16 MB 的内核内存来处理 USB 传输。 此数量通常足以支持单个 Azure Kinect DK。 但是,若要支持多个设备,USB 控制器必须具有更多的内存。 若要增加内存,请执行以下步骤:

  1. 编辑/etc/default/grub。
  2. 找到以下行:
    GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
    
    使用以下行替换它:
    GRUB_CMDLINE_LINUX_DEFAULT="quiet splash usbcore.usbfs_memory_mb=32"
    

    注释

    这些命令将 USB 内存设置为 32 MB。 这是默认值的两倍的示例设置。 可以根据解决方案设置更大的值。

  3. 运行 sudo update-grub。
  4. 重新启动计算机。

电缆

若要将设备彼此连接到主机计算机,必须使用 3.5 毫米的男性到男性电缆(也称为 3.5 毫米音频电缆)。 电缆长度应小于 10 米,可以是立体声或单声道。

必须拥有的电缆数取决于所使用的设备数,以及特定的设备配置。 Azure Kinect DK 包装盒不包括电缆。 必须单独购买它们。

如果在星形配置中连接设备,则还必须有一个耳机分线器。

连接设备

将 Azure Kinect DK 设备连接为菊花链配置

  1. 将每个 Azure Kinect DK 连接到电源。
  2. 将每个设备连接到其主机电脑。
  3. 选择一个设备作为主设备,并将 3.5 毫米音频电缆插入其 同步 端口。
  4. 将电缆的另一端插入第一个从属设备的 同步端口中的 接口。
  5. 若要连接另一台设备,请将另一根电缆插入第一台从属设备的 同步输出 端口,并将其插入下一设备的 同步输入 端口。
  6. 重复上一步,直到所有设备都连接。 最后一台设备应只有一个电缆连接。 其 同步 端口应为空。

在星形配置中连接 Azure Kinect DK 设备

  1. 将每个 Azure Kinect DK 连接到电源。
  2. 将每个设备连接到其主机电脑。
  3. 选择一个设备作为主设备,并将耳机分线器的单端插入其 同步输出 端口。
  4. 将 3.5 毫米音频电缆连接到耳机拆分器的“拆分”端。
  5. 将每根电缆的另一端插入某个从属设备的 同步输入 端口。

验证设备是否已连接和通信

若要验证设备是否已正确连接,请使用 Azure Kinect 查看器。 根据需要重复此过程,以结合主设备测试每个从属设备

重要

对于此过程,必须知道每个 Azure Kinect DK 的序列号。

  1. 打开 Azure Kinect Viewer 的两个实例。
  2. 在 打开设备下,选择要测试的从属设备的序列号。
    打开设备

    重要

    若要在所有设备之间获取精确的图像捕获对齐方式,必须最后启动主设备。

  3. 在 外部同步下,选择 子。
    辅助相机启动
  4. 选择开始。

    注释

    由于这是从属设备,因此 Azure Kinect Viewer 在设备启动时不显示图像。 在主设备的同步信号被从属设备接收之前,图像不会显示。

  5. 启动从属设备后,使用 Azure Kinect Viewer 的其他实例打开主设备。
  6. 在 外部同步下,选择 主。
  7. 选择开始。

当主 Azure Kinect 设备启动时,Azure Kinect 查看器的两个实例都应显示图像。

将设备同步校准为一个整体

验证设备是否正确通信后,即可对其进行校准,以在单个域中生成图像。

在一个设备中,深度相机和 RGB 相机经过出厂校准,以实现协调配合的工作。 但是,当多个设备必须协同工作时,必须对其进行校准,以便确定如何将图像从捕获它的相机域转换为要用于处理图像的相机的域。

交叉校准设备有多种选项。 Microsoft提供了 GitHub 绿屏代码示例,该示例使用 OpenCV 方法。 此代码示例的自述文件提供了有关校准设备的更多详细信息和说明。

有关校准的详细信息,请参阅 使用 Azure Kinect 校准函数。

后续步骤

设置好同步设备后,您还可以学习如何使用这些设备。