이 페이지에서는 Azure Kinect DK에서 깊이 카메라를 사용하는 방법을 설명합니다. 깊이 카메라는 두 카메라 중 두 번째 카메라입니다. 이전 섹션에서 설명한 것처럼 다른 카메라는 RGB 카메라입니다.
운영 원칙
Azure Kinect DK 깊이 카메라는 AMCW(Amplitude 변조 연속 웨이브) ToF(Time of Flight) 원칙을 구현합니다. 카메라는 NIR(근거리 IR) 스펙트럼의 변조된 조명을 장면에 캐스팅합니다. 그런 다음 빛이 카메라에서 장면으로 이동하는 데 걸리는 시간의 간접 측정값을 기록합니다.
이러한 측정값은 깊이 맵을 생성하기 위해 처리됩니다. 깊이 맵은 이미지의 모든 픽셀에 대한 Z 좌표 값 집합으로, 밀리미터 단위로 측정됩니다.
깊이 맵과 함께, 우리는 또한 소위 깨끗한 IR 읽기를 얻을 수 있습니다. 클린 IR 판독값의 픽셀 값은 장면에서 반환되는 빛의 양에 비례합니다. 이미지는 일반 IR 이미지와 유사합니다. 아래 그림에서는 예제 깊이 맵(왼쪽)과 해당 깨끗한 IR 이미지(오른쪽)를 보여 줍니다.
깊이와 IR을 나란히 비교하기.
주요 기능
깊이 카메라의 기술적 특징은 다음과 같습니다.
- 고급 픽셀 기술이 적용된 1메가픽셀 ToF 이미징 칩은 더 높은 변조 주파수와 깊이 정밀도를 지원합니다.
- FoV(근거리 및 넓은 시야각) 깊이 모드를 지원하는 두 개의 NIR 레이저 다이오드입니다.
- 세계에서 가장 작은 ToF 픽셀(3.5μm x 3.5μm)입니다.
- 픽셀당 자동 게인 선택을 통해 근거리 및 원거리 개체를 깔끔하게 캡처할 수 있는 큰 동적 범위를 사용할 수 있습니다.
- 햇빛의 성능을 향상시킬 수 있는 글로벌 셔터입니다.
- 칩, 레이저 및 전원 공급 장치 변형이 있어도 강력한 정확도를 가능하게 하는 다단계 깊이 계산 방법입니다.
- 체계적 및 임의 오류가 적음.
깊이 카메라는 원시 변조 IR 이미지를 호스트 PC로 전송합니다. PC에서 GPU 가속 깊이 엔진 소프트웨어는 원시 신호를 깊이 맵으로 변환합니다. 깊이 카메라는 여러 모드를 지원합니다. 좁은 FoV(시야각) 모드는 X 차원과 Y차원의 범위가 작지만 Z 차원의 범위는 더 큰 장면에 이상적입니다. 장면에 X 및 Y 익스텐트는 크지만 Z 범위는 작으면 넓은 FoV 모드 가 더 적합합니다.
깊이 카메라는 2x2 범주화 모드를 지원하여 해당 바인딩되지 않은 모드와 비교하여 Z 범위를 확장합니다. 범주화는 이미지 해상도를 낮추는 비용으로 수행됩니다. 최대 프레임 속도 15fps에서 실행되는 1메가픽셀(MP) 모드를 제외하고 모든 모드는 초당 최대 30프레임(fps)으로 실행할 수 있습니다. 깊이 카메라는 수동 IR 모드도 제공합니다. 이 모드에서는 카메라의 조명이 활성화되지 않고 주변 조명만 관찰됩니다.
카메라 성능
카메라의 성능은 체계적이고 임의적인 오류로 측정됩니다.
체계적인 오류
체계적인 오차는 노이즈 제거 후 측정된 깊이와 올바른(지상 진리) 깊이 간의 차이로 정의됩니다. 정적 장면의 여러 프레임에 대한 임시 평균을 계산하여 깊이 노이즈를 최대한 제거합니다. 보다 정확하게 말하자면, 체계적인 오류는 다음과 같이 정의됩니다.
여기서 dt는 t시간에 측정값 깊이를 나타냅니다. N은 평균 프로시저에 사용되는 프레임의 수이며 dgt는 기본 진리 깊이입니다.
깊이 카메라의 체계적인 오류 사양은 MPI(다중 경로 간섭)를 제외합니다. MPI는 하나의 센서 픽셀이 둘 이상의 개체에 의해 반사되는 빛을 통합하는 경우입니다. MPI는 깊이 무효화와 함께 더 높은 변조 주파수를 사용하여 깊이 카메라에서 부분적으로 완화되며, 나중에 도입될 예정입니다.
임의 오류
카메라를 이동하지 않고 동일한 개체의 이미지를 100장 찍는다고 가정해 보겠습니다. 개체의 깊이는 100개 이미지 각각에서 약간 다릅니다. 이 차이는 샷 노이즈로 인해 발생합니다. 샷 노이즈는 센서에 부딪치는 광자의 수가 시간에 따라 임의의 요인에 따라 달라집니다. 정적 장면에서 이 임의 오류를 다음과 같이 계산된 시간에 따른 깊이의 표준 편차로 정의합니다.
여기서 N은 깊이 측정 수를 나타내며, dt는 t에 따른 깊이 측정값을 나타내고 d는 모든 깊이 측정값 dt에 대해 계산된 평균 값을 나타냅니다.
무효로 함
특정 상황에서 깊이 카메라는 일부 픽셀에 대해 올바른 값을 제공하지 않을 수 있습니다. 이러한 상황에서 깊이 픽셀은 무효화됩니다. 잘못된 픽셀은 깊이 값이 0과 같음으로 표시됩니다. 깊이 엔진이 올바른 값을 생성할 수 없는 이유는 다음과 같습니다.
- 활성 적외선 조명 마스크 바깥쪽
- 포화 IR 신호
- 낮은 IR 신호
- 이상값을 필터링
- 다중 경로 간섭
조명 마스크
픽셀은 활성 IR 조명 마스크 외부에 있을 때 무효화됩니다. 이러한 픽셀의 신호를 사용하여 깊이를 계산하지 않는 것이 좋습니다. 아래 그림에서는 조명 마스크에 의한 무효화의 예를 보여 주세요. 무효화된 픽셀은 넓은 FoV 모드(왼쪽)의 원 바깥쪽에 있는 검은색 픽셀과 좁은 FoV 모드(오른쪽)의 육각형입니다.
신호 강도
픽셀은 포화 IR 신호를 포함할 때 무효화됩니다. 픽셀이 포화되면 위상 정보가 손실됩니다. 아래 이미지는 포화 IR 신호에 의한 무효화의 예를 보여줍니다. 깊이 및 IR 이미지 모두에서 예제 픽셀을 가리키는 화살표를 참조하세요.
IR 신호가 깊이를 생성할 만큼 충분히 강하지 않은 경우에도 무효화가 발생할 수 있습니다. 아래 그림에서는 낮은 IR 신호에 의한 무효화의 예를 보여 주세요. 깊이 및 IR 이미지 모두에서 픽셀 예제를 가리키는 화살표를 참조하세요.
모호한 깊이
장면에서 둘 이상의 개체로부터 신호를 받은 경우 픽셀을 무효화할 수도 있습니다. 이러한 종류의 무효화를 볼 수 있는 일반적인 경우는 모서리에 있습니다. 장면 기하 도형 때문에 카메라의 IR 조명이 한 쪽 벽에서 다른 벽으로 반사되었습니다. 이 반사된 광원은 픽셀의 측정된 깊이에서 모호성을 유발합니다. 깊이 알고리즘의 필터는 이러한 모호한 신호를 감지하고 픽셀을 무효화합니다.
아래 그림은 다중 경로 검색에 의한 무효화의 예를 보여 줍니다. 또한 한 카메라 보기(맨 위 행)에서 무효화된 동일한 노출 영역이 다른 카메라 보기(아래쪽 행)에서 다시 나타날 수 있는 방법을 확인할 수 있습니다. 이 이미지는 한 큐브 뷰에서 무효화된 표면이 다른 큐브 뷰에서 표시될 수 있음을 보여줍니다.
다중 경로의 또 다른 일반적인 경우는 전경 및 배경(예: 개체 가장자리 주위)의 혼합 신호를 포함하는 픽셀입니다. 빠른 동작 중에 가장자리 주위에 더 많은 무효화된 픽셀이 표시될 수 있습니다. 무효화된 추가 픽셀은 원시 깊이 캡처의 노출 간격 때문입니다.
