Azure Kinect DK derinlik kamerası

Bu sayfa, Azure Kinect DK'nızdaki derinlik kamerasını nasıl kullanacağınızı kapsar. Derinlik kamerası iki kameranın ikincisidir. Önceki bölümlerde açıklandığı gibi, diğer kamera RGB kameradır.

çalışma ilkeleri

Azure Kinect DK derinlik kamerası Genlik Modulatlı Sürekli Dalga (AMCW) Uçuş Süresi (ToF) ilkesini uygular. Kamera, neredeyse IR (NIR) spektrumunda modüle edilmiş aydınlatmayı sahnenin üzerine yerleştirir. Ardından, ışığın kameradan sahne ve geriye doğru hareket etme süresine ilişkin dolaylı bir ölçüm kaydeder.

Bu ölçümler bir derinlik haritası oluşturmak için işlenir. Derinlik haritası, görüntünün her pikseli için milimetre cinsinden ölçülen bir Z koordinat değerleri kümesidir.

Derinlik haritasının yanı sıra, temiz IR okuma olarak da adlandırılır. Temiz IR okumadaki piksellerin değeri, sahneden döndürülen ışık miktarıyla orantılıdır. Görüntü, normal bir IR görüntüsüne benzer. Aşağıdaki şekilde örnek bir derinlik haritası (sol) ve buna karşılık gelen temiz IR görüntüsü (sağ) gösterilmektedir.

Önemli özellikler

Derinlik kamerasının teknik özellikleri şunlardır:

• Daha yüksek modülasyon frekansları ve derinlik duyarlığı sağlayan gelişmiş piksel teknolojisine sahip 1 Megapiksel ToF görüntüleme yongası.
• Yakın ve geniş görüş alanı (FoV) derinlik modlarını sağlayan iki NIR Lazer diyot.
• Dünyanın en küçük ToF pikseli, 3,5μm ile 3,5μm.
• Piksel başına otomatik kazanç seçimi, yakın ve uzak nesnelerin temiz bir şekilde yakalanmasını sağlayan büyük dinamik aralık sağlar.
• Güneş ışığında iyileştirilmiş performans sağlayan küresel deklanşör.
• Yonga, lazer ve güç kaynağı varyasyonu varlığında bile sağlam doğruluk sağlayan çok fazlı derinlik hesaplama yöntemi.
• Düşük sistematik ve rastgele hatalar.

Derinlik kamerası ham modüle edilmiş IR görüntülerini ana bilgisayara iletir. BILGISAYARDA GPU hızlandırılmış derinlik altyapısı yazılımı ham sinyali derinlik haritalarına dönüştürür. Derinlik kamerası çeşitli modları destekler. Dar görüş alanı (FoV) modları, X ve Y boyutlarında daha küçük, Z boyutunda ise daha büyük olan sahneler için idealdir. Sahne büyük X ve Y uzantılı olsa da daha küçük Z aralıklarına sahipse geniş FoV modları daha uygundur.

Derinlik kamerası, Z aralığını ilgili bağlamasız modlara göre genişletmek için 2x2 bölme modlarını destekler. Bölme işlemi, görüntü çözünürlüğünün düşürülerek gerçekleştirilir. Tüm modlar, maksimum 15 fps kare hızında çalışan 1 megapiksel (MP) modu dışında saniyede 30 kare (fps) ile çalıştırılabilir. Derinlik kamerası pasif IR modu da sağlar. Bu modda, kameradaki aydınlatıcılar etkin değildir ve yalnızca ortam aydınlatması gözlenir.

Kamera performansı

Kameranın performansı sistematik ve rastgele hatalar olarak ölçülür.

Sistematik Hata

Sistematik hata, gürültü giderme sonrasında ölçülen derinlik ile doğru (zemin gerçeği) derinliği arasındaki fark olarak tanımlanır. Derinlik gürültüsünü mümkün olduğunca ortadan kaldırmak için statik sahnenin birçok karesinin zamansal ortalamasını hesaplıyoruz. Daha kesin olarak, sistematik hata şu şekilde tanımlanır:

T zamanında ölçü derinliğini ifade eden _dolduğunda, N ortalama yordamında kullanılan çerçeve sayısıdır ve d_gt de zemin gerçeği derinliğidir.

Derinlik kamerasının sistematik hata belirtimi çok girişim (MPI) hariçtir. MPI, bir algılayıcı pikselin birden fazla nesne tarafından yansıtılan ışığı tümleştirmesidir. MPI, daha sonra tanıtacağımız derinlik geçersizleştirmesiyle birlikte daha yüksek modülasyon frekansları kullanılarak derinlik kameramızda kısmen azaltılır.

Rastgele hata

Kamerayı hareket ettirmeden aynı nesnenin 100 görüntüsü aldığımızı varsayalım. Nesnenin derinliği 100 görüntünün her birinde biraz farklı olacaktır. Bu fark, çekim gürültüsü kaynaklıdır. Çekim gürültüsü, sensöre isabet eden fotonların sayısı zaman içinde rastgele bir faktöre göre değişir. Statik bir sahnede bu rastgele hatayı, zaman içindeki derinliğin standart sapması olarak tanımladık:

N, derinlik ölçülerinin sayısını belirtirken, d_t t zamanındaki derinlik ölçümünü temsil eder ve d, tüm derinlik ölçümleri _{d t üzerinden hesaplanan ortalama değeri belirtir.}

Örneğin

Bazı durumlarda derinlik kamerası bazı pikseller için doğru değerler sağlamayabilir. Bu durumlarda derinlik pikselleri geçersiz kılındı. Geçersiz pikseller, 0'a eşit derinlik değeriyle gösterilir. Derinlik altyapısının doğru değerleri üretememesinin nedenleri şunlardır:

• Etkin IR aydınlatma maskesinin dışında
• Doygun IR sinyali
• Düşük IR sinyali
• Filtre aykırı değerleri
• Çok girişim

Aydınlatma Maskesi

Pikseller etkin IR aydınlatma maskesinin dışındayken geçersiz kılınır. İşlem derinliği için bu tür piksellerin sinyalini kullanmanızı önermiyoruz. Aşağıdaki şekilde aydınlatma maskesi tarafından geçersiz kılınma örneği gösterilmektedir. Geçersiz kılınan pikseller geniş FoV modlarındaki (sol) dairenin dışındaki siyah renkli pikseller ve dar FoV modlarında (sağ) altıgendir.

Sinyal gücü

Pikseller doygun bir IR sinyali içerdiklerinde geçersiz kılınırlar. Pikseller doygun olduğunda aşama bilgileri kaybolur. Aşağıdaki görüntüde doygun IR sinyali tarafından geçersiz kılınma örneği gösterilmektedir. Hem derinlik hem de IR görüntülerinde örnek piksellere işaret eden oklara bakın.

IR sinyali derinlik oluşturacak kadar güçlü olmadığında da geçersiz kılınabilir. Aşağıdaki şekilde, düşük bir IR sinyali tarafından geçersiz kılınma örneği gösterilmektedir. Hem derinlik hem de IR görüntülerinde örnek piksellere işaret eden oklara bakın.

Belirsiz derinlik

Pikseller, sahnedeki birden fazla nesneden sinyal aldığında da geçersiz kılınabilir. Bu tür bir geçersizleştirmenin görülebildiği yaygın bir durum köşelerdedir. Sahne geometrisi nedeniyle, kameradaki IR ışığı bir duvardan diğerine yansıdı. Bu yansıtılan ışık, pikselin ölçülen derinliğinde belirsizliğe neden olur. Derinlik algoritmasındaki filtreler bu belirsiz sinyalleri algılar ve pikselleri geçersizleştirir.

Aşağıdaki şekillerde çok algılama tarafından geçersiz kılınma örnekleri gösterilmektedir. Ayrıca, bir kamera görünümünden (üst satır) geçersiz kılınan aynı yüzey alanının farklı bir kamera görünümünden (alt satır) nasıl yeniden görünebileceğini de görebilirsiniz. Bu görüntü, bir perspektiften geçersiz kılınan yüzeylerin başka bir perspektiften görülebileceğini gösterir.

Çok bir diğer yaygın durum, ön plan ve arka plandan (nesne kenarları gibi) gelen karışık sinyali içeren pikseldir. Hızlı hareket sırasında kenarlarda daha geçersiz pikseller görebilirsiniz. Geçersiz kılınan ek piksellerin nedeni ham derinlik yakalamanın maruz kalma aralığıdır,

Sonraki adımlar

Koordinat sistemleri