Locatable kameraya genel bakış

  • Makale

HoloLens, cihazın önüne takılı olan ve uygulamaların kullanıcının gördüklerini görmesini sağlayan dünyaya yönelik bir kamera içerir. Geliştiriciler akıllı telefonlarda, taşınabilir cihazlarda veya masaüstlerinde renkli kameralarda olduğu gibi kameraya erişebilir ve kamerayı kontrol edebilir. Mobil ve masaüstü üzerinde çalışan aynı evrensel Windows medya yakalama ve Windows Media Foundation API'leri HoloLens'te çalışır. Unity, HoloLens'te kamera kullanımı özelliklerini soyutlama amacıyla bu Windows API'lerini sarmaladı . Özellik görevleri, normal fotoğraf ve video çekmeyi (hologramlarla veya hologramlar olmadan) ve kameranın konumunu ve perspektifini sahnede konumlandırmayı içerir.

Cihaz kamera bilgileri

HoloLens (birinci nesil)

  • Otomatik beyaz dengesi, otomatik pozlama ve tam görüntü işleme işlem hattı ile odak fotoğraf/video (PV) kamerası düzeltildi.

  • Kamera etkin olduğunda yanan dünyaya bakan Beyaz Gizlilik LED'i.

  • Kamera 30, 24, 20, 15 ve 5 fps'de aşağıdaki modları destekler (tüm modlar 16:9 en boy oranıdır):

    Video Önizleme Hala Yatay Görünüm Alanı (H-FOV) Önerilen kullanım
    1280x720 1280x720 1280x720 45 derece (video sabitleme ile varsayılan mod)
    Yok Yok 2048x1152 67 derece En yüksek çözünürlüklü hareketsiz görüntü
    1408x792 1408x792 1408x792 48 derece Video sabitlemeden önce fazla tarama (doldurma) çözünürlüğü
    1344x756 1344x756 1344x756 67 derece Fazla taramalı büyük FOV video modu
    896x504 896x504 896x504 48 derece Görüntü işleme görevleri için düşük güç / Düşük çözünürlüklü mod

HoloLens 2

  • Otomatik beyaz dengesi, otomatik pozlama ve tam görüntü işleme işlem hattı ile fotoğraf/video (PV) kamerasını otomatik odaklayın. Otomatik odak sistemi, nesne uzaklığı 30 cm'den sonsuzluğa kadar ayarlayabilir. HoloLens 2 PV kamera lensi için etkili odak uzunluğu 4,87 mm +/- %5'tir. Üretim toleransı nedeniyle %5'lik varyasyona ek olarak, odak uzunluğu otomatik odak sistemi nedeniyle dinamik olarak değişecektir. AF seyahati (vuruş) 0,2 mm'ye kadardır.

  • Kamera etkin olduğunda yanan dünyaya bakan Beyaz Gizlilik LED'i.

  • HoloLens 2 farklı kamera profillerini destekler. Kamera özelliklerini bulmayı ve seçmeyi öğrenin.

  • Kamera aşağıdaki profilleri ve çözünürlükleri destekler (tüm video modları en boy oranı 16:9'dır):

    Profil Video Önizleme Hala Kare hızları Yatay Görünüm Alanı (H-FOV) Önerilen kullanım
    Legacy, 0 BalancedVideoAndPhoto, 100 2272x1278 2272x1278 15.30 64.69 Yüksek kaliteli video kaydı
    Legacy, 0 BalancedVideoAndPhoto,100 896x504 896x504 15.30 64.69 Yüksek kaliteli fotoğraf yakalama için önizleme akışı
    Legacy, 0 BalancedVideoAndPhoto, 100 3904x2196 64.69 Yüksek kaliteli fotoğraf yakalama
    BalancedVideoAndPhoto, 120 1952x1100 1952x1100 1952x1100 15.30 64.69 Uzun süreli senaryolar
    BalancedVideoAndPhoto, 120 1504x846 1504x846 15.30 64.69 Uzun süreli senaryolar
    VideoConferencing, 100 1952x1100 1952x1100 1952x1100 15, 30,60 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 1504x846 1504x846 5, 15, 30,60 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 1920x1080 1920x1080 1920x1080 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 1280x720 1280x720 1280x720 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto,120 1128x636 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 960x540 15,30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 760x428 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 640x360 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 500x282 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar
    Video konferans, 100 DengeliVideoAndPhoto, 120 424x240 15, 30 64.69 Görüntülü konferans, uzun süreli senaryolar

Not

Müşteriler karma gerçeklik yakalama özelliğinden yararlanarak hologramlar içeren uygulamanızın videolarını veya fotoğraflarını çekebilir ve video sabitlemeyi kullanabilir.

Kullanıcınızın yakalama içeriğinin mümkün olduğunca iyi görünmesini istiyorsanız, göz önünde bulundurmanız gereken bazı şeyler vardır. Karma gerçeklik yakalamayı doğrudan uygulamanızın içinden de etkinleştirebilirsiniz (ve özelleştirebilirsiniz). Geliştiriciler için karma gerçeklik yakalama makalesinde daha fazla bilgi edinin.

Cihaz Kamerasını Dünyada Bulma

HoloLens fotoğraf ve video çektiğinde, yakalanan kareler kameranın dünyadaki konumunu ve kameranın lens modelini içerir. Bu bilgiler, uygulamaların artırılmış görüntüleme senaryoları için kameranın gerçek dünyadaki konumu hakkında düşünmesine olanak tanır. Geliştiriciler, en sevdikleri görüntü işleme veya özel görüntü işleme kitaplıklarını kullanarak kendi senaryolarını yaratıcı bir şekilde kullanıma alabilir.

HoloLens belgelerinin başka bir yerindeki "Kamera", "sanal oyun kamerası" (uygulamanın işlenmekte olduğu frustum) olabilir. Aksi belirtilmediği sürece, bu sayfadaki "kamera" gerçek dünya RGB renkli kamerayı ifade eder.

Bozulma Hatası

HoloLens 2'da, çerçeveler uygulamanın kullanımına sunulmadan önce video ve hareketsiz görüntü akışları sistemin görüntü işleme işlem hattında bozulmaz. Önizleme akışı özgün bozuk çerçeveleri içerir. Yalnızca CameraIntrinsics kullanılabilir hale getirildiğinden, uygulamalar görüntü çerçevelerinin mükemmel bir pinhole kamerayı temsil ettiğini varsaymalıdır.

HoloLens'te (birinci nesil) görüntü işlemcisindeki undistortion işlevi, çerçeve meta verilerinde CameraIntrinsics kullanılırken 10 piksele kadar hata bırakabilir. Birçok kullanım örneğinde bu hata önemli değildir. Ancak, örneğin hologramları gerçek dünya posterlerine veya işaretleyicilerine hizalarsanız ve 10 piksel uzaklık fark < ederseniz (2 metre uzağa konumlandırılan hologramlar için kabaca 11 mm), bu bozulma hatasının nedeni olabilir.

Locatable Kamera Kullanım Senaryoları

Bir fotoğrafı veya videoyu çekildiği dünyada gösterme

Cihaz Kamerası çerçeveleri, cihazın görüntüyü yakaladığında tam olarak nerede olduğunu göstermek için kullanılabilecek bir "Kameradan Dünyaya" dönüştürme ile birlikte gelir. Örneğin, bu konuma küçük bir holografik simge (CameraToWorld.MultiplyPoint(Vector3.zero)) konumlandırabilir ve hatta kameranın baktığı yönde küçük bir ok çizebilirsiniz (CameraToWorld.MultiplyVector(Vector3.forward)).

Etiket / Desen / Poster / Nesne İzleme

Birçok karma gerçeklik uygulaması, alanda izlenebilir bir nokta oluşturmak için tanınabilir bir görüntü veya görsel desen kullanır. Bir uygulama nesneleri bu noktaya göre işleyebilir veya bilinen bir konum oluşturabilir. HoloLens'in tipik bir kullanımı, fiducials ile etiketlenmiş bir gerçek dünya nesnesi bulmaktır. Bu durum, örneğin HoloLens ile Wi-Fi üzerinden iletişim kuracak şekilde ayarlanmış tabletlerde ortaya çıkabilir.

Görsel deseni tanımak ve bir nesneyi uygulamanın dünya alanına yerleştirmek için birkaç şeye ihtiyacınız vardır:

  1. QR kodu, AR etiketleri, yüz bulucu, daire izleyicileri, OCR gibi bir görüntü deseni tanıma araç seti.
  2. Çalışma zamanında görüntü çerçeveleri toplayın ve bunları tanıma katmanına geçirin.
  3. Görüntü konumlarını dünya konumlarına veya büyük olasılıkla dünya ışınlarına geri döndürebilirsiniz.
  4. Sanal modellerinizi bu dünya konumları üzerinde konumlandırabilirsiniz.

Bazı önemli görüntü işleme bağlantıları:

Etkileşimli bir uygulama kare hızının korunması, özellikle uzun süre çalışan görüntü tanıma algoritmalarıyla ilgilenirken kritik önem taşır. Bu nedenle genellikle aşağıdaki deseni kullanırız:

  1. Ana yazışma: Kamera nesnesini yönetir.
  2. Ana İş Parçacığı: Yeni çerçeveler ister (zaman uyumsuz).
  3. Ana İş Parçacığı: İzleme iş parçacığına yeni çerçeveler geçirin.
  4. İzleme İş Parçacığı: Önemli noktaları toplamak için görüntüyü işler.
  5. Ana İş Parçacığı: Bulunan anahtar noktaları eşleştirmek için sanal modeli taşır.
  6. Ana İş Parçacığı: 2. adımdan tekrarlayın.

Bazı görüntü işaretleyici sistemleri yalnızca tek piksellik bir konum sağlar ve bu da olası konumların ışınlarına eşit olur. (Diğerleri tam dönüşümü sağlar; bu durumda bu bölüm gerekli değildir.) Tek bir 3B konuma ulaşmak için birden çok ışın hesaplayabilir ve yaklaşık kesişimlerine göre nihai sonucu bulabiliriz. Bu sonucu almak için şunları yapmanız gerekir:

  1. Birden çok kamera görüntüsü toplayan bir döngü oluşturun.
  2. İlişkili özellik noktalarını ve bunların dünya ışınlarını bulun.

İki veya daha fazla izlenen etiket konumu verildiğinde, modellenmiş bir sahneyi kullanıcının geçerli senaryosuna uyacak şekilde konumlandırabilirsiniz. Yer çekimi varsayamıyorsanız üç etiket konumuna ihtiyacınız olacaktır. Çoğu durumda beyaz kürelerin gerçek zamanlı izlenen etiket konumlarını, mavi kürelerin de modellenmiş etiket konumlarını temsil ettiği bir renk düzeni kullanırız. Bu, kullanıcının hizalama kalitesini görsel olarak ölçmesine olanak tanır. Tüm uygulamalarımızda aşağıdaki kurulumun olduğunu varsayarız:

  • İki veya daha fazla modellenmiş etiket konumu.
  • Sahnede etiketlerin üst öğesi olan bir 'kalibrasyon alanı'.
  • Kamera özelliği tanımlayıcısı.
  • Modellenen etiketleri gerçek zamanlı etiketlerle hizalamak için kalibrasyon alanını hareket ettiren davranış (diğer bağlantı, bunlara göre konumlar olduğundan, modellenmiş işaretleyicilerin kendisini değil üst boşluğu taşımaya özen gösteririz).

LED'leri veya diğer tanıyıcı kitaplıklarını kullanarak etiketli sabit veya hareketli gerçek dünya nesnelerini/yüzlerini izleme veya tanımlama

Örnekler:

  • LED'li endüstriyel robotlar (veya daha yavaş hareket eden nesneler için QR kodları).
  • Odadaki nesneleri tanımlama ve tanıma.
  • Odadaki kişileri tanımlayın ve tanıyın; örneğin yüzlerin üzerine holografik kişi kartları yerleştirme.

Ayrıca bkz.