HoloLens 2 üzerinde göz bakışı tabanlı etkileşim

MRTK'da göz izleme tanıtımı

HoloLens 2'daki heyecan verici yeni özelliklerimizden biri göz izlemedir. HoloLens 2 göz izleme sayfamızda her kullanıcının bir Kalibrasyondan geçmesi gerektiğinden bahsettik, bazı geliştirici yönergeleri sağladık ve gözle izleme için vurgulanan kullanım örnekleri sağladık. Göz bakışı giriş hala yeni bir kullanıcı girişi türüdür ve öğrenmeniz gereken çok şey vardır.

Göz bakışı giriş yalnızca Holographic Shell deneyimimizde (HoloLens 2 başlattığınızda gördüğünüz kullanıcı arabirimi) kullanılırken, "HoloLens Playground" gibi çeşitli uygulamalar, göz bakışı girişin holografik deneyiminizin büyüsüne nasıl katkıda bulunduğunu gösteren harika örnekler sunar. Bu sayfada, holografik uygulamalarınızla etkileşime geçmek için göz bakışı girişini tümleştirmeye yönelik tasarım konuları ele alınmaktadır.

Önemli avantajlar ve göz bakışı girişleriyle birlikte gelen benzersiz zorluklar hakkında bilgi edineceksiniz. Bunlara dayanarak, göz bakışı destekli kullanıcı arabirimlerini tatmin edici oluşturmanıza yardımcı olacak çeşitli tasarım önerileri sunuyoruz.

Cihaz desteği

Özellik HoloLens (1. nesil) HoloLens 2 Çevreleyici kulaklıklar
Göz bakışı ✔️

Baş ve göz izleme tasarım kavramları tanıtımı

Baş ve Göz İzleme tasarım kavramlarını uygulamada görmek isterseniz aşağıdaki Hologramları Tasarlama - Baş İzleme ve Göz İzleme video tanıtımımıza göz atın. İşiniz bittiğinde, belirli konulara daha ayrıntılı bir bakış için devam edin.

Bu video "Hologram Tasarlama" HoloLens 2 uygulamasından alınmıştır. Buradan tam deneyimi indirin ve keyfini çıkarın.

Göz bakışı giriş tasarım yönergeleri

Hızlı hareket eden göz hedeflemeden yararlanan bir etkileşim oluşturmak zor olabilir. Bu bölümde, uygulamanızı tasarlarken göz önünde bulundurmanız gereken temel avantajları ve zorlukları özetleyeceğiz.

Göz bakışı girişin avantajları

  • Yüksek hızlı işaret. Göz kası, insan vücudundaki en hızlı tepki gösteren kastır.

  • Düşük efor. Neredeyse hiç fiziksel hareket gerekli değil.

  • Örtüklük. Genellikle kullanıcılar tarafından "zihin okuma" olarak tanımlanan kullanıcının göz hareketleri hakkındaki bilgiler, sistemin kullanıcının hangi hedefle etkileşime geçmeyi planladığını bilmesini sağlar.

  • Alternatif giriş kanalı. Göz bakışı, kullanıcıların el-göz koordinasyonlarına göre yılların deneyimi üzerine el ve ses girişi oluşturmak için güçlü bir destekleyici giriş sağlayabilir.

  • Görsel dikkat. Bir diğer önemli avantaj da bir kullanıcının nelere dikkat yaptığını çıkarsama olasılığıdır. Bu, farklı tasarımları daha etkili bir şekilde değerlendirmekten daha akıllı kullanıcı arabirimlerine ve uzaktan iletişim için gelişmiş sosyal ipuçlarına kadar çeşitli uygulama alanlarında yardımcı olabilir.

Özetle, giriş olarak göz bakışı kullanmak hızlı ve zahmetsiz bir bağlamsal giriş sinyali sunar. Bu, kullanıcının amacını onaylamak için ses ve el ile giriş gibi diğer girişlerle birleştirildiğinde güçlüdür.

Giriş olarak göz bakışının zorlukları

Göz bakışı, sizi süper kahraman gibi hissettiren tatmin edici kullanıcı deneyimleri oluşturmak için kullanılabilse de, bunu uygun şekilde hesaba eklemenin iyi olmadığını bilmek de önemlidir. Aşağıdaki listede dikkate alınması gereken bazı zorluklar ve göz bakışı girişleriyle çalışırken bunların nasıl ele alınılacağı açıklanır:

  • Göz bakışınız "her zaman açık" Göz kapaklarınızı açtığınız anda, gözleriniz ortamdaki şeylere sabitlemeye başlar. Yaptığınız her görünüme tepki vermek ve yanlışlıkla eylemler vermek, bir şeye çok uzun süre baktığınız için tatmin edici olmayan bir deneyime neden olur. Göz bakışı bir hedef seçimini tetikleme amacıyla sesli komut, el hareketi, düğme tıklaması veya genişletilmiş konut ile birleştirmenizi öneririz (daha fazla bilgi için bkz. göz bakışı ve işleme). Bu çözüm ayrıca kullanıcının bir şeyi istemeden tetiklemeden çevresine rahatça bakabileceği bir moda da olanak tanır. Bir hedefe bakarken görsel ve işitsel geri bildirim tasarlarken de bu sorun dikkate alınmalıdır. Kullanıcıyı anında açılan efektlerle veya üzerine gelme sesleriyle boğmamaya çalışın. İncelik çok önemlidir. Aşağıda tasarım önerilerinden bahsederken bunun için en iyi yöntemleri ele alacağız.

  • Gözlem ve denetim karşılaştırması Duvarınızdaki bir fotoğrafı tam olarak düzeltmek istediğinizi düşünün. İyi hizalanıp hizalanmadığını görmek için kenarlıklarına ve çevresine bakarsınız. Şimdi göz bakışınızı resmi taşımak için giriş olarak kullanmak istediğinizde bunu nasıl yapacağınızı düşünün. Zor, değil mi? Bu, hem giriş hem de denetim için gerekli olduğunda göz bakışının çift rolünü açıklar.

  • Tıklamadan önce ayrıl: Hızlı hedef seçimleri için araştırma, kullanıcının göz bakışının el ile tıklamayı (örneğin, bir hava dokunuşu) sonuçlanmadan önce ilerleyebileceğini göstermiştir. Hızlı göz bakışı sinyalinin daha yavaş kontrol girişiyle (örneğin, ses, eller, denetleyici) eşitlenmesine özellikle dikkat edin.

  • Küçük hedefler: Metni okumaya çalışırken rahat okunamayacak kadar küçük olan duyguyu biliyor musunuz? Gözlerinizi yoran bu duygu yorgun ve yıpranmış hissetmenize neden olabilir, çünkü daha iyi odaklanmak için gözlerinizi yeniden ayarlamaya çalışırsınız. Bu, göz hedeflemeyi kullanarak kullanıcıları uygulamanızda çok küçük olan hedefleri seçmeye zorlarken çağırabileceğiniz bir duygudur. Tasarımınız için kullanıcılarınız için hoş ve rahat bir deneyim oluşturmak için hedeflerin görsel açıdan en az 2° , tercihen daha büyük olmasını öneririz.

  • Düzensiz göz bakışı hareketleri Gözlerimiz sabitlemeden düzeltmeye kadar hızlı hareketler yapar. Kaydedilen göz hareketlerinin tarama yollarına bakarsanız düzensiz göründüğünü görebilirsiniz. Gözleriniz , kafa bakışı veya el hareketlerine kıyasla hızlı ve spontan atlamalarla hareket eder.

  • İzleme güvenilirliği: Göz izleme doğruluğu, gözleriniz yeni koşullara uyum sağladıkça değişen ışıkta biraz düşebilir. Doğruluk 2° sınırlaması içinde olması gerektiğinden, bu durum uygulama tasarımınızı etkilememelidir ancak kullanıcının yeniden ayarlaması gerekebilir.

Tasarım önerileri

Aşağıda, göz bakışı girişi için açıklanan avantajlara ve zorluklara dayalı belirli tasarım önerilerinin bir listesi yer alır:

  1. Göz bakışı, Baş bakışı ile aynı değildir:

    • Hızlı ve düzensiz göz hareketlerinin giriş görevinize uygun olup olmadığını göz önünde bulundurun: Hızlı ve düzensiz göz hareketlerimiz görüş alanımız genelinde hedefleri hızla seçmekte harika olsa da, düzgün giriş yörüngeleri gerektiren görevler (örneğin, çizim veya çevreleme ek açıklamaları) için daha az uygulanabilir. Bu durumda el veya baş işaret etme tercih edilmelidir.

    • Doğrudan kullanıcının göz bakışına (örneğin, kaydırıcı veya imleç) bir şey eklemekten kaçının. İmleçlerle, öngörülen göz bakışı sinyalindeki hafif uzaklıklar nedeniyle bu durum "imleçten kaçma" etkisine neden olabilir. Kaydırıcı ile kaydırıcıyı gözlerinizle kontrol etme rolüyle çakışabilir ve nesnenin doğru konumda olup olmadığını kontrol etmek isteyebilir. Kaydırıcı örneği için el hareketleri ile birlikte göz bakışı kullanmak daha mantıklıdır. Bu, kullanıcının birçok kaydırıcı arasında hızlı ve zahmetsiz bir şekilde geçiş yaptığı, elini yukarı kaldırabileceği ve parmağıyla işaret parmağını tutarak hareket ettirebileceği anlamına gelir. Sıkıştırma serbest bırakıldığında kaydırıcı hareket etmiyor. Özellikle bu kullanıcı için sinyal belirsizse, kullanıcılar bunalmış ve dikkatleri dağılmış olabilir.

  2. Göz bakışı diğer girişlerle birleştirin: Gözle izlemenin el hareketleri, sesli komutlar veya düğme basmaları gibi diğer girişlerle tümleştirilmesi çeşitli avantajlar sağlar:

    • Ücretsiz gözleme izin ver: Gözlerimizin temel rolünün ortamımızı gözlemlemek olduğu düşünüldüğünde, kullanıcıların herhangi bir geri bildirim veya eylem tetiklemeden (görsel, işitsel vb.) etrafa bakmalarına izin verilmesi önemlidir. Gözle izlemeyi başka bir giriş denetimiyle birleştirmek, göz izleme gözlemi ve giriş denetimi modları arasında sorunsuz geçiş sağlar.

    • Güçlü bağlam sağlayıcısı: Sesli komut kullanırken veya el hareketi kullanırken kullanıcının nereye ve neye baktığı hakkında bilgi kullanmak, girişin görünüm alanı genelinde sorunsuz bir şekilde kanala bağlanmasını sağlar. Örneğin: Bir hedefe ve hedeflenen hedefe bakarak sahne genelinde hologramı hızlı ve akıcı bir şekilde seçmek ve konumlandırmak için "bunu oraya koy" deyin.

    • Çok modüllü girişlerin eşitlenmesi gerekiyor: Hızlı göz hareketlerini uzun sesli komutlar veya el hareketleri gibi daha karmaşık girişlerle birleştirmek, kullanıcının fazladan giriş komutu tamamlanmadan ve tanınmadan önce etrafa bakmaya devam etme riskini taşır. Kendi giriş denetimlerinizi (örneğin, özel el hareketleri) oluşturuyorsanız, bu girişin başlangıcını veya yaklaşık süreyi günlüğe kaydederek kullanıcının geçmişte baktığıyla ilişkilendirdiğinizden emin olun.

  3. Gözle izleme girişi için küçük geri bildirimler: Sistemin istendiği gibi çalıştığını ancak dikkate alınması gerektiğini belirtmek için bir hedefe bakıldığında geri bildirim sağlamak yararlı olur. Bu, yavaş bir şekilde içeri ve dışarı karıştırmayı, görsel vurguları veya yavaş çekimler gibi hedef boyutunu biraz artırma gibi diğer ince hedef davranışları yapmayı içerebilir. Bu, sistemin kullanıcının geçerli iş akışını gereksiz yere kesintiye uğratmadan bir hedefe baktığını doğru şekilde algıladığını gösterir.

  4. Doğal olmayan göz hareketlerini giriş olarak zorlamaktan kaçının: Kullanıcıları uygulamanızda eylemleri tetiklemeleri için belirli göz hareketlerini (bakış hareketleri) kullanmaya zorlamayın.

  5. Kararsızlıklar için hesap: Kullanıcılar tarafından fark edilen iki tür kararsızlığı ayırt ediyoruz: uzaklık ve değişim. Uzaklığı ele almanın en kolay yolu, etkileşime geçmek için yeterince büyük hedefler sağlamaktır. Başvuru olarak 2° 'den büyük bir görsel açı kullanmanız önerilir. Örneğin, kolunuzu uzattığınızda küçük resminiz görsel açıdan yaklaşık 2°'dir. Bu, aşağıdaki yönergelere yol açar:

    • Kullanıcıları küçük hedefleri seçmeye zorlamayın. Araştırmalar, hedefler yeterince büyükse ve sistem iyi tasarlanmışsa, kullanıcıların etkileşimlerini zahmetsiz ve büyülü olarak tanımladığını göstermiştir. Hedefler çok küçük hale gelirse, kullanıcılar bu deneyimi sıkıcı ve sinir bozucu olarak tanımlar.

Bu sayfa, karma gerçeklikte giriş olarak göz bakışı anlamanızı sağlamak için size iyi bir genel bakış sağladı. Geliştirmeye başlamak için Unity'de göz bakışı ve DirectX'te göz bakışı ile ilgili bilgilerimize göz atın.

Ayrıca bkz.