Bakma ve işleme

Bakış ve işleme , fareyi kullanarak bilgisayarlarımızla etkileşim kurma şeklimizle yakından ilgili temel bir giriş modelidir: Nokta & tıklama. Bu sayfada, iki tür bakış girişi (baş ve göz bakışı) ve farklı işleme eylemi türleri tanıtacağız. Bakış ve işleme , dolaylı işleme ile uzak bir giriş modeli olarak kabul edilir. En iyi yöntem ulaşılamamış holografik içerikle etkileşimde bulunur.

Karma gerçeklik kulaklıkları, baş yön vektörlerini belirlemek için kullanıcının kafasının konumunu ve yönlendirmesini kullanabilir. Bakışları, doğrudan kullanıcının gözleri arasında doğrudan ileriyi gösteren bir lazer olarak düşünün. Bu, kullanıcının nerede arayabileceğine ilişkin oldukça kaba bir yaklaşık değerdir. Uygulamanız bu ışını sanal veya gerçek dünya nesneleriyle kesiştirebilir ve kullanıcıya neyi hedeflediğini bildirmek için bu konuma bir imleç çizebilir.

Kafa bakışına ek olarak, HoloLens 2 gibi bazı karma gerçeklik başlıkları, göz bakışı vektör oluşturan göz izleme sistemlerini içerir. Bu, kullanıcının nereye bakacağıyla ilgili ayrıntılı bir ölçüm sağlar. Her iki durumda da bakış, kullanıcının amacı için önemli bir sinyali temsil eder. Sistem kullanıcının hedeflenen eylemlerini ne kadar iyi yorumlayabilir ve tahmin edebilirse, kullanıcı memnuniyeti ve performansı o kadar artar.

Aşağıda karma gerçeklik geliştiricisi olarak kafa veya göz bakışlarından nasıl yararlanabileceğinize ilişkin birkaç örnek verilmiştir:

  • Uygulamanız, kullanıcının dikkatinin nerede olduğunu (göz bakışıyla daha hassas) belirlemek için sahnenizdeki hologramlarla kesişebilir.
  • Uygulamanız, kullanıcının bakışını temel alarak hareketleri ve denetleyici basımlarını kanala alabilir ve bu sayede kullanıcının hologramlarını sorunsuzca seçmesine, etkinleştirmesine, yakalamasına, kaydırmasına veya başka bir şekilde etkileşim kurmasına olanak tanır.
  • Uygulamanız, kullanıcının bakış ışınını uzamsal eşleme ağıyla kesiştirerek hologramları gerçek dünya yüzeylerine yerleştirmesine izin verebilir.
  • Uygulamanız, kullanıcının önemli bir nesnenin yönüne bakmadığını anlayabilir ve bu da uygulamanızın söz konusu nesneye doğru dönmesi için görsel ve sesli ipuçları vermesine yol açabilir.

Cihaz desteği

Giriş modeli HoloLens (1. nesil) HoloLens 2 Çevreleyici kulaklıklar
Kafa bakışı ve işleme ✔️ Önerilen ✔️ Önerilen (üçüncü seçenek - Diğer seçeneklere bakın) ➕ Alternatif seçenek
Göz bakışı ve işleme ❌ Kullanılamaz ✔️ Önerilen (üçüncü seçenek - Diğer seçeneklere bakın) ❌ Kullanılamaz

Baş ve göz izleme tasarım kavramları tanıtımı

Baş ve Göz İzleme tasarım kavramlarını uygulamada görmek isterseniz aşağıdaki Tasarım Hologramlar - Baş İzleme ve Göz İzleme video tanıtımımıza göz atın. İşiniz bittiğinde, belirli konulara daha ayrıntılı bir bakış için devam edin.

Bu video, "Hologramlar Tasarlama" HoloLens 2 uygulamasından alınmıştır. Buradan tam deneyimi indirin ve keyfini çıkarın.

Bakış

Göz mü yoksa kafa bakışı mı?

"Göz bakışı ve işleme" veya "baş bakış ve işleme" giriş modelini kullanmanız gerekip gerekmediği sorusuyla karşılaştığınızda dikkat edilmesi gereken birkaç nokta vardır. Çevreleyici bir kulaklık veya HoloLens (1. nesil) için geliştiriyorsanız, seçim basittir: Baş bakışı ve işleme. HoloLens 2 için geliştiriyorsanız, seçim biraz daha zorlaşır. Her biriyle birlikte gelen avantajları ve zorlukları anlamak önemlidir. Head-vs. eye-eyee hedeflemesini karşılaştırmak için aşağıdaki tabloda bazı geniş profesyoneller ve eksiler derledik. Bu tam olarak tamamlanmaz ve burada karma gerçeklikte göz bakışı hedefleme hakkında daha fazla bilgi edinmenizi öneririz:

  • HoloLens 2'de gözle izleme: Bazı geliştirici rehberliği de dahil olmak üzere HoloLens 2'de yeni göz izleme özelliğimizin genel tanıtımı.
  • Göz bakışı etkileşimi: Giriş olarak göz izlemeyi kullanmayı planlarken dikkat edilmesi gerekenler ve öneriler tasarlar.
Göz bakışı hedefleme Baş bakışı hedefleme
Hızlı! Yavaş
Düşük efor (zar zor gerekli vücut hareketleri) Fatiguing olabilir - Olası rahatsızlık (örneğin, boyun yorgunluğu)
İmleç gerektirmez, ancak ince geri bildirim önerilir İmleci göstermeyi gerektirir
Düz göz hareketi yok – örneğin, çizim için iyi değil Daha denetimli ve açık
Küçük hedefler için zor (örneğin, küçük düğmeler veya web bağlantıları) Güvenilir! Büyük geri dönüş!
... ...

İster bakış ve işleme giriş modeliniz için baş bakış veya göz bakışı kullanın, her biri farklı tasarım kısıtlamalarıyla birlikte gelir. Bunlar göz bakışı ve işleme ilebaş bakış ve işleme makalelerinde ayrı ayrı ele alınmıştır.



Imleç

Kafa bakışı için çoğu uygulama, kullanıcıya etkileşimde bulunacakları konuda güven vermek için bir imleç veya başka bir işitsel/görsel gösterge kullanmalıdır. Normalde bu imleci, baş bakış ışınlarının ilk olarak hologram veya gerçek dünya yüzeyi olabilecek bir nesneyle kesiştiği dünyaya yerleştirirsiniz.

Göz bakışı için genellikle bir imleç göstermemenizi öneririz, bu durum kullanıcı için hızla dikkat dağıtıcı ve can sıkıcı hale gelebilir. Bunun yerine görsel hedefleri alt olarak vurgulayın veya kullanıcının etkileşime geçmek üzere olduğu konuda güven sağlamak için soluk bir göz imleci kullanın. Daha fazla bilgi için lütfen HoloLens 2'de göz tabanlı giriş için tasarım kılavuzumuzu gözden geçirin.

An example visual cursor to show gaze
Resim: Bakış göstermek için örnek bir görsel imleç



İşleme

Bir hedefe bakmanın farklı yollarından bahsettikten sonra, bakış ve işlemedekiişleme bölümünden biraz daha bahsedelim. Bir nesneyi veya UI öğesini hedefledikten sonra, kullanıcı ikincil bir giriş kullanarak etkileşimde bulunabilir veya buna tıklayabilir. Bu, giriş modelinin işleme adımı olarak bilinir.

Aşağıdaki işleme yöntemleri desteklenir:

  • Havadan dokunma el hareketi (yani, elinizi önünüzde kaldırın ve işaret parmağınızı ve parmağınızı bir araya getirin)
  • "Seç" veya hedeflenen sesli komutlardan birini söyleyin
  • HoloLens Tıklayıcı'da tek bir düğmeye basma
  • Xbox oyun çubuğunda 'A' düğmesine basma
  • Xbox uyarlamalı oyun kumandası üzerinde 'A' düğmesine basma

Bakış ve hava dokunma hareketi

Havadan dokunma, eli dik tutarak dokunma hareketidir. Hava musluğu kullanmak için, işaret parmağınızı hazır konuma getirin, ardından parmağınızla sıkıştırın ve serbest bırakmak için işaret parmağınızı yukarı kaldırın. HoloLens (1. nesil) üzerinde, hava musluğu en yaygın ikincil giriştir.

Finger in the ready position
Parmak hazır konumda

Press finger down to tap or click
Dokunmak veya tıklamak için parmağınızla aşağı basın

HoloLens 2'de de hava musluğu mevcuttur. Orijinal sürümden gevşetilmiştir. El dik ve hareketsiz olduğu sürece hemen hemen tüm sıkıştırma türleri artık desteklenmektedir. Bu, kullanıcıların bu hareketi öğrenmesini ve kullanmasını çok daha kolay hale getirir. Bu yeni hava dokunuşu aynı API aracılığıyla eskisinin yerini alır, böylece mevcut uygulamalar HoloLens 2 için yeniden derledikten sonra yeni davranışı otomatik olarak alır.



Bakış ve "Seç" sesli komutu

Sesli komut, karma gerçeklikteki birincil etkileşim yöntemlerinden biridir. Sistemi kontrol etmek için güçlü bir tutmadan kullanım mekanizması sağlar. Farklı türlerde sesli etkileşim modelleri vardır:

  • İkincil giriş olarak tıklama çalıştırma veya işleme kullanan genel "Seç" komutu.
  • Nesne komutları (örneğin, "Kapat" veya "Büyüt") bir eylemi ikincil giriş olarak gerçekleştirir ve işler.
  • Genel komutlar (örneğin, "Başlamaya git") hedef gerektirmez.
  • Konuşma kullanıcı arabirimleri veya Cortana gibi varlıklar yapay zeka doğal dil özelliğine sahiptir.
  • Özel sesli komutlar

Ayrıntılar ve kullanılabilir sesli komutların kapsamlı bir listesi ve bunların nasıl kullanılacağı hakkında daha fazla bilgi edinmek için sesli komut kılavuzumuzu gözden geçirin.



Bakış ve HoloLens Tıklayıcı

HoloLens Clicker, HoloLens için özel olarak oluşturulan ilk çevre birimi cihazıdır. HoloLens (1. nesil) Geliştirme Sürümü ile birlikte sunulmaktadır. HoloLens Tıklayıcı, kullanıcının en az el hareketiyle tıklamasına ve ikincil giriş olarak işlemesine olanak tanır. HoloLens Clicker, Bluetooth Düşük Enerji (BTLE) kullanarak HoloLens (1. nesil) veya HoloLens 2'ye bağlanır.

Cihazı eşleştirmeye ilişkin daha fazla bilgi ve yönergeler

Resim: HoloLens Tıklayıcı

HoloLens Clicker



Bakış ve Xbox Kablosuz Oyun Kumandası

Xbox Kablosuz Oyun Kumandası, 'A' düğmesini kullanarak ikincil giriş olarak bir tıklama çalıştırması gerçekleştirir. Cihaz, sistemde gezinmeye ve denetlemeye yardımcı olan varsayılan bir eylem kümesine eşlenir. Oyun kumandasını özelleştirmek istiyorsanız, Xbox Kablosuz Oyun Kumandası yapılandırmak için Xbox Donatıları uygulamasını kullanın.

Xbox oyun kumandasını bilgisayarınızla eşleştirme

Resim: Xbox Kablosuz Oyun Kumandası

Xbox Wireless Controller



Bakış ve Xbox Uyarlamalı Oyun Kumandası

Öncelikli olarak hareket kabiliyeti sınırlı olan oyuncu gereksinimlerini karşılamak için tasarlanan Xbox Uyarlamalı Oyun Kumandası, karma gerçekliğin daha erişilebilir olmasına yardımcı olan cihazlar için birleşik bir merkezdir.

Xbox Uyarlamalı Oyun Kumandası, 'A' düğmesini kullanarak ikincil giriş olarak bir tıklama çalıştırması gerçekleştirir. Cihaz, sistemde gezinmeye ve denetlemeye yardımcı olan varsayılan bir eylem kümesine eşlenir. Oyun kumandasını özelleştirmek istiyorsanız Xbox Uyarlamalı Oyun Kumandanızı yapılandırmak için Xbox Donatıları uygulamasını kullanın.

Xbox Adaptive Controller
Xbox Uyarlamalı Oyun Kumandası

Anahtarlar, düğmeler, takmalar ve oyun çubukları gibi harici cihazları Bağlan ve benzersiz bir oyun kumandası deneyimi oluşturun. Düğme, parmak çubuğu ve tetikleyici girişleri, 3,5 mm jaklar ve USB bağlantı noktaları üzerinden bağlanan yardımcı cihazlarla kontrol edilir.

Xbox Adaptive Controller ports
Xbox Uyarlamalı Oyun Kumandası bağlantı noktaları

Cihazı eşleştirme yönergeleri

Xbox sitesinde daha fazla bilgi bulabilirsiniz



Bileşik hareketler

Havadan dokunma

Hava dokunma hareketi (ve aşağıdaki diğer hareketler) yalnızca belirli bir dokunmaya tepki verir. Menü veya Kavrama gibi diğer dokunmaları algılamak için uygulamanızın yukarıdaki iki önemli bileşen hareketi bölümünde açıklanan alt düzey etkileşimleri doğrudan kullanması gerekir.

Dokunup bekleyin

Basılı tutma, hava musluğun aşağı parmak konumunu korumaktır. Hava dokunma ve tutmanın birleşimi, bir nesneyi etkinleştirmek veya bağlam menüsünü göstermek gibi fareyle aşağı doğru ikincil etkileşimler gibi kol hareketiyle birleştirildiğinde daha karmaşık "tıklama ve sürükleme" etkileşimlerine olanak tanır. Ancak, kullanıcılar herhangi bir genişletilmiş hareket sırasında el duruşlarını gevşetmeye eğilimli olabileceğinden, bu hareketi tasarlarken dikkatli olunmalıdır.

Düzenleme

Düzenleme hareketleri, hologramın kullanıcının el hareketlerine 1:1 tepki vermesini istediğinizde hologramı taşımak, yeniden boyutlandırmak veya döndürmek için kullanılabilir. Bu tür 1:1 hareketleri için bir kullanım, kullanıcının dünyada çizim veya resim yapmasına izin vermektir. Bir işleme hareketi için ilk hedefleme, bakış veya işaret ile yapılmalıdır. Dokunma ve basılı tutma işlemi başladıktan sonra, herhangi bir nesne düzenlemesi el hareketleri ile işlenir ve bu da kullanıcıyı işlerken etrafa bakmayı serbest bırakır.

Gezinti hareketleri sanal oyun çubuğu gibi çalışır ve radyal menüler gibi kullanıcı arabirimi pencere öğelerinde gezinmek için kullanılabilir. Hareketi başlatmak için dokunup basılı tutun ve ardından ilk baskının etrafında ortalanmış normalleştirilmiş bir 3B küp içinde elinizi hareket ettirin. Elinizi X, Y veya Z ekseni boyunca -1 değerinden 1'e taşıyabilir ve başlangıç noktası 0'dır. Gezinti, ortadaki fare düğmesine tıklayıp fareyi yukarı ve aşağı hareket ettirerek 2B kullanıcı arabirimini kaydırmaya benzer şekilde hız tabanlı sürekli kaydırma veya yakınlaştırma hareketleri oluşturmak için kullanılabilir.

Raylarla gezinti, belirli eksende belirli bir eşiğe ulaşılana kadar belirli eksendeki hareketleri tanıma özelliğini ifade eder. Bu yalnızca geliştirici tarafından bir uygulamada birden fazla eksendeki hareket etkinleştirildiğinde yararlıdır. Örneğin, bir uygulama X, Y ekseninde gezinme hareketlerini tanıyacak şekilde yapılandırılmış ancak aynı zamanda raylı X ekseni belirtmişse. Bu durumda, el hareketleri Y ekseninde de gerçekleşirse, X eksenindeki hayali raylar (kılavuz) içinde kaldıkları sürece sistem X eksenindeki el hareketlerini tanır.

2B uygulamalarda kullanıcılar dikey gezinti hareketlerini kullanarak uygulamanın içinde kaydırma, yakınlaştırma veya sürükleme yapabilir. Bu, aynı türdeki dokunma hareketlerinin benzetimini yapmak için uygulamaya sanal parmak dokunuşları ekler. Kullanıcılar, düğmeyi seçerek veya "<Kaydırma/Sürükleme/Yakınlaştırma> Aracı" diyerek uygulamanın üzerindeki çubukta bulunan araçlar arasında geçiş yaparak bu eylemlerden hangisinin gerçekleştirildiğini seçebilir.

Bileşik hareketler hakkında daha fazla bilgi

Hareket tanıyıcıları

Hareket tanıma kullanmanın avantajlarından biri, hareket tanıyıcısını yalnızca hedeflenen hologramın kabul edebildiği hareketler için yapılandırabilmenizdir. Platform yalnızca desteklenen bu hareketleri ayırt etmek için gerektiği şekilde kesinleştirme yapar. Bu şekilde, yalnızca havadan dokunmayı destekleyen bir hologram, basma ve bırakma arasında herhangi bir süreyi kabul edebilirken, hem dokunmayı hem de basılı tutmayı destekleyen bir hologram, tutma süresi eşiğinden sonra dokunmayı ayrı tutmaya yükseltebilir.

El tanıma

HoloLens, cihazda görünen iki elin konumunu izleyerek el hareketlerini tanır. HoloLens, eller hazır durumdayken (işaret parmağı yukarıdayken size bakan elin arkası) veya basılı durumdayken (elin arkası işaret parmağı aşağı dönükken) görür. Eller başka pozlardayken, HoloLens onları yok sayar. HoloLens algılayan her elinizin konumuna yönlendirme ve basılmış durumu olmadan erişebilirsiniz. El hareket çerçevesinin kenarına yaklaştığında, HoloLens görebileceği bir yere geri almak için elini nasıl hareket ettireceğini bilmesi için kullanıcıya gösterebileceğiniz bir yön vektöru da sağlanır.

Hareket çerçevesi

HoloLens hareketleri için el, hareket algılamalı kameraların burundan bel ve omuzlar arasında uygun şekilde görebileceği bir aralıkta bir hareket çerçevesi içinde olmalıdır. Kullanıcıların hem eylem başarısı hem de kendi rahatlıkları için bu tanıma alanı üzerinde eğitilmesi gerekir. Birçok kullanıcı başlangıçta hareket çerçevesinin HoloLens aracılığıyla görüşlerinde olması gerektiğini ve etkileşim kurmak için kollarını rahatsız edici bir şekilde tutması gerektiğini varsayar. HoloLens Tıklayıcı'yı kullanırken, ellerin hareket çerçevesi içinde olması gerekmez.

Özellikle sürekli hareketler için, örneğin holografik bir nesneyi hareket ettirirken ve hedeflenen sonuçlarını kaybederken hareket çerçevesinin ortasındayken kullanıcıların ellerini hareket çerçevesinin dışına taşıma riski vardır.

Göz önünde bulundurmanız gereken üç şey vardır:

  • Hareket çerçevesinin varlığı ve yaklaşık sınırlar üzerinde kullanıcı eğitimi. Bu, HoloLens kurulum sırasında öğretilir.

  • Hareketlerinin uygulama içindeki hareket çerçevesi sınırlarına yaklaştığında veya ihlal ettiğinde, kayıp hareketin istenmeyen sonuçlara yol açtığı dereceye kadar kullanıcılara bildirimde bulunabilirsiniz. Araştırmalar, böyle bir bildirim sisteminin temel niteliklerini göstermiştir. HoloLens kabuğu, bu tür bir bildirime iyi bir örnek sağlar. Görsel, merkezi imleçte sınır geçişinin gerçekleştiği yönü belirtir.

  • Hareket çerçevesi sınırlarının kırılmasının sonuçları en aza indirilmelidir. Genel olarak bu, bir hareketin sonucunun sınırda durdurulması ve ters çevrilmemesi gerektiği anlamına gelir. Örneğin, bir kullanıcı holografik bir nesneyi bir odada taşıyorsa hareket çerçevesi ihlal edildiğinde hareket durmalı ve başlangıç noktasına döndürülmemelidir. Kullanıcı biraz hayal kırıklığı yaşayabilir, ancak sınırları daha hızlı anlayabilir ve her seferinde tam hedeflenen eylemlerini yeniden başlatmak zorunda kalmaz.

Ayrıca bkz.