Eğitim
Modül
Karma Gerçeklik Araç Seti'ne Giriş - Projenizi Ayarlama ve El Etkileşimini Kullanma - Training
Bu kurs, kullanıcıya MRTK'nın tüm temel öğeleri hakkında temel bilgiler sağlar.
Bakma ve işleme
Bakış ve işleme , fareyi kullanarak bilgisayarlarımızla etkileşim kurma şeklimizle yakından ilgili temel bir giriş modelidir: İşaret & tıklama. Bu sayfada, iki tür bakış girişi (baş ve göz bakışı) ve farklı işleme eylemi türleri tanıtacağız. Bakış ve işleme , dolaylı işlemeye sahip uzak bir giriş modeli olarak kabul edilir. Erişilememiş holografik içeriklerle etkileşimde bulunurken en iyi şekilde kullanılır.
Karma gerçeklik başlıkları, baş yönü vektörlerini belirlemek için kullanıcının kafasının konumunu ve yönlendirmesini kullanabilir. Bakışını, doğrudan kullanıcının gözleri arasında doğrudan ileriyi gösteren bir lazer olarak düşünün. Bu, kullanıcının nereye baktığına ilişkin oldukça kaba bir tahmindir. Uygulamanız bu işını sanal veya gerçek dünya nesneleriyle kesiştirebilir ve kullanıcıya hedeflediklerini bildirmek için bu konuma bir imleç çizebilir.
Kafa bakışına ek olarak, HoloLens 2 gibi bazı karma gerçeklik başlıkları, göz bakışı vektör oluşturan göz izleme sistemlerini içerir. Bu, kullanıcının nereye bakacağıyla ilgili ayrıntılı bir ölçüm sağlar. Her iki durumda da bakış, kullanıcının amacı için önemli bir sinyali temsil eder. Sistem kullanıcının hedeflenen eylemlerini ne kadar iyi yorumlayabilir ve tahmin edebilirse, kullanıcı memnuniyeti ve performansı o kadar artar.
Karma gerçeklik geliştiricisi olarak kafa veya göz bakışlarından nasıl yararlanabileceğinize ilişkin birkaç örnek aşağıda verilmiştir:
- Uygulamanız, kullanıcının dikkatinin nerede olduğunu belirlemek için sahnenizdeki hologramlarla kesişebilir (göz bakışıyla daha kesin).
- Uygulamanız hareketleri ve denetleyici preslerini kullanıcının bakışını temel alarak kanal oluşturabilir ve bu sayede kullanıcının hologramlarını sorunsuzca seçmesine, etkinleştirmesine, yakalamasına, kaydırmasına veya başka bir şekilde etkileşim kurmasına olanak tanır.
- Uygulamanız, kullanıcının bakış ışınını uzamsal haritalama ağıyla kesiştirerek gerçek dünya yüzeylerine hologram yerleştirmesine izin verebilir.
- Uygulamanız, kullanıcının önemli bir nesnenin yönüne bakmadığını anlayabilir ve bu da uygulamanızın söz konusu nesneye doğru dönmesi için görsel ve sesli ipuçları vermesine yol açabilir.
| Giriş modeli | HoloLens (1. nesil) | HoloLens 2 | Çevreleyici kulaklıklar |
| Kafaya bakma ve işleme | ✔️ Önerilen | ✔️ Önerilen (üçüncü seçenek - Diğer seçeneklere bakın) | ➕ Alternatif seçenek |
| Gözlere bakma ve işleme | ❌ Kullanılamaz | ✔️ Önerilen (üçüncü seçenek - Diğer seçeneklere bakın) | ❌ Kullanılamaz |
Baş ve Göz İzleme tasarım kavramlarını uygulamada görmek istiyorsanız aşağıdaki Hologramları Tasarlama - Baş İzleme ve Göz İzleme video tanıtımımıza göz atın. İşiniz bittiğinde, belirli konulara daha ayrıntılı bir bakış için devam edin.
Bu video "Hologram Tasarlama" HoloLens 2 uygulamasından alınmıştır. Buradan tüm deneyimi indirin ve keyfini çıkarın.
"Göz bakışı ve işleme" veya "baş bakışı ve işleme" giriş modelini kullanmanız gerekip gerekmediği sorusuyla karşılaştığınızda dikkat edilmesi gereken birkaç nokta vardır. Çevreleyici bir başlık veya HoloLens (1. nesil) için geliştiriyorsanız, seçim basittir: Kafaya bakma ve işleme. HoloLens 2 için geliştiriyorsanız, seçim biraz daha zorlaşır. Her biriyle birlikte gelen avantajları ve zorlukları anlamak önemlidir. Aşağıdaki tabloda head-vs. eye-gaze hedeflemesini karşılaştırmak için bazı geniş profesyoneller ve eksiler derledik. Bu tam olarak tamamlanmaz ve burada karma gerçeklikte göz bakışı hedefleme hakkında daha fazla bilgi edinmenizi öneririz:
- HoloLens 2 gözle izleme: Bazı geliştirici rehberliği de dahil olmak üzere HoloLens 2 yeni göz izleme özelliğimizin genel tanıtımı.
- Göz bakışı etkileşimi: Göz izlemeyi giriş olarak kullanmayı planlarken dikkat edilmesi gerekenler ve öneriler tasarlar.
| Göz bakışı hedefleme | Baş bakışı hedefleme |
| Hızlı! | Yavaş |
| Düşük efor (zar zor herhangi bir vücut hareketi gerekli) | Fatiguing olabilir - Olası rahatsızlık (örneğin, boyun yorgunluğu) |
| İmleç gerektirmez, ancak ince geri bildirim önerilir | İmleci göstermeyi gerektirir |
| Pürüzsüz göz hareketi yok – örneğin, çizim için iyi değil | Daha denetimli ve açık |
| Küçük hedefler için zor (örneğin, küçük düğmeler veya web bağlantıları) | Güvenilir! Harika bir geri dönüş! |
| ... | ... |
Bakış ve işleme giriş modeliniz için baş bakışı veya göz bakışı kullanmanız farketmeksizin, her biri farklı tasarım kısıtlamaları kümesiyle birlikte gelir. Bunlar göz bakışı ve işleme ilebaş bakış ve işleme makalelerinde ayrı ayrı ele alınmıştır.
Kafa bakışı için çoğu uygulama, kullanıcıya etkileşimde bulunacakları konuda güven vermek için bir imleç veya başka bir işitsel/görsel gösterge kullanmalıdır.
Genellikle bu imleci, kafa bakış ışınlarının bir nesneyle kesiştiği dünyada konumlandırabilirsiniz. Bu nesne hologram veya gerçek dünya yüzeyi olabilir.
Göz bakışı için genellikle bir imleç göstermemenizi öneririz, bu kullanıcı için hızla dikkat dağıtıcı ve rahatsız edici hale gelebilir.
Bunun yerine görsel hedefleri alt olarak vurgulayın veya kullanıcının etkileşime geçmek üzere olduğu konuda güven sağlamak için soluk bir göz imleci kullanın. Daha fazla bilgi için lütfen HoloLens 2 göz tabanlı giriş için tasarım kılavuzumuzu gözden geçirin.
Resim: Bakışları göstermek için örnek bir görsel imleç
Bir hedefe bakmanın farklı yollarından bahsettikten sonra, bakış ve işlemedekiişleme bölümünden biraz daha bahsedelim. Bir nesneyi veya ui öğesini hedefledikten sonra, kullanıcı ikincil giriş kullanarak nesneyle etkileşimde bulunabilir veya buna tıklayabilir. Bu, giriş modelinin işleme adımı olarak bilinir.
Aşağıdaki işleme yöntemleri desteklenir:
- Havadan dokunma el hareketi (yani, elinizi önünüzde kaldırın ve işaret parmağınızı ve baş parmağınızı bir araya getirin)
- "Seç" veya hedeflenen sesli komutlardan birini söyleyin
- HoloLens Clicker'da tek bir düğmeye basma
- Xbox oyun çubuğunda 'A' düğmesine basma
- Xbox uyarlamalı oyun kumandası üzerinde 'A' düğmesine basma
Havadan dokunma, eli dik tutarak dokunma hareketidir. Hava dokunması kullanmak için, işaret parmağınızı hazır konuma getirin, baş parmağınızla sıkıştırın ve serbest bırakmak için işaret parmağınızı yukarı kaldırın. HoloLens'te (1. nesil), hava musluğu en yaygın ikincil giriştir.
Parmak hazır konumda
Dokunmak veya tıklamak için parmak aşağı basın
HoloLens 2'da hava musluğu da mevcuttur. Orijinal sürümden gevşetilmiştir. El dik ve hareketsiz olduğu sürece neredeyse tüm sıkıştırma türleri artık desteklenmektedir. Bu, kullanıcıların bu hareketi öğrenmesini ve kullanmasını çok daha kolay hale getirir. Bu yeni havadan dokunma aynı API aracılığıyla eskisinin yerini alır, böylece mevcut uygulamalar HoloLens 2 için yeniden derledikten sonra otomatik olarak yeni davranışa sahip olur.
Sesli komut, karma gerçeklikteki birincil etkileşim yöntemlerinden biridir. Sistemi kontrol etmek için güçlü bir tutmadan kullanım mekanizması sağlar. Farklı türlerde ses etkileşimi modelleri vardır:
- İkincil giriş olarak tıklama çalıştırma veya işleme kullanan genel "Seç" komutu.
- Nesne komutları (örneğin, "Kapat" veya "Büyüt") bir eylemi ikincil giriş olarak gerçekleştirir ve işler.
- Genel komutlar (örneğin, "Başlamaya git") hedef gerektirmez.
- Konuşma kullanıcı arabirimleri veya Cortana gibi varlıklar yapay zeka doğal dil özelliğine sahiptir.
- Özel sesli komutlar
Ayrıntılar ve kullanılabilir sesli komutların kapsamlı listesi ve bunların nasıl kullanılacağı hakkında daha fazla bilgi edinmek için sesli komut kılavuzumuzu gözden geçirin.
HoloLens Clicker, HoloLens için özel olarak oluşturulmuş ilk çevre birimi cihazıdır. HoloLens (1. nesil) Geliştirme Sürümü'ne dahildir. HoloLens Clicker, kullanıcının en az el hareketiyle tıklamasına ve ikincil giriş olarak işlemesine olanak tanır. HoloLens Clicker, HoloLens'e (1. nesil) bağlanır veya Bluetooth Düşük Enerji (BTLE) kullanarak HoloLens 2.
Cihazı eşleştirme hakkında daha fazla bilgi ve yönergeler
Görüntü: HoloLens Clicker
Xbox Kablosuz Oyun Kumandası, 'A' düğmesini kullanarak ikincil giriş olarak bir tıklama eylemi gerçekleştirir. Cihaz, sistemde gezinmeye ve denetlemeye yardımcı olan varsayılan bir eylem kümesine eşlenir. Oyun kumandasını özelleştirmek istiyorsanız, Xbox Kablosuz Oyun Kumandası yapılandırmak için Xbox Donatıları uygulamasını kullanın.
Xbox oyun kumandasını bilgisayarınızla eşleştirme
Resim: Xbox Kablosuz Oyun Kumandası
Mobilitesi sınırlı olan oyuncu ihtiyaçlarını karşılamak için tasarlanan Xbox Uyarlamalı Oyun Kumandası, karma gerçekliğin daha erişilebilir olmasına yardımcı olan cihazlar için birleşik bir merkezdir.
Xbox Uyarlamalı Oyun Kumandası, 'A' düğmesini kullanarak ikincil giriş olarak bir tıklama çalıştırması gerçekleştirir. Cihaz, sistemde gezinmeye ve denetlemeye yardımcı olan varsayılan bir eylem kümesine eşlenir. Oyun kumandasını özelleştirmek istiyorsanız Xbox Uyarlamalı Oyun Kumandanızı yapılandırmak için Xbox Donatıları uygulamasını kullanın.
Xbox Uyarlamalı Oyun Kumandası
Benzersiz bir özel denetleyici deneyimi oluşturmak için anahtarlar, düğmeler, takmalar ve oyun çubukları gibi harici cihazları bağlayın. Düğme, kontrol çubuğu ve tetikleyici girişleri, 3,5 mm jaklar ve USB bağlantı noktaları üzerinden bağlanan yardımcı cihazlarla kontrol edilir.
Xbox Uyarlamalı Oyun Kumandası bağlantı noktaları
Xbox sitesinde daha fazla bilgi bulunabilir
Hava dokunma hareketi (ve aşağıdaki diğer hareketler) yalnızca belirli bir dokunmaya tepki verir. Menü veya Kavrama gibi diğer dokunmaları algılamak için uygulamanızın yukarıdaki iki önemli bileşen hareketi bölümünde açıklanan alt düzey etkileşimleri doğrudan kullanması gerekir.
Basılı tutma, hava musluğun aşağı doğru parmak konumunu korumaktır. Hava dokunma ve tutmanın kombinasyonu, bir nesneyi etkinleştirmek veya bağlam menüsünü gösterme gibi fareyle açılan ikincil etkileşimler gibi kol hareketiyle birleştirildiğinde daha karmaşık çeşitli "tıklama ve sürükleme" etkileşimlerine olanak tanır. Ancak, kullanıcılar herhangi bir genişletilmiş hareket sırasında el duruşlarını gevşetmeye eğilimli olabileceğinden, bu hareketi tasarlarken dikkatli olunmalıdır.
Düzenleme hareketleri, hologramın kullanıcının el hareketlerine 1:1 tepki vermesini istediğinizde hologramı taşımak, yeniden boyutlandırmak veya döndürmek için kullanılabilir. Bu tür 1:1 hareketlerinin bir kullanımı, kullanıcının dünyada çizim yapmasına veya boyamasına izin vermektir. Bir işleme hareketi için ilk hedefleme, bakış veya işaret ile yapılmalıdır. Dokunma ve basılı tutma işlemi başladıktan sonra, herhangi bir nesne düzenlemesi el hareketleriyle işlenir ve bu da kullanıcıyı işlerken etrafa bakmasını sağlar.
Gezinti hareketleri sanal bir oyun çubuğu gibi çalışır ve radyal menüler gibi kullanıcı arabirimi pencere öğelerinde gezinmek için kullanılabilir. Hareketi başlatmak için dokunup bekleyin ve ardından ilk baskının etrafında ortalanmış normalleştirilmiş bir 3B küp içinde elinizi hareket ettirin. Elinizi X, Y veya Z ekseni boyunca -1 değerinden 1'e taşıyabilirsiniz ve başlangıç noktası 0'dır. Gezinti, ortadaki fare düğmesine tıklayıp fareyi yukarı ve aşağı hareket ettirerek 2B kullanıcı arabirimini kaydırmaya benzer şekilde hız tabanlı sürekli kaydırma veya yakınlaştırma hareketleri oluşturmak için kullanılabilir.
Raylarla gezinti, belirli eksende belirli bir eşiğe ulaşılana kadar belirli eksendeki hareketleri tanıma özelliğini ifade eder. Bu yalnızca geliştirici tarafından bir uygulamada birden fazla eksendeki hareket etkinleştirildiğinde yararlıdır. Örneğin, bir uygulama X, Y ekseninde gezinme hareketlerini tanıyacak şekilde yapılandırılmışsa ancak aynı zamanda raylarla X eksenini de belirtmişse. Bu durumda, Y ekseninde el hareketi de gerçekleşirse, X eksenindeki hayali raylar (kılavuz) içinde kaldıkları sürece sistem X ekseni üzerindeki el hareketlerini tanır.
2B uygulamalarda kullanıcılar dikey gezinti hareketlerini kullanarak uygulamanın içinde kaydırma, yakınlaştırma veya sürükleme işlemleri yapabilir. Bu, aynı türdeki dokunma hareketlerinin benzetimini yapmak için uygulamaya sanal parmak dokunuşları ekler. Kullanıcılar, düğmeyi seçerek veya '<Kaydırma/Sürükleme/Yakınlaştırma> Aracı' diyerek uygulamanın üst kısmındaki araçlar arasında geçiş yaparak bu eylemlerden hangisinin gerçekleştirildiğini seçebilir.
Bileşik hareketler hakkında daha fazla bilgi
Hareket tanıma kullanmanın bir avantajı, hareket tanıyıcısını yalnızca hedeflenen hologramın kabul edebildiği hareketler için yapılandırabilmenizdir. Platform yalnızca desteklenen bu hareketleri ayırt etmek için gerektiği şekilde kesinleştirme yapar. Bu şekilde, yalnızca havadan dokunmayı destekleyen bir hologram basın ve serbest bırakma arasında herhangi bir süreyi kabul edebilirken, hem dokunmayı hem de basılı tutmayı destekleyen bir hologram, tutma süresi eşiğinden sonra dokunmayı ayrı tutmaya yükseltebilir.
HoloLens, cihazda görünen iki elin veya her ikisinin konumunu izleyerek el hareketlerini tanır. HoloLens, eller hazır durumdayken (işaret parmağı yukarıyken size bakan elin arkası) veya basılı durumdayken (işaret parmağı aşağı dönük olarak size bakan elin arkasını) görür. Eller başka pozlardayken HoloLens bunları yoksayar. HoloLens'in algıladığınız her el için konumuna yönlendirme olmadan ve basılı durumuna erişmeniz gerekir. El hareket çerçevesinin kenarına yaklaştığında, size bir yön vektörünün de sağlandığı bu vektör, holoLens'in görebileceği bir yere geri almak için elini nasıl hareket ettireceğini bilmesi için kullanıcıya gösterebilirsiniz.
HoloLens'teki hareketler için el, hareket algılama kameralarının burundan bel ve omuzlar arasında uygun şekilde görebileceği bir aralıkta bir hareket çerçevesi içinde olmalıdır. Kullanıcıların bu tanıma alanında hem eylem başarısı hem de kendi konforları için eğitilmesi gerekir. Çoğu kullanıcı başlangıçta hareket çerçevesinin HoloLens aracılığıyla kendi görüşlerinde olması gerektiğini varsayar ve etkileşim kurmak için rahatsız edici bir şekilde kollarını tutar. HoloLens Clicker'ı kullanırken, ellerin hareket çerçevesi içinde olması gerekmez.
Özellikle sürekli hareketler için, örneğin holografik bir nesneyi hareket ettirirken ve amaçlanan sonucu kaybederken, hareket ortasındayken kullanıcıların ellerini hareket çerçevesinin dışına taşıma riski vardır.
Göz önünde bulundurmanız gereken üç şey vardır:
Hareket çerçevesinin varlığı ve yaklaşık sınırlar üzerinde kullanıcı eğitimi. Bu, HoloLens kurulumu sırasında öğretilir.
Bir uygulama içindeki hareket çerçevesi sınırlarına yaklaştığında veya bunları kırdığında, kayıp hareketin istenmeyen sonuçlara yol açtığı dereceye kadar kullanıcılara bildirimde bulunarak. Araştırmalar, böyle bir bildirim sisteminin temel özelliklerini göstermiştir. HoloLens kabuğu, bu tür bir bildirim için iyi bir örnek sağlar. Merkezi imleç üzerinde bulunan görsel, sınır geçişinin gerçekleştiği yönü gösterir.
Hareket çerçevesi sınırlarının kırılmasının sonuçları en aza indirilmelidir. Genel olarak bu, bir hareketin sonucunun sınırda durdurulması ve geri alınmaması gerektiği anlamına gelir. Örneğin, bir kullanıcı holografik bir nesneyi bir odada taşıyorsa hareket çerçevesi ihlal edildiğinde hareket durmalı ve başlangıç noktasına döndürülmemelidir. Kullanıcı biraz hayal kırıklığı yaşayabilir, ancak sınırları daha hızlı anlayabilir ve her seferinde tam hedeflenen eylemlerini yeniden başlatmak zorunda kalmayabilir.
Ek kaynaklar
Belgeler
-
Eller ile işaret etme ve işleme - Mixed Reality
Karma gerçeklik uygulamalarında hareket desteği için noktanın temellerini öğrenin ve giriş modelini işleyin.
-
Eller ile doğrudan yönlendirme - Mixed Reality
Kullanıcıların hologramlara elleriyle doğrudan dokunduğu bir giriş modeli olan doğrudan işleme hakkında bilgi edinin.
-
Baş bakışı ve konut - Mixed Reality
Genel senaryolar ve tasarım ilkeleri dahil olmak üzere baş bakış ve giriş modeline genel bakış ile başlayın.