Eller ile işaret etme ve işleme
El ile işaret etme ve işleme, kullanıcıların erişim 2B ve 3B içeriği hedeflemesine, seçmesine ve yönlendirmesine olanak tanıyan bir giriş modelidir. bu "uzak" etkileşim tekniği karma gerçekliğe özgüdür çünkü insanlar gerçek dünyayla doğal olarak bu şekilde etkileşim kurmaz. Örneğin, süper kahraman filmi X-Men'deMagneto karakteri uzaklardaki nesneleri elleriyle yönetebilir. Bu insanların gerçekte yapabilecekleri bir şey değil. Hem HoloLens (AR) hem de Karma Gerçeklik 'de (MR) kullanıcıları gerçek dünyanın fiziksel kısıtlamasını bozmak için bu büyülü güçle donatıyoruz. Eğlenceli bir holografik deneyim olmakla kalmaz, aynı zamanda kullanıcı etkileşimlerini daha etkili ve verimli hale getirir.
Cihaz desteği
| Giriş modeli | HoloLens (1. nesil) | HoloLens 2 | Çevreleyici kulaklıklar |
| Eller ile işaret etme ve işleme | ❌ Desteklenmiyor | ✔️ Önerilen | ✔️ Önerilen |
"El ile işaret etme ve işleme" , yeni eklemli el izleme sistemini kullanan yeni özelliklerden biridir. Bu giriş modeli aynı zamanda hareket denetleyicileri kullanılarak çevreleyici başlıklarda birincil giriş modelidir.
El ışınları
HoloLens 2, kullanıcının avucunun ortasından ateş eden bir ışını oluşturduk. Bu ışın, elin uzantısı olarak kabul edilir. ışının hedef nesneyle kesiştiği konumu belirtmek için ışının sonuna halka şeklinde bir imleç eklenir. İmlecin üzerinde durduğu nesne daha sonra el ile gelen gestural komutlarını alabilir.
Bu temel sinir komutu, havadan dokunma eylemini yapmak için başparmak ve işaret parmağı kullanılarak tetikler. İşlemeye işaret etmek için el ışınını ve dokunmayı havayla dokunarak kullanıcılar bir düğmeyi veya köprüyü etkinleştirebilir. Daha bileşik hareketlerle, kullanıcılar web içeriğinde gezinebilir ve 3B nesneleri uzaktan işleyebilir. El ışınının görsel tasarımı da aşağıda açıklandığı ve gösterildiği gibi bu noktaya ve işleme durumlarına tepki vermelidir:
İşaret etme durumu
İşaretçi durumunda, ışın bir tire çizgisi, imleç ise halka şeklindedir.
İşleme durumu
İşleme durumunda ışın düz bir çizgiye dönüşür ve imleç bir noktaya küçülür.
Yakın ve uzak arasında geçiş
Işını yönlendirmek için "işaret parmağıyla işaret etme" gibi belirli hareketleri kullanmak yerine, ışını kullanıcıların avucunun ortasından çıkacak şekilde tasarladık. Bu şekilde, Beş Parmak'ı sıkıştırma ve yakalama gibi daha manipülatif hareketler için serbest bıraktık ve ayırdık. Bu tasarımla tek bir zihinsel model oluşturuyoruz- yakın ve uzak etkileşim için aynı el hareketleri kümesi kullanılıyor. Farklı uzaklıklarda nesneleri işlemek için aynı yakalama hareketini kullanabilirsiniz. ışınların çağrılması aşağıdaki gibi otomatik ve yakınlık tabanlıdır:
Neredeyse işleme
Bir nesne kol uzunluğu (yaklaşık 50 cm) içinde olduğunda ışınlar otomatik olarak kapatılır ve yakın etkileşimi teşvik eder.
Uzak yönlendirme
Nesne 50 cm'den uzak olduğunda ışınlar açılır. Geçiş sorunsuz ve sorunsuz olmalıdır.
2B kayrak etkileşimi
2B slate, web tarayıcısı gibi 2B uygulama içeriklerini barındıran holografik bir kapsayıcıdır. 2B bir kayrakla uzak etkileşime yönelik tasarım kavramı, seçmek için el ışınlarını ve seçmek için hava musluğu kullanmaktır. El ışınıyla hedefledikten sonra, kullanıcılar bir köprüyü veya düğmeyi tetikleyebilmek için havadan dokunabilir. Sayfa içeriğini yukarı ve aşağı kaydırmak için "havadan dokunmak ve sürüklemek" için bir el kullanabilirler. İki elle dokunup sürüklemek için kullanılan göreli hareket, kayrak içeriğini yakınlaştırıp uzaklaştırabilir.
Köşelerde ve kenarlarda el ışınını hedeflemek, en yakın manipülasyon gücünü ortaya koyuyor. Kullanıcılar, "yakalama ve sürükleme" manipülasyonuna yönelik affordance'lar sayesinde köşedeki affordance'lar aracılığıyla tekdüzen ölçeklendirme yapabilir ve kenar gücü aracılığıyla sayfayı yeniden akıtabilir. 2B sayfa üst kısmındaki holobarı yakalayıp sürüklemek, kullanıcıların tüm sayfayı hareket ettirmesine olanak tanır.
Eski kimlik doğrulamasını engelleme hakkında daha fazla bilgi edinmek için
Kaydırma
Zoom
2B sayfayı düzenlemek için
- Kullanıcılar, en yakın manipülasyon gücünü ortaya çıkarmak için el ışınını köşelere veya kenarlara doğrultabilir.
- Kullanıcılar, affordance üzerinde bir düzenleme hareketi uygulayarak köşedeki affordance aracılığıyla tekdüzen ölçeklendirme yapabilir ve kenar gücü aracılığıyla sayfayı yeniden akıtabilir.
- Kullanıcılar, 2B levhanın en üstündeki holobara bir düzenleme hareketi uygulayarak tüm sayfayı taşıyabilir.
3B nesne işleme
Doğrudan işlemede, kullanıcıların 3B nesneleri işlemesi için iki yol vardır: affordance tabanlı işleme ve uygun maliyetli olmayan işleme. Nokta ve işleme modelinde, kullanıcılar el ışınları aracılığıyla tam olarak aynı görevleri gerçekleştirebilir. Ek öğrenme gerekmez.
Affordance tabanlı manipülasyon
Kullanıcılar sınırlayıcı kutuyu ve işleme gücünü göstermek ve göstermek için el ışınlarını kullanır. Kullanıcılar, nesnenin tamamını taşımak için sınırlayıcı kutuya, döndürülecek uç affordance'lara ve köşedeki uygun ölçeklendirmeleri tekdüzen ölçeklendirmeye yönelik düzenleme hareketini uygulayabilir.
Hareket
Döndür
Ölçeklendirme
Uygun maliyetli olmayan işleme
Kullanıcılar sınırlayıcı kutuyu ortaya çıkarmak için el ışınları ile işaret eder, ardından doğrudan işleme hareketleri uygular. Bir elle, nesnenin çevirisi ve döndürmesi, elin hareket ve yönlendirmesiyle ilişkilendirilir. Kullanıcılar, iki el ile iki elin göreli hareketlerine göre çeviri yapabilir, ölçeklendirebilir ve döndürebilir.
İçgüdüsel hareketler
Nokta ve işlemeye yönelik içgüdüsel hareketler kavramı , ellerle doğrudan manipülasyona benzer. Kullanıcıların bir 3B nesne üzerinde yaptığı hareketler, kullanıcı arabirimi gücü tasarımı tarafından yönlendirilir. Örneğin, küçük bir denetim noktası kullanıcıları başparmak ve işaret parmağıyla sıkıştırmaya teşvik ederken, kullanıcı daha büyük bir nesneyi almak için Beş Parmağın tümünü kullanmak isteyebilir.
Küçük nesne
Orta nesne
Büyük nesne
Eller ve 6 DoF kontrol cihazı arasında simetrik tasarım
Uzak etkileşim için nokta ve işleme kavramı Karma Gerçeklik Portalı (MRP) için oluşturulmuş ve tanımlanmıştır. Bu senaryoda, kullanıcı çevreleyici bir kulaklık takıyor ve hareket denetleyicileri aracılığıyla 3B nesnelerle etkileşimde bulunur. Hareket denetleyicileri uzak nesneleri işaret edip işlemek için ışınları çeker. Denetleyicilerde farklı eylemleri daha fazla işlemeye yönelik düğmeler vardır. ışınların etkileşim modelini uyguluyoruz ve her iki ele de takıyoruz. Bu simetrik tasarımla, MRP'ye aşina olan kullanıcıların HoloLens 2 kullanırken uzak işaret ve yönlendirme için başka bir etkileşim modeli öğrenmeleri gerekmez ve bunun tersi de geçerlidir.
Denetleyici ışınları
El ışınları
Unity için MRTK'de el ışını (Karma Gerçeklik Araç Seti)
Varsayılan olarak MRTK, kabuğun sistem el ışınlarıyla aynı görsel duruma sahip bir el ışın prefab (DefaultControllerPointer.prefab) sağlar. MRTK'nın Giriş profilinde, İşaretçiler'in altında atanır. Çevreleyici bir kulaklıkta aynı ışınlar hareket denetleyicileri için de kullanılır.