Eller ile doğrudan yönlendirme

Button

Doğrudan işleme, hologramlara doğrudan ellerinizle dokunmayı içeren bir giriş modelidir. Bu kavramın ardındaki fikir, nesnelerin gerçek dünyada olduğu gibi davranmalarıdır. Düğmeler yalnızca basılarak etkinleştirilebilir, nesneler yakalanarak alınabilir ve 2B içerik sanal dokunmatik ekran gibi davranır. Doğrudan yönlendirme, affordance tabanlıdır, yani kullanıcı dostudur. Kullanıcılara öğretecek sembolik hareketler yoktur. Tüm etkileşimler dokunabileceğiniz veya kavrayabileceğiniz görsel bir öğe etrafında oluşturulur. En iyi kullanım alanı, içerikle erişim içinde etkileşimde bulunurken kullanılması açısından "yakın" bir giriş modeli olarak kabul edilir.

Cihaz desteği

Giriş modeli HoloLens (1. nesil) HoloLens 2 Çevreleyici kulaklıklar
Eller ile doğrudan yönlendirme ❌ Desteklenmiyor ✔️ Önerilen ➕ Desteklenir. Kullanıcı arabirimi için, bunun yerine ellerle işaret edip işlemenizi öneririz.

Doğrudan işleme, HoloLens 2'de yeni el izleme sistemini kullanan birincil bir giriş modelidir. Giriş modeli, hareket denetleyicileri kullanılarak çevreleyici başlıklarda da kullanılabilir, ancak nesne işleme dışında birincil etkileşim aracı olarak önerilmez. Doğrudan yönlendirme, HoloLens (1. nesil) üzerinde kullanılamaz.



Temel el izleme ve içgüdüsel etkileşimler tanıtımı

Baş ve Göz İzleme tasarım kavramlarını uygulamada görmek istiyorsanız aşağıdaki Tasarım Hologramlar - Baş İzleme ve Göz İzleme video tanıtımımıza göz atın. İşiniz bittiğinde, belirli konulara daha ayrıntılı bir bakış için devam edin.

Bu video, "Hologramlar Tasarlama" HoloLens 2 uygulamasından alınmıştır. Buradan tüm deneyimi indirin ve keyfini çıkarın.

Harmanlanabilir parmak ucu

HoloLens 2'de, kullanıcının elleri sol ve sağ iskelet modelleri olarak tanınır ve yorumlanır. Hologramlara ellerle doğrudan dokunma fikrini uygulamak için ideal olarak, her el iskeleti modelinin beş parmak ucuna beş collider takılabilir. Ancak, dokunsal geri bildirim eksikliği nedeniyle, 10 harmanlanabilir parmak ucu hologramlarla beklenmedik ve öngörülemeyen çarpışmalara neden olabilir.

Her işaret parmağına yalnızca bir çarpıştırıcı yerleştirmenizi öneririz. Harmanlanabilir işaret parmak uçları, diğer parmaklarla ilgili çeşitli dokunma hareketleri için aktif dokunma noktaları görevi görmeye devam edebilir. Dokunma hareketleri aşağıda gösterildiği gibi Tek parmakla bas, Tek parmakla dokunma, İki parmakla bas ve Beş parmakla bas:

collidable fingertip
Harmanlanabilir parmak ucu

One-finger press
Tek parmakla basma

One-finger tap
Tek parmakla dokunma

Five-finger press
Beş parmakla basma



Sphere harmanlayıcı

Rastgele genel bir şekil kullanmak yerine küre harmanlayıcı kullanmanızı öneririz. Ardından, yakın hedefleme için daha iyi ipuçları sağlamak için görsel olarak işleyebilirsiniz. Kürenin çapı, dokunma doğruluğunu artırmak için işaret parmağı kalınlığıyla eşleşmelidir. El API'sini çağırarak parmak kalınlığı değişkenini almak daha kolaydır.

Parmak ucu imleci

İşaret parmak ucunda harmanlanabilir bir küre işlemeye ek olarak, daha iyi bir yakın hedefleme deneyimi elde etmek için gelişmiş bir parmak ucu imleci oluşturduk. İşaret parmak ucuna iliştirilmiş halka şeklinde bir imleçtir. Yakınlık açısından, aşağıda ayrıntılı olarak açıklandığı gibi yönlendirme ve boyut için bir hedefe dinamik olarak tepki verebilirsiniz:

  • İşaret parmağı holograma doğru hareket ettiğinde, imleç her zaman hologramın yüzeyine paralel olur ve boyutunu kademeli olarak küçültür.
  • Parmak yüzeye dokunduğu anda, imleç bir noktaya küçülür ve bir dokunma olayı yayar.

Etkileşimli geri bildirimle, kullanıcılar köprü tetikleme veya aşağıda gösterildiği gibi bir düğmeye basma gibi yüksek duyarlıklı yakın hedefleme görevlerine ulaşabilir.

Fingertip cursor far
Parmak ucu imleci uzak

Fingertip cursor near
Parmak ucu imleci yakın

Fingertip cursor contact
Parmak ucu imleç kişisi


Yakınlık gölgelendiricisi olan sınırlayıcı kutu

Hologramın kendisi de dokunsal geri bildirim eksikliğini telafi etmek için hem görsel hem de sesli geri bildirim sağlama olanağı gerektirir. Bunun için yakınlık gölgelendiricisine sahip sınırlayıcı kutu kavramını oluşturuyoruz. Sınırlayıcı kutu, bir 3B nesneyi kapsayan en düşük hacim alanıdır. Sınırlayıcı kutu, yakınlık gölgelendiricisi olarak adlandırılan etkileşimli bir işleme mekanizmasına sahiptir. Yakınlık gölgelendiricisi şu şekilde davranır:

Hover (far) with visual feedback
Vurgula (uzak)
İşaret parmağı bir aralık içinde olduğunda, sınırlayıcı kutunun yüzeyine parmak ucu spotu atılır.

Hover (near) with visual feedback
Üzerine gelin (yakın)
Parmak ucu yüzeye yaklaştığında, öne çıkanlar daralır.

Contact begins
kişi başlar
Parmak ucu yüzeye dokunduğu anda, sınırlayıcı kutunun tamamı renk değiştirir veya dokunma durumunu yansıtacak görsel efektler oluşturur.

Contact ends
Kişi sona eriyor
Görsel dokunma geri bildirimini geliştirmek için bir ses efekti de etkinleştirilebilir.



Basılabilir düğme

Harmanlanabilir parmak ucuyla, kullanıcılar artık basılabilir düğme gibi temel bir holografik kullanıcı arabirimi bileşeniyle etkileşime geçmek için hazır hale gelir. Basılabilir düğme, doğrudan parmak basılma için uyarlanmış holografik bir düğmedir. Yine dokunsal geri bildirim eksikliği nedeniyle basılabilir bir düğme, dokunsal geri bildirimle ilgili sorunları çözmek için birkaç mekanizmayı donatıyor.

  • İlk mekanizma, önceki bölümde ayrıntıları verilen yakınlık gölgelendiricisine sahip sınırlayıcı bir kutudur. Kullanıcılar bir düğmeye yaklaşıp iletişim kurduklarında yakınlık duygusunu daha iyi bir şekilde algılar.
  • İkinci mekanizma depresyondur. Depresyon, parmak ucu bir düğmeye temas ettikten sonra aşağı basma hissi yaratır. Mekanizma, düğmenin derinlik ekseni boyunca parmak ucuyla sıkıca hareket etmesini sağlar. Düğme, seçilen derinliğe ulaştığında (basıldığında) veya içinden geçtikten sonra derinlikten (serbest bırakıldığında) ayrıldığında tetiklenebilir.
  • Düğme tetiklendiğinde geri bildirimi geliştirmek için ses efekti eklenmelidir.

pressable button far
Parmak çok uzakta

pressable button near
Parmak yaklaşımları

pressable button contact begins
kişi başlar

pressable button press
Aşağı basın



2B kayrak etkileşimi

2B sayfa , web tarayıcısı gibi 2B uygulama içeriğini barındırmak için kullanılan holografik bir kapsayıcıdır. Doğrudan işleme yoluyla bir 2B kayrakla etkileşime geçmek için tasarım kavramı, fiziksel dokunmatik ekranla etkileşim kurmakla aynıdır.

Sayfa kişisiyle etkileşim kurmak için

Touch
Dokunma
Köprüye veya düğmeye basmak için bir dizin parmağı kullanın.

Scroll
Kaydırma
Bir sayfa içeriğini yukarı ve aşağı kaydırmak için dizin parmağı kullanın.

Zoom
Zoom
Kullanıcının iki dizin parmağı, parmaklarının göreli hareketine göre sayfa içeriğini yakınlaştırmak ve uzaklaştırmak için kullanılır.

2B sayfayı yönlendirmek için

Graphic showing grab and drag feature
Hareket
En yakın manipülasyon gücünü ortaya çıkarmak için ellerinizi köşelere ve kenarlara doğru hareket ettirin. Tüm sayfayı taşımanızı sağlayan 2B tabletin üst kısmındaki Holobar'ı alın.

Graphic showing scale feature
Ölçeklendirme
Manipülasyon bütçelerini alın ve köşedeki affordance'lar aracılığıyla tekdüzen ölçeklendirme yapın.

Reflow
Reflow
Manipülasyon bütçelerini alın ve kenar affordance'ları aracılığıyla yeniden akış yapın.



3B nesne işleme

HoloLens 2, kullanıcıların her 3B nesneye sınırlayıcı bir kutu uygulayarak ellerinin 3B holografik nesneleri yönlendirmesini ve işlemesini sağlar. Sınırlayıcı kutu, yakınlık gölgelendiricisi ile daha iyi derinlik algısı sağlar. Sınırlayıcı kutuyla, 3B nesne işleme için iki tasarım yaklaşımı vardır.

Affordance tabanlı manipülasyon

Affordance-base işlemesi, 3B nesneyi çevresindeki manipülasyon affordance'larla birlikte sınırlayıcı bir kutu aracılığıyla işlemenizi sağlar.

Graphic showing an objects bounding box and move feature
Hareket
Bir kullanıcının eli bir 3B nesneye yaklaştığında sınırlayıcı kutu ve en yakın bütçe ortaya çıkar. Kullanıcılar tüm nesneyi taşımak için sınırlayıcı kutuyu kapabilir.

Graphic showing user grabbing an objects edge to rotate
Döndür
Kullanıcılar, döndürmek için avantaj sağlayabilir.

Graphic showing user grabbing an objects corner to scale
Ölçeklendirme
Kullanıcılar tekdüzen ölçeklendirmek için köşedeki bütçeleri alabilir.


Affordance tabanlı olmayan işleme

Uygun maliyetli olmayan işleme, sınırlayıcı kutuya affordance eklemez. Kullanıcılar yalnızca sınırlayıcı kutuyu açabilir, ardından doğrudan onunla etkileşime geçebilir. Sınırlayıcı kutu tek elle yakalanırsa, nesnenin çevirisi ve döndürmesi elin hareket ve yönlendirmesiyle ilişkilendirilir. Nesne iki elle tutulduğunda, kullanıcılar iki elin göreli hareketlerine göre nesneyi çevirebilir, ölçeklendirebilir ve döndürebilir.

Belirli işleme duyarlık gerektirir. Yüksek düzeyde ayrıntı düzeyi sağladığından affordance tabanlı işleme kullanmanızı öneririz. Esnek işleme için, anlık ve eğlenceli deneyimlere izin verdiğinden , uygun maliyetli olmayan işlemeyi kullanmanızı öneririz.



İçgüdüsel hareketler

HoloLens (1. nesil) ile kullanıcılara çiçek açma ve hava musluğu gibi önceden tanımlanmış birkaç hareketi öğrettik. HoloLens 2 için, kullanıcılardan sembolik hareketleri ezberlemelerini istemeyiz. Kullanıcıların hologramlar ve içerikle etkileşim kurması gereken tüm gerekli kullanıcı hareketleri içgüdüseldir. İçgüdüsel hareketler elde etmenin yolu, kullanıcıların kullanıcı arabirimi gücü tasarımı aracılığıyla hareketler gerçekleştirmesine yardımcı olmaktır.

Örneğin, kullanıcının iki parmakla sıkıştırarak bir nesneyi veya denetim noktasını yakalamasını teşvik ettiğimizde, nesne veya denetim noktası küçük olmalıdır. Kullanıcının beş parmakla yakalamasını istiyorsak nesne veya denetim noktası görece büyük olmalıdır. Düğmelere benzer şekilde, küçük bir düğme kullanıcıların tek parmakla basmalarını sınırlayabilir. Büyük bir düğme, kullanıcıları avuç içiyle basmaya teşvik eder.

Graphic showing user grabbing small object to move
Küçük nesne

Graphic showing user grabbing medium object to move
Orta nesne

Graphic showing user grabbing large object to move
Büyük nesne




Eller ve 6 DoF denetleyici arasında simetrik tasarım

AR'daki eller ve VR'deki hareket denetleyicileri arasında çekebileceğimiz etkileşim paralelleri olduğunu fark etmiş olabilirsiniz. Her iki giriş de kendi ortamlarında doğrudan işlemeleri tetikleme amacıyla kullanılabilir. HoloLens 2'de, ellerle yakın mesafeden yakalama ve sürükleme, WMR hareket denetleyicilerindeki tutma düğmesiyle aynı şekilde çalışır. Bu, kullanıcılara iki platform arasında etkileşim hakkında bilgi sağlar. Bu, uygulamanızı platformlar arasında taşımaya karar verirseniz yararlı olabilir.



Gözle izleme ile iyileştirme

Doğrudan manipülasyon, amaçlandığı gibi çalışırsa büyülü hissedebilir. Ancak istemeden bir hologram tetiklemeden elinizi herhangi bir yere taşıyamıyorsanız da sinir bozucu olabilir. Gözle izleme, kullanıcının amacını daha iyi belirlemeye yardımcı olur.

  • Ne zaman: Bir işleme yanıtını istemeden tetiklemesini azaltın. Gözle izleme, kullanıcının şu anda nelerle etkileşimde olduğunu daha iyi anlamanızı sağlar. Örneğin, gerçek dünyadaki iş aracınızı almak için uzanırken holografik (eğitici) bir metin okuduğunuzdan emin olabilirsiniz.

Bunu yaparak, daha önce fark etmemiş olduğunuz bazı etkileşimli holografik düğmeler üzerinde yanlışlıkla elinizi hareket ettirmiş olursunuz. Örneğin, kullanıcının görüş alanının (FoV) dışında olabilir.

Kullanıcı bir süredir holograma bakmadıysa, ancak bunun için bir dokunma veya kavrama olayı algılandıysa, etkileşim büyük olasılıkla istenmeyen bir durumdur.

  • Hangisi: Hatalı pozitif etkinleştirmeleri ele almak dışında, özellikle birbirine yakın birkaç hologram konumlandırılmışsa, kesin kesişim noktası sizin açınızdan net görünemeyebileceği için hangi hologramların alınıp dürtileceğine ilişkin daha iyi bir tanımlama da başka bir örnektir.

    HoloLens 2'de göz izlemenin göz bakışınızı ne kadar doğru belirleyebileceğine bağlı sınırlamalar olsa da, el girişiyle etkileşim kurarken derinlik ayrılığı nedeniyle bu durum yakın etkileşimler için yararlı olabilir. Bu, örneğin bir işleme pencere öğesini tam olarak almak için bazen elinizin hologramın arkasında mı yoksa önünde mi olduğunu saptamanın zor olduğu anlamına gelir.

  • Nereye yapılır: Hızlı oluşturma hareketleriyle kullanıcının neye baktığıyla ilgili bilgileri kullanın. Bir hologram alın ve kabaca hedeflenen hedefe doğru atayın.

    Bu bazen işe yarasa da el hareketlerinin hızlı bir şekilde yapılması son derece yanlış hedeflere neden olabilir. Ancak gözle izleme hareketin doğruluğunu artırabilir.



Unity için MRTK'de (Karma Gerçeklik Araç Seti) düzenleme

MRTK ile ObjectManipulator betiğini kullanarak ortak işleme davranışını kolayca elde edebilirsiniz. ObjectManipulator ile nesneleri doğrudan ellerle veya el ışını ile tutup taşıyabilirsiniz. Ayrıca, bir nesneyi ölçeklendirmek ve döndürmek için iki elle işlemeyi de destekler.


Ayrıca bkz.