HoloLens 2 üzerinde göz izleme
HoloLens 2, geliştiricilere kullanıcının neye baktığı hakkında bilgi kullanma olanağı sağlayarak holografik deneyim içinde yeni bir bağlam düzeyi ve insan anlayışı sağlar. Bu sayfada geliştiricilerin çeşitli kullanım örnekleri için göz izlemeden nasıl yararlanabileceği ve göz bakışı tabanlı kullanıcı etkileşimleri tasarlarken nelere dikkat etmek gerekebileceği açıklanmaktadır.
Göz İzleme API'si, bir kullanıcının gizliliği göz önünde bulundurularak tasarlanmıştır; herhangi bir tanımlanabilir bilginin, özellikle de biyometrinin geçirilmesini önler. Gözle izleme özelliğine sahip uygulamalar için kullanıcının göz izleme bilgilerini kullanmak için uygulama izni vermesi gerekir.
Cihaz desteği
| Özellik | HoloLens (1. nesil) | HoloLens 2 | Çevreleyici kulaklıklar |
| Göz bakışı | ❌ | ✔️ | ❌ |
Baş ve göz izleme tasarım kavramları tanıtımı
Baş ve Göz İzleme tasarım kavramlarını uygulamada görmek isterseniz aşağıdaki Hologramları Tasarlama - Baş İzleme ve Göz İzleme video tanıtımımıza göz atın. İşiniz bittiğinde, belirli konulara daha ayrıntılı bir bakış için devam edin.
Bu video "Hologram Tasarlama" HoloLens 2 uygulamasından alınmıştır. Buradan tam deneyimi indirin ve keyfini çıkarın.
Kalibrasyon
Gözle izlemenin doğru çalışması için her kullanıcının bir dizi holografik hedefe bakmak zorunda olduğu bir göz izleme kullanıcı ayarından geçmesi gerekir. Bu, cihazın sistemi ayarlamasını sağlayarak kullanıcı için daha rahat ve daha kaliteli bir görüntüleme deneyimi sağlar ve aynı anda doğru göz izleme sağlar.
Gözle izleme çoğu kullanıcı için işe yaramalıdır, ancak bir kullanıcının başarıyla ayarlayabildiği nadir durumlar vardır. Kalibrasyon aşağıdakiler dahil ancak bunlarla sınırlı olmamak üzere çeşitli nedenlerle başarısız olabilir:
- Kullanıcı daha önce kalibrasyon işlemini geri çevirmişti.
- Kullanıcının dikkati dağıldı ve kalibrasyon hedeflerini takip etmedi.
- Kullanıcının, sistemin henüz desteklemediği belirli kontakt lens ve gözlük türleri vardır.
- Kullanıcının belirli göz fizyolojisi veya göz rahatsızlıkları var ya da sistemin henüz desteklemediği göz ameliyatı oldu.
- HoloLens vizöründe veya gözlüklerinde lekeler, yoğun doğrudan güneş ışığı ve göz önünde saç kaynaklı tıkanıklıklar gibi güvenilir göz izlemeyi engelleyen dış faktörler.
Geliştiriciler, göz izleme verilerinin kullanılamayabileceği (başarılı bir şekilde ayarlayamayan) kullanıcılar için yeterli destek sağlamalıdır. Bu sayfanın en altındaki bölümde geri dönüş çözümleri için öneriler sağladık.
Kalibrasyon ve sorunsuz bir deneyim sağlama hakkında daha fazla bilgi edinmek için göz izleme kullanıcı kalibrasyon sayfamıza bakın.
Kullanılabilir göz izleme verileri
HoloLens 2 gözle izleme, geliştiricilerin doğal ve sezgisel giriş ve etkileşim senaryoları tasarlamasına olanak tanır. Göz İzleme API'si , kullanıcının yaklaşık 30 FPS (30 Hz) seviyesinde tek bir göz bakışı ışın (bakış kaynağı ve yönü) olarak neye baktığı hakkında bilgi sağlar. Gözle izlemenin doğru çalışması için her kullanıcının bir göz izleme kullanıcı ayarından geçmesi gerekir. Göz izleme verilerine erişme hakkında daha ayrıntılı bilgi için , DirectX'te göz bakışı ve Unity'de göz bakışı kullanmak için geliştirici kılavuzlarımıza bakın.
Tahmin edilen göz bakışı, gerçek hedefin etrafındaki görsel açıdan yaklaşık 1,5 derece içindedir (aşağıdaki çizime bakın). Hafif kararsızlıklar beklenir, bu nedenle geliştiriciler bu alt sınır değeri etrafında biraz kenar boşluğu planlamalıdır (örneğin, 2,0-3,0 derece çok daha rahat bir deneyime neden olabilir). Aşağıda küçük hedeflerin seçimini nasıl ele alacağımız hakkında daha ayrıntılı bilgi vereceğiz.
2 metrelik mesafede en uygun hedef boyutu
Genişletilmiş Göz İzleme verileri
Genişletilmiş göz izleme API'leri, geliştiricilerin kullanıcının göz bakışı hakkında daha ayrıntılı bilgi sağlayarak sağlık değerlendirmesi, izleme ve terapi gibi yenilikçi senaryoların bir sonraki düzeyini ortaya çıkarmalarına olanak tanır.
Genişletilmiş göz izleme API'leri mevcut göz izleme değerlerine ve tek tek (sol ve sağ) göz bakışı vektörleri, desteklenen kare hızları ve göz izleme kare hızını 30, 60 veya 90fps olarak ayarlama gibi yeni özelliklere erişim sağlar. Genişletilmiş Göz İzleme API'sini kullanmak için yerel veya Unity için Genişletilmiş Göz İzleme API'lerini kullanmaya yönelik geliştirici kılavuzlarımıza bakın.
Uygulama alanları
Gözle izleme, uygulamaların kullanıcının gerçek zamanlı olarak nerede baktığını izlemesini sağlar. Aşağıdaki kullanım örnekleri, karma gerçeklikteki HoloLens 2 gözle izleme ile mümkün olan bazı etkileşimleri açıklar. Bu kullanım örnekleri henüz Holographic Shell deneyiminin (HoloLens 2 başlattığınızda gördüğünüz arabirim) bir parçası değildir. Bunlardan bazılarını Karma Gerçeklik Araç Seti'nde deneyebilirsiniz. Araç Seti, hızlı ve zahmetsiz gözle desteklenen hedef seçimleri ve kullanıcının neye baktığına göre metinde otomatik olarak kaydırma gibi göz izleme kullanımına yönelik birkaç ilginç ve güçlü örnek sağlar.
Kullanıcı amacı
Kullanıcının nerede ve neye baktığı hakkında bilgi, ses, eller ve denetleyiciler gibi diğer girişler için güçlü bir bağlam sağlar. Bu, çeşitli görevler için kullanılabilir. Örneğin, kullanıcı bir holograma bakarak ve "seç" (bakış ve işlemeyi de gör) veya "bunu koy..." diyerek sahneyi hızla ve zahmetsizce hedefleyebilir ve ardından hologramı yerleştirmek istediği yere bakabilir ve "... orada" yazın. Bunun örnekleri Karma Gerçeklik Araç Seti - Gözle Desteklenen Hedef Seçimi ve Karma Gerçeklik Araç Seti - Gözle Desteklenen Hedef Konumlandırma'da bulunabilir.
Buna ek olarak, kullanıcı amacına örnek olarak, gömülü sanal aracılar ve etkileşimli hologramlarla etkileşimi geliştirmek için kullanıcıların neye baktığı hakkında bilgi kullanılması verilebilir. Örneğin, sanal aracılar şu anda görüntülenen içeriğe göre kullanılabilir seçenekleri ve bunların davranışlarını uyarlayabilir.
Örtük eylemler
Örtük eylemler kategorisi, kullanıcı amacıyla yakından ilgilidir. Buradaki fikir, hologramların veya kullanıcı arabirimi öğelerinin, kullanıcının sistemle hiç etkileşimde olduğunu hissetmeyen, sistemle kullanıcının eşitlenmiş olduğu hissine bile varabilecek içgüdüsel bir şekilde tepki vermeleridir. Buna örnek olarak, kullanıcı metin kutusunun en altına ulaştığında otomatik olarak kaydırmaya başlayan uzun bir metni okuyabildiği göz bakışı tabanlı otomatik kaydırma işlemi örnek olarak verilmiştir. Bu, kullanıcının parmak kaldırmadan okuma akışında kalmasını sağlar. Bunun önemli bir yönü, kaydırma hızının kullanıcının okuma hızına uyum sağlamasıdır.
Bir diğer örnek de kullanıcının odaklandığı her şeye doğru dalmış gibi hissedebileceği gözle desteklenen yakınlaştırma ve kaydırma işlemidir.
Yakınlaştırma hızını tetikleme ve kontrol etme, kullanıcıya aşırı yüklenmekten kaçınırken denetim hissi sağlamak için önemli olan ses veya el girişi ile kontrol edilebilir. Aşağıda bu tasarım konularını daha ayrıntılı olarak ele alacağız. Yakınlaştırıldıktan sonra, kullanıcı bir caddenin göz bakışını kullanarak mahallesini keşfetmek için izlediği rotayı sorunsuz bir şekilde izleyebilir. Bu etkileşim türlerine yönelik tanıtım örnekleri Karma Gerçeklik Araç Seti - Gözle Desteklenen Gezinti örneğinde bulunabilir.
Örtük eylemler için diğer kullanım örnekleri şunlar olabilir:
- Akıllı bildirimler: Hiç görüşünüzün tam ortasında gelen bildirimler sizi rahatsız ediyor mu? Kullanıcının şu anda gözlediği bildirimleri sıfırlayarak bu deneyimi daha iyi hale getirebilirsiniz. Bu, dikkat dağıtıcı öğeleri sınırlar ve kullanıcı okumayı bitirdikten sonra bunları otomatik olarak kapatır.
- Özenli hologramlar: Bunlar, kendilerine bakıldığında hafif bir şekilde tepki veren hologramlardır. Bu, hafif parlayan UI öğelerinden yavaş açan bir çiçekten kullanıcıya dönüp kuyruğunu sallayarak başlayan sanal bir köpeğe kadar değişebilir. Bu etkileşim, uygulamanızda ilginç bir bağlantı ve memnuniyet duygusu sağlayabilir.
Dikkat izleme
Kullanıcıların nereye veya neye baktıklarına ilişkin bilgiler çok güçlü bir araç olabilir. Tasarımları daha verimli hale getirmek için tasarımların kullanılabilirliğini değerlendirmeye ve iş akışlarındaki sorunları tanımlamaya yardımcı olabilir. Gözle izleme görselleştirme ve analiz, çeşitli uygulama alanlarında yaygın olarak kullanılan bir uygulamadır. HoloLens 2 ile bu anlayışa yeni bir boyut kazandırıyoruz; 3B hologramlar gerçek dünya bağlamlarına yerleştirilebilir ve buna göre değerlendirilebilir.
Karma Gerçeklik Araç Seti, göz izleme verilerini günlüğe kaydetmeye ve yüklemeye ve bunları görselleştirmeye yönelik temel örnekler sağlar.
Microsoft, kullanıcıların göz izleme bilgilerinin nasıl kullanıldığı konusunda bilinçli ve şeffaf bir deneyim elde etmelerini sağlarken yenilikleri kolaylaştırmaya kendini adamıştır. Deneyimlerin kullanıcı genelinde ortalandığından emin olmak için üçüncü taraflara rehberlik sağlamak üzere geliştiricilerimiz ve UX ekiplerimizle birlikte çalışmaya devam edeceğiz.
Bu alandaki diğer uygulamalar şunlar olabilir:
- Uzaktan göz bakışı görselleştirme: Uzak işbirlikçilerin neye baktığını görselleştirme. Bu, anında geri bildirim sağlayabilir ve daha doğru bilgi işlemeyi kolaylaştırabilir.
- Kullanıcı araştırma çalışmaları: Dikkat izleme, kullanıcıların doğal ortamı müdahale etmeden nasıl algılayıp bunlarla etkileşime girdiği hakkında içgörüler sağlayabilir. Bu, geliştiricilerin daha içgüdüsel insan-bilgisayar etkileşimleri tasarlamalarına yardımcı olabilir. Gözle izleme, çalışmadaki katılımcılar tarafından doğrudan ifade edilmeyen ve araştırmacı tarafından kolayca gözden kaçırılabilen bilgiler sağlayabilir.
- Eğitim ve performans izleme: Yürütme akışında performans sorunlarını daha etkili bir şekilde belirleyerek görevlerin yürütülmesini uygulama ve iyileştirme. Gözle izleme, çalışma alanında eğitimi, üretkenliği ve güvenliği geliştirmeye yardımcı olmak için doğal, gerçek zamanlı ve objektif bilgiler sağlayabilir.
- Tasarım değerlendirmeleri, pazarlama ve tüketici araştırmaları: Gözle izleme, ticari şirketlerin gerçek dünya ortamlarında pazarlama ve tüketici çalışmaları gerçekleştirmesine veya ürün veya alan tasarımını geliştirmek için kullanıcının dikkatini çeken şeyleri analiz etmelerine olanak tanır.
Diğer kullanım örnekleri
- Oyun: Hiç süper güçlerin olmasını istedin mi? İşte sana fırsat!
Hologramları onlara bakarak uçurabilirsiniz.
Gözünüzden lazer ışınları çekin-- HoloLens 2 için RoboRaid'de deneyin.
Düşmanları taşa dönüştürün veya dondurün.
Binaları keşfetmek için x-ray görüntünüzü kullanın.
Hayal gücünüz sınır! Ancak kullanıcıyı bunaltmamaya dikkat edin. Daha fazla bilgi edinmek için göz bakışı tabanlı giriş tasarımı yönergelerimize bakın.
İfadeli avatarlar: Avatarın gözlerine animasyon eklemek ve kullanıcının baktığını takip etmelerini sağlamak için canlı göz izleme verilerini kullanarak daha etkileyici 3B avatarlarda göz izleme yardımcıları.
Metin girişi: Göz izleme, özellikle konuşma veya ellerin kullanımı uygun olmadığında, düşük eforlu metin girişi için alternatif olarak kullanılabilir.
Etkileşim için göz bakışı kullanma
Hızlı hareket eden göz hedeflemeden yararlanan bir etkileşim oluşturmak zor olabilir. Gözler hızla hareket ettiğinden, göz bakışı girişi kullanma konusunda dikkatli değilseniz, kullanıcılar bu deneyimi bunaltıcı veya dikkat dağıtıcı bulabilir. Ancak göz izleme, kullanıcılarınızı heyecanlandıracak gerçekten büyülü deneyimler oluşturmanıza olanak sağladığından bu zorluğa değer! Size yardımcı olmak için, etkileşime yönelik göz bakışı için temel avantajlara, zorluklara ve tasarım önerilerine genel bakışlarımızı gözden geçirin.
Göz izleme kullanılamadığında geri dönüş çözümleri
Nadir durumlarda göz izleme verileri kullanılamayabilir. Bu durum çeşitli nedenlerle gerçekleşebilir; en yaygın nedenler aşağıda listelenmiştir:
- Sistem kullanıcıyı ayarlayamadı.
- Kullanıcı ayarı atladı.
- Kullanıcı ayarlandı, ancak uygulamanıza göz izleme verilerini kullanma izni vermemeye karar verdi.
- Kullanıcının benzersiz gözlükleri veya sistemin henüz desteklemediği bir göz durumu var.
- HoloLens vizöründe veya gözlüklerinde lekeler, yoğun doğrudan güneş ışığı ve göz önünde saçlar nedeniyle tıkanıklıklar gibi güvenilir göz izlemeyi engelleyen dış faktörler.
Geliştiriciler bu kullanıcılar için uygun geri dönüş desteği olduğundan emin olmalıdır. DirectX'te Gözle İzleme sayfasında, göz izleme verilerinin kullanılabilir olup olmadığını algılamak için gereken API'leri açıklıyoruz.
Bazı kullanıcılar, göz izlemenin sağladığı gelişmiş deneyimden daha fazla gizliliğin kendileri için daha önemli olduğuna karar verebilir, bu nedenle göz izleme verilerine erişimi kasıtlı olarak iptal ederler. Ancak bazı durumlarda bu iptal kasıtsız olabilir. Uygulamanız gözle izleme kullanıyorsa ve bu deneyimin önemli bir parçasıysa, bunu kullanıcıya net bir şekilde iletmenizi öneririz. Göz izlemenin uygulamanızın tüm potansiyelini nasıl ortaya çıkarabileceğini kullanıcıya açıklamak, nelerden vazgeçeceklerini daha iyi anlamalarına yardımcı olabilir. Gözle izleme açıksa ancak çalışmıyorsa, yukarıdaki denetim listesini kılavuz olarak kullanarak kullanıcının sorunu belirlemesine ve çözmesine yardımcı olun. Örneğin, sistemin gözle izlemeyi desteklediğini ve kullanıcının ayarlandığını ve izin verdiğini, ancak hiçbir göz izleme verisi alınmadığını algılayabilirseniz, bu lekeler veya gözlerin tıkanması gibi sorunlara işaret edebilir.
Gözle izlemenin biri için işe yaramadığı ve belirgin bir nedeni olmadığı nadir durumlar vardır. Kullanıcının uygulamanızda göz izlemeyi etkinleştirmek için anımsatıcıları kapatmasına veya devre dışı bırakmasına izin vererek buna saygılı olun.
Birincil giriş işaretçisi olarak göz bakışı kullanan uygulamalar için geri dönme
Uygulamanız sahne genelinde hologramları hızlı bir şekilde seçmek için işaretçi girişi olarak göz bakışı kullanıyorsa ancak göz izleme verileri kullanılamıyorsa, baş bakışına geri dönmenizi ve baş bakışı imlecini göstermenizi öneririz. Geçiş yapılıp yapılmayacağını belirlemek için zaman aşımı (örneğin, 500-1500 ms) kullanmanızı öneririz. Bu eylem, hızlı göz hareketleri veya göz kırpmaları ve yanıp sönmeler nedeniyle sistemin izlemeyi kısa süre kaybetmesine neden olan her durumda imleçlerin görünmesini engeller. Unity geliştiricisiyseniz, kafa bakışına otomatik geri dönüş zaten Karma Gerçeklik Araç Seti'nde işlenir. DirectX geliştiricisiyseniz bu anahtarı kendiniz işlemeniz gerekir.
Göz izlemeye özgü diğer uygulamalar için geri dönme
Uygulamanız, gözlere özel olarak uyarlanmış benzersiz bir şekilde göz bakışı kullanabilir; örneğin, bir avatarın gözleri veya görsel dikkat hakkındaki kesin bilgilere dayanan göz tabanlı dikkat ısı haritaları. Bu tür durumlarda net bir geri dönüş yoktur. Gözle izleme kullanılamıyorsa bu özelliklerin devre dışı bırakılması gerekebilir. Bu özelliğin çalışmadığının farkında olmayan kullanıcıya bunu açıkça iletmenizi öneririz.
Bu sayfa, HoloLens 2 için göz izleme ve göz bakışı girişinin rolünü anlamaya başlamanız için size iyi bir genel bakış sağladığını umuyoruz. Geliştirmeye başlamak için hologramlarla etkileşime geçmek için göz bakışının rolü, Unity'de göz bakışı ve DirectX'te göz bakışı hakkındaki bilgilerimize göz atın.