HoloLens 2 için Galaxy Explorer'ın yapımı

HoloLens 2 uygulaması için güncelleştirilmiş Galaxy Explorer'a hoş geldiniz! Galaxy Explorer başlangıçta Fikrinizi Paylaşın programı aracılığıyla HoloLens (ilk nesil) için açık kaynak bir uygulama olarak geliştirilmiştir ve birçok kişinin sahip olduğu ilk karma gerçeklik deneyimlerinden biridir. Şimdi HoloLens 2 yeni ve heyecan verici özellikleri için güncelleştiriyoruz.

Microsoft Karma Gerçeklik Studios'lardan biri olarak genellikle ticari sınıf çözümler geliştirir ve yaratıcı ve geliştirme sürecinde hedef platformlarda & test geliştiririz. Bu projeye çerçeveleri ve araçları ( MRTK gibi) kullanarak hem bizim hem de topluluğun kullanımına sunuluyoruz ve sizi gezintiye çıkarmak istiyoruz.

Orijinal Galaxy Explorer'da olduğu gibi ekibimiz de topluluğun tam erişime sahip olduğundan emin olmak için projeyi GitHub'da açık bir şekilde kaynak haline getirecektir. Ayrıca buradaki yolculuğumuzu MRTK v1'den MRTK v2'ye nasıl aktardığımız, HoloLens 2'de sunulan yeni özelliklerle deneyimi nasıl iyileştirdiğimiz ve Galaxy Explorer'ın çok platformlu bir deneyim olarak kalmasını sağladığımız konusunda eksiksiz bir şeffaflıkla belgeleyeceğiz. Galaxy Explorer'ı HoloLens 'te (birinci nesil), HoloLens 2, Windows Mixed Reality bir kulaklıkta veya Windows 10 masaüstünüzde görüntülüyor olun, yolculuğun tadını bizim kadar çıkardığınızdan emin olmak istiyoruz!

Projede ilerlerken bu sayfa daha ayrıntılı makalelere, kodlara, tasarım yapıtlarına ve ek MRTK belgelerine bağlantılar sağlayarak size projeye içeriden bir bakış sağlayacak şekilde genişleyecektir.

HoloLens 2'da Microsoft Store'dan uygulama indirme

HoloLens 2 cihazınız varsa uygulamayı doğrudan indirip cihazınıza yükleyebilirsiniz.

Etkileşimleri düşünme

Yaratıcı bir stüdyo olarak, Galaxy Explorer'ı HoloLens 2 taşıma ayrıcalığı konusunda heyecanlandık. Başından beri deneyimin yeni cihazın bir kutlaması olmasını ve Karma Gerçeklik güçlendirmenin yalnızca hayal gücüyle sınırlı olduğunu göstermek istediğimizi biliyorduk.

HoloLens 2, kullanıcıların hologramlara doğal hissettiren yollarla dokunmasına, kavramasına ve taşımasına olanak tanır; bunlar gerçek nesnelere çok benzer şekilde yanıt verir. Tamamen ifade edilmiş el modelleri şaşırtıcıdır, çünkü kullanıcıların doğal hissettirdiği şeyleri yapmalarını sağlar. Örneğin, herkes bir fincanı biraz farklı alır ve bunu yapmak için belirli bir yol zorlamak yerine, HoloLens 2 bunu kendi yönteminizle yapmanızı sağlar.

Bu, birinci nesil HoloLens cihazlarında Air Tap tabanlı arabirimlerden önemli bir değişikliktir. Kullanıcılar artık hologramlarla uzaktan etkileşim kurmak yerine "yakından ve kişisel" olabilir. Mevcut deneyimleri HoloLens 2 veya yenilerini planlarken hologramların doğrudan manipülasyonu hakkında bilgi sahibi olmak önemlidir.

Doğrudan manipülasyon ile uzaydaki geniş mesafeler karşılaştırması

Bir gezegene uzanıp elinizde tutmak büyülü bir deneyimdir. Bu yaklaşımdaki zorluk güneş sisteminin boyutudur – çok büyük! Kullanıcının her gezegene yaklaşmak için odasında dolanıp onunla etkileşim kurması gerekir.

MrTK, kullanıcıların uzaktaki nesnelerle etkileşim kurmasına izin vermek için kullanıcının avucunun ortasından ateş eden el ışınları sunar ve bu da elin uzantısı görevi görür. ışını hedef nesneyle kesiştiği yeri belirtmek için, ışının ucuna halka şeklinde bir imleç eklenir. İmlecin üzerine yer aldığı nesne daha sonra el ile gestural komutlarını alabilir.

Galaxy Explorer'ın orijinal sürümünde, kullanıcı bakış imleciyle bir gezegeni hedef alacak ve ardından daha yakın demek için havadan dokunacaktı. Deneyimi HoloLens 2 taşımanın en kolay yolu bu davranışı almak ve gezegenleri seçmek için el ışınlarını kullanmaktır. Bu işlevli olsa da, daha fazlasını istememize neden oldu.

Sil baştan

Mevcut etkileşimlerin üzerine neler oluşturulabileceğini öğrenmek için bir araya geldik. Düşünme şuydu: HoloLens 2 kullanıcıların hologramlarla doğal ve gerçekçi yollarla etkileşim kurmasına izin vermesine rağmen, hologramlar tanım gereği gerçek değildir. Bu nedenle, kullanıcı için bir etkileşim makul olduğu sürece, bu etkileşimin gerçek bir nesneyle mümkün olup olmaması önemli değildir; bunu mümkün hale getirebiliriz.

Araştırdığımız kavramlardan biri telekinezi temel almaktı: nesneleri zihniyle yönlendirme gücü. Çoğu zaman süper kahraman filmlerinde görülen bir kişi zihniyle ulaşıp bir nesneyi açık ellerine çağırır. Fikirle biraz daha oynadık ve kavramın nasıl çalışabileceğine ilişkin hızlı bir taslak bulduk.

Kullanıcı el ışınını bir gezegene yönlendirerek hedef geri bildirim sağlayabilir. Kullanıcı daha sonra açık elini uzattıkça gezegen, onu yakalayacak kadar yaklaşana kadar sihirli bir güç tarafından kullanıcıya doğru çekilir. Bu nedenle etkileşim için adımız: force grab. Kullanıcı açık eliyle gezegeni iterken tekrar yörüngesine geri dönecekti.

Yakalama prototipi oluşturma

Ardından kavramı test etmek için birden çok prototip oluşturduk: Etkileşim genel olarak nasıl hissettiriyor? Çağrılan nesne kullanıcının önünde durmalı mı yoksa yerleştirilinceye kadar ellerine bağlı kalmalı mı? Çağrılan nesne çağrılırken boyutunu veya ölçeğini değiştirmeli mi?

Uygulamaya zorla alma uygulama

Gezegenlerde güç yakalamayı denediğimizde güneş sisteminin ölçeğini değiştirmek zorunda olduğumuzu fark ettik. Güneş sisteminin doğru, orta ölçekli bir gösteriminin kullanıcıların anlaması ve gezinmesi zor olduğu ortaya çıktı- nereye bakmaları gerekip gerekmeyenleri bilmiyorlardı. Ancak, küçük boyutlu bir gösterim bazı gezegenleri kolayca seçilemeyecek kadar küçük yaptı. Sonuç olarak, gezegenlerin boyutu ve güneş nesneleri arasındaki boşluk, göreli doğruluğu korurken orta büyüklükte bir odada rahat hissedecek şekilde tasarlanmıştır.

Geliştirme sprint'imizin sonraki aşamalarında, şirket içinde MSFT Karma Gerçeklik uzmanlarına sahip olacak kadar şanslıydık, bu nedenle uzman testçiler olarak girdilerini almak ve zorla alma etkileşimi üzerinde hızlı yinelemeler yapmak için çalışmamız gerekiyor.

Resimde: Jenny Kam, Kıdemli Tasarım Lideri, Galaxy Explorer'ın devam eden bir çalışmasını test ediyor.

Hedefleme için affordance ekleme

HoloLens 2 üzerinde denemeler yaptığımızda, yeni etkileşimlerin doğal ve sezgisel olmasına rağmen hologramların aynı kaldığını bulduk: ağırlık veya dokunma hissi olmadan. Hologramlar, nesnelerle etkileşime geçtiklerinde insanların almaya alıştığı doğal geri bildirim sağlamadığından bunları oluşturmamız gerekiyordu.

Kullanıcılara etkileşimlerinin çeşitli aşamaları için sağlanacak görsel ve sesli geri bildirimleri düşündük ve zorla alma mekanizması Galaxy Explorer ile etkileşim kurmanın merkezi olduğundan birçok yineleme yaptık. Amaç, etkileşimin her aşaması için doğru sesli ve görsel geri bildirim dengesini bulmaktı: hedeflenen nesneye odaklanmak, kullanıcıya çağırmak ve sonra serbest bırakmak. Öğrendiğimiz şey, etkileşimi güçlendirmek için HoloLens(birinci nesil) için alışkın olduğumuzdan daha fazla sesli ve görsel geri bildirime ihtiyaç duyulduğunu öğrendik.

Zorla alma için affordance ekleme

  Ses ve görsel gücü ile temel güç yakalama mekanizmasına sahip olduktan sonra, gezegenleri seçmeyi nasıl daha kolay hale getirebileceğimizi inceledik. Ele alınması gereken iki temel konu vardı: Güneş sistemi 3B hareketli bir arabirim olduğundan, kullanıcıların nesneleri tutarlı bir şekilde hedeflemeyi öğrenmesi için karmaşıklık da eklendi. Bu, el ışınlarının bir nesneyi seçmede hızlı olması ve gezegenlerin kullanıcıya inanılmaz derecede hızlı bir şekilde taşınmasını sağlama gerçeğiyle birleştirilmişti.

Buna üç aşamalı bir çözümle yaklaştık. birincisi oldukça sezgiseldi: Gezegenlerin kullanıcıya daha doğal bir hızda yaklaşması için seçim sürecini yavaşlatın. Hız ayarlandıktan sonra, gezegen kullanıcıya doğru izlenirken sesli geri bildirim ekleyerek ses ve görsel gücü yeniden ziyaret etmek zorunda kaldık.

Çözümün ikinci bölümü, etkileşimin tamamının görselleştirmesini somut hale getirmekti. El rayı bağlandıktan sonra hedeflenen nesneye doğru hareket eden kalın bir çizgi görselleştirdik ve nesneyi kement gibi kullanıcıya geri getiriyoruz.

Son olarak, güneş sisteminin ölçeğini iyileştirdik, böylece gezegenler kullanıcının bakışını ve el ışınını hedefleyebilecek kadar genişti.

Bu üç geliştirme, kullanıcıların gezegenleri sezgisel bir şekilde çağırarak doğru seçimler yapmasına olanak sağladı. Genel olarak, son kuvvetin etkisi güneş sistemindeki daha çevreleyici ve etkileşimli bir deneyimdir.

Jüpiter'de Öne Çıkanlar

Samanyolu'nun güneş kütlelerini oluşturmak çok alçakgönüllü bir deneyimdi. Özellikle Jüpiter'in benzersiz özellikleri onu görülmesi gereken bir manzara haline getirir. Gaz devlerinin en büyük ve en renklisi ve diğer tüm gezegenlerin toplamından daha fazla kütle içeriyor. Türbülans ve bulut dinamiğinin büyüklüğü ve büyüleyici bantları özel sanatsal ilgi için prefektör.

Geometri ve tireler

Bir gaz devi olarak Jüpiter'in dış kabukları gaz tabakalarından oluşur. Hızlı dönüş hızı, iç ısı değişimi ve Coriolis kuvvetlerinin birleşimi, dönen bulut bantlarına ve girdaplara dönüşen renkli katmanlar ve akışlar oluşturur. Bu karmaşık güzelliği yakalamak güneş sistemimizi oluşturmada çok önemliydi.

Sıvı simülasyonları ve animasyonlu dokular gibi görselleştirme tekniklerini önceden derlenmiş akışlarla kullanmanın söz konusu olduğu hemen açıktı. Aynı anda gerçekleşen diğer her şeyle birlikte bunun simülasyonunu yapmak için gereken bilgi işlem gücü, performans üzerinde önemli zarara neden olabilir.

Bir sonraki yaklaşım, her biri atmosferik hareketin belirli bir yönünü ele alan, dönen kafeslerin bileşimi üzerine derlenmiş saydam doku katmanlarından oluşan bir 'duman ve ayna' çözümüdür.

Aşağıdaki resimde sol tarafta iç kabuğu görebilirsiniz. Bu mat katmanı, bulutları oluşturan birden çok katman arasındaki küçük boşluklara karşı korunmak için kompozisyona bir arka plan sağladı. Katmanın yavaş döndürmesi nedeniyle, katmanlar boyunca görsel birliğin oluşturulmasına yardımcı olmak için daha hızlı hareket eden bantlar arasında görsel bir arabellek işlevi de görür.

Bu tutturucu modele ayarlandıktan sonra, hareket eden bulut katmanları aşağıda görülen ortaya ve sağ çizgilere yansıtılır.

Tekstüre

Mevcut doku üç parçalı doku atlasıyla ayrılmıştır: Üst üçüncü katman, parallax etkisi sağlamak için boşluklara sahip hareketsiz bir bulut katmanı barındırıyor, orta bölüm hızlı hareket eden dış akışları ve alt kısımda yavaş dönen bir iç taban katmanı var.

Karakteristik Büyük Kırmızı Nokta da çeşitli hareketli parçalarına ayrılmış ve daha sonra dokunun görünmez bir alanına yerleştirilmiştir. Bu bileşenler, aşağıdaki görüntünün orta bölümünde kırmızı tonlu benekler olarak görülebilir.

Her bant belirli bir yöne ve hıza sahip olduğundan, doku her ağa ayrı ayrı uygulandı. Daha sonra mesh'ler ortak bir merkez ve pivot noktasına sahipti ve bu da yüzeyin tamamına eşmerkezli olarak animasyon eklemenin mümkün olmasını sağladı.

Döndürme ve doku davranışı

Jüpiter'in görsel bileşimi ayarlandıktan sonra döndürme ve yörünge hızlarının uygun şekilde hesaplandığından ve uygulandığından emin olmamız gerekiyordu. Jüpiter'in tam döndürmeyi tamamlaması yaklaşık 9 saat sürer. Bu, Değişiklik Döndürmesi nedeniyle tanım meselesidir. Bu nedenle ekvatoral akış, tam döndürme için 3600 kare alan bir 'ana akış' olarak ayarlanmıştır. Diğer her katmanın ilk konumuyla eşleşmesi için 3600 faktör olarak dönme hızına sahip olması gerekiyordu; örneğin, 600, 900, 1200, 1800 vb.

Büyük Kırmızı Nokta

Tek tek dönen akışlar iyi bir görsel izlenim sağlar, ancak yakın mesafede gözlemlendiğinde ayrıntılı olarak eksiktir.

En göz alıcı kısım Jüpiter'in Büyük Kırmızı Noktası'ydı, bu yüzden onu sergilemek için özel olarak bir dizi tire ve doku oluşturduk.   Jüpiter'in bantlarında olduğu gibi benzer bir mekanizma kullandık: bir dizi dönen parça birbirleri üzerinde oluşturulmuştu ve geri kalanlar ne kadar hızlı hareket ederse edilsin konumlarında kalmalarını sağlamak için 'ana katmanı' altında gruplandırıldı.

Tireler yerleştirildiğinde ve yerleştirildiğinde, fırtınalı girdapın farklı katmanları uygulandı ve her disk ayrı ayrı animasyonlu yapıldı, orta parçalar en hızlı hareket ediyor, gerisi dışarı doğru ilerlerken yavaşlıyordu.

Kompozisyon aynı zamanda diğer her örgü ile aynı pivota sahipken, döndürmeyi hareketlendirme özgürlüğü sağlamak için eğimini özgün y ekseninden (!) uzak tutuyordu. 3600 kare temel hızdır ve her katmanın bir dönüş süresi olarak bu faktöre sahip olması gerekir.

Unity'de doğru şekilde alma

Unity'de bunu uygularken göz önünde bulundurması gereken birkaç önemli nokta vardır.

Unity, büyük saydam katman kümeleriyle çalışırken kolayca karıştırılır. Çözüm, her mesh için doku malzemesini çoğaltmak ve her bir malzemeye içten dışa 5'e kadar artan İşleme Sırası değerlerini aşamalı olarak uygulamaktı.

Sonuç olarak iç kabukta İşleme Sırası değeri 3000 (varsayılan), statik kırmızı tonlu dış daha sonra 3005, hızlı beyaz dış bulutlarda 3010 değeri vardı. Bu modelde 3025 değeriyle tamamlanan Büyük Kırmızı Nokta (iç katmandan dış katmana doğru ilerler).

Son rötuşlar

Dokulu Jüpiter katmanları ilk başta ayarlandı ve bu da uygulama için yetersiz olduğu kanıtlandı.

Orijinal Planet Standard gölgelendiricisi ve tüm varyasyonları, aydınlatma bilgilerini MRTK Standart gölgelendiricisi tarafından desteklenmeyen bir betik olan SunLightReceiver aracılığıyla alır.

Planet Standard gölgelendiricisi saydamlıklara sahip doku haritalarını desteklemediğinden gölgelendiricileri değiştirmek bir çözüm değildi. Jüpiter derlemesinin beklendiği gibi çalışması için bu gölgelendiriciyi düzenledik.

Son olarak, Kaynak Blend 10 ve Hedef Blend 5 olarak ayarlanarak Alfa Blend'lerin ayarlanması gerekiyordu.

Jüpiter'in son işlemesini Galaxy Explorer'da görebilirsiniz!

Takımla tanışın

Karma Gerçeklik stüdyo ekibimiz tasarımcılardan, 3B sanatçılardan, UX uzmanlarından, geliştiricilerden, bir program yöneticisinden ve bir stüdyo yöneticisinden oluşuyor. Dünyanın her yerinden selamlıyoruz: Belçika, Kanada, Almanya, İsrail, Japonya, Birleşik Krallık ve Birleşik Devletler. Farklı bir geçmişe sahip çok disiplinli bir ekibiz: oyun- hem geleneksel hem de bağımsız, dijital pazarlama, sağlık ve bilim.

HoloLens 2 için Galaxy Explorer'ı oluşturmak ve HoloLens (ilk nesil), VR ve masaüstü sürümlerini güncelleştirmek için heyecanlıyız.

Soldan sağa: Artemis Tsouflidou (Geliştirici), Angie Teickner (Visual Tasarım Aracı), David Janer (UX Tasarım Aracı), Laura Garrett (Delivery & Production Lead), Yasushi Zonno (Creative Lead), Eline Ledent (Developer) ve Ben Turner (Sr. Developer). Aşağıda soldan sağa: Amit Rojtblat (Teknik Sanatçı), Martin Wettig (3B Sanatçı) ve Dirk Songuer (Studio Head). Öne çıkarılmadı: Tim Gerken (Teknoloji Lideri) ve Oscar Salandin (Visual Tasarım Aracı).

Ek bilgiler

Karma Gerçeklik Studios

Amerika, Avrupa ve Asia-Pacific bulunan Microsoft Karma Gerçeklik Studio ekipleri, 3B varlık oluşturma, DirectX, Unity ve Unreal dahil olmak üzere kullanıcı deneyimi tasarımı, holografik bilgi işlem, AR/VR teknolojileri ve 3B geliştirme konusunda uzmandır. Müşterilerin kuruluşlarında ölçülebilir etki oluşturmasına olanak tanıyarak istenen vadeli işlemlerin öngörülmesi, tasarlanması, oluşturulması ve çözümlerin sunulmasına yardımcı olacağız. Stüdyolar kurumsal uygulama tümleştirme, benimseme, operasyonlar ve destek için 22.000'den fazla Microsoft Hizmetleri uzmanıyla yakın bir şekilde çalışmaktadır.