HoloLens 2 갤럭시 Explorer 제작

HoloLens 2 애플리케이션에 대한 업데이트 된 Galaxy Explorer 오신 것을 환영합니다! Galaxy Explorer 원래 아이디어 공유 프로그램을 통해 HoloLens(1세대)의 오픈 소스 애플리케이션으로 개발되었으며 많은 사람들이 경험한 최초의 혼합 현실 경험 중 하나입니다. 이제 HoloLens 2 새롭고 흥미로운 기능을 위해 업데이트하고 있습니다.

Microsoft Mixed Reality Studios 중 하나로, 일반적으로 상업용 등급 솔루션을 개발하고 창의적 및 개발 프로세스 전반에 걸쳐 대상 플랫폼에서 & 테스트를 개발하고 있습니다. 우리는 프레임 워크와 도구 (예 : MRTK)를 사용하여이 프로젝트에 착수하고 있으며, 우리와 지역 사회가 사용할 수 있게되면서 우리는 당신을 데려 오기를 원합니다.

원래 Galaxy Explorer 마찬가지로, 우리 팀은 커뮤니티가 모든 권한을 갖도록 GitHub에서 프로젝트를 소싱할 것입니다. 또한 MRTK v1에서 MRTK v2로 포팅하고, HoloLens 2 사용할 수 있는 새로운 기능으로 환경을 향상시키고, Galaxy Explorer 다중 플랫폼 환경으로 유지되도록 하는 방법에 대한 완전한 투명성을 문서화합니다. HoloLens(1세대), HoloLens 2, Windows Mixed Reality 헤드셋 또는 Windows 10 데스크톱에서 Galaxy Explorer 보든, 우리는 당신이 우리만큼 여행을 즐기고 있는지 확인하고 싶습니다!

이 페이지는 프로젝트를 진행하면서 더 자세한 문서, 코드, 디자인 아티팩트 및 추가 MRTK 설명서에 대한 링크를 사용하여 프로젝트를 진행하면서 확장됩니다.

HoloLens 2 Microsoft Store에서 앱 다운로드

HoloLens 2 디바이스가 있는 경우 디바이스에 앱을 직접 다운로드하여 설치할 수 있습니다.

상호 작용에 대한 생각

크리에이티브 스튜디오로서, 우리는 갤럭시 Explorer HoloLens 2 포트 할 수있는 특권에 대해 황홀했습니다. 우리는 처음부터 경험이 새로운 장치를 축하하고 Mixed Reality 권한 부여가 상상력에 의해서만 제한된다는 것을 보여주기를 원한다는 것을 알았습니다.

HoloLens 2 통해 사용자는 자연스러운 방식으로 홀로그램을 터치, 파악 및 이동할 수 있으며 실제 개체와 매우 비슷하게 반응합니다. 완전히 관절 손 모델은 놀라운, 그것은 사용자가 자연 느낌 일을 할 수 있기 때문에. 예를 들어, 모두가 약간 다르게 컵을 집어 들고 - 그리고 그것을 할 수있는 한 가지 특정 방법을 적용하는 대신, HoloLens 2 당신이 그것을 당신의 방식으로 할 수 있습니다.

이는 1세대 HoloLens 디바이스의 Air Tap 기반 인터페이스에서 크게 변경된 것입니다. 멀리서 홀로그램과 상호 작용하는 대신 사용자는 이제 "가까이서 개인"할 수 있습니다. 기존 환경을 HoloLens 2 이식하거나 새로운 환경을 계획할 때 홀로그램의 직접 조작에 익숙해지도록 하는 것이 중요합니다.

직접 조작과 공간의 광활한 거리 비교

손을 내밀고, 행성을 잡고, 손에 들고 있는 것은 마법같은 경험입니다. 이 접근 방식의 과제는 태양계의 크기입니다 - 그것은 거대합니다! 사용자는 각 행성과 상호 작용하기 위해 방 주위를 걸어야 합니다.

사용자가 멀리 떨어진 개체와 상호 작용할 수 있도록 MRTK는 손바닥 중앙에서 발사되는 손 광선을 제공하여 손의 확장 역할을 합니다. 도넛 모양의 커서는 광선이 대상 개체와 교차하는 위치를 나타내기 위해 광선의 끝에 연결됩니다. 그런 다음, 커서가 닿는 개체는 손에서 제스처 명령을 받을 수 있습니다.

원래 버전의 Galaxy Explorer 사용자는 응시 커서가 있는 행성을 대상으로 한 다음 에어 탭을 통해 더 가깝게 호출합니다. 환경을 HoloLens 2 포트하는 가장 쉬운 방법은 이 동작을 수행하고 손 광선을 사용하여 행성을 선택하는 것입니다. 이것은 기능적이지만, 그것은 우리가 더 많은 것을 원하게했습니다.

원점에서 다시 시작하다

우리는 기존 상호 작용을 기반으로 구축 할 수있는 것을 아이디어를 함께 모었습니다. 생각은이었다 : HoloLens 2 사용자가 자연스럽고 현실적인 방법으로 홀로그램과 상호 작용할 수 있지만 홀로그램은 정의에 의해 현실이 아닙니다. 따라서 상호 작용이 사용자에게 타당하다면 실제 개체와 상호 작용이 가능한지 여부는 중요하지 않습니다. 이를 가능하게 할 수 있습니다.

우리가 탐구한 한 가지 개념은 텔레키네시스를 기반으로 했습니다. 즉, 마음가짐으로 개체를 조작할 수 있는 힘이었습니다. 종종 슈퍼 영웅 영화에서 볼 수, 사람은 자신의 마음으로 손을 뻗어 자신의 열린 손에 개체를 호출합니다. 우리는 아이디어를 좀 더 가지고 놀았으며 개념이 어떻게 작동하는지에 대한 빠른 스케치를 내놓았습니다.

사용자는 대상 피드백을 제공하는 행성에서 손 광선을 가리킵니다. 그런 다음 사용자가 열린 손을 확장하면 행성을 잡을 수 있을 만큼 가까이 다가갈 때까지 마법의 힘으로 행성을 사용자쪽으로 끌어당깁니다. 따라서 상호 작용에 대한 우리의 이름 : 힘 잡아. 사용자가 열린 손으로 지구를 밀어 내면 다시 궤도로 돌아갑니다.

힘 잡기 프로토타입

그런 다음, 여러 프로토타입을 만들어 개념을 테스트했습니다. 상호 작용이 전반적으로 어떻게 느껴지나요? 호출된 개체가 사용자 앞에서 중지되거나 배치될 때까지 손에 달라붙어야 하나요? 호출된 개체가 호출되는 동안 크기 또는 배율을 변경해야 하나요?

애플리케이션에 강제 적용 구현

우리가 행성에서 힘을 잡으려고 할 때, 우리는 태양계의 규모를 변경해야 한다는 것을 깨달았습니다. 태양계의 정확하고 중간 크기의 표현은 사용자가 이해하고 탐색하기 어렵다는 것이 밝혀졌습니다 - 그들은 어디를 봐야할지 몰랐습니다. 그러나 작은 크기의 표현으로 인해 일부 행성을 너무 작게 만들어 쉽게 선택할 수 없습니다. 그 결과, 행성의 크기와 태양 물체 사이의 간격은 상대적 정확도를 유지하면서 중간 크기의 방 내에서 편안함을 느끼도록 설계되었습니다.

개발 스프린트의 후반 단계에서는 동료 MSFT Mixed Reality 전문가가 사내에 있을 만큼 운이 좋았기 때문에 전문가 테스터로서의 의견을 얻고 힘 잡기 상호 작용에 대한 빠른 반복을 수행해야 했습니다.

사진: 제니 캄, 수석 디자인 리드, 갤럭시 Explorer 진행 중인 작업을 테스트.

대상 지정을 위한 어도팩스 추가

HoloLens 2 실험하면서 새로운 상호 작용이 자연스럽고 직관적이더라도 홀로그램은 무게나 촉각 감각없이 동일하게 유지된다는 것을 발견했습니다. 홀로그램은 인간이 개체와 상호 작용할 때 받는 데 사용되는 자연스러운 피드백을 제공하지 않기 때문에 이를 만들어야 했습니다.

우리는 사용자가 상호 작용의 다양한 단계에 대해 제공 될 시각적 및 오디오 피드백에 대해 생각하고, 힘 잡기 메커니즘은 갤럭시 Explorer 상호 작용의 중심이기 때문에, 우리는 많은 반복을했다. 목표는 상호 작용의 각 단계에 대한 오디오 및 시각적 피드백의 적절한 균형을 찾는 것이었습니다. 의도한 개체에 초점을 맞추고, 사용자에게 호출한 다음, 해제하는 것이었습니다. 배운 것은 HoloLens(1세대)에 사용된 것보다 상호 작용을 강화하기 위해 더 많은 오디오 및 시각적 피드백이 필요하다는 것입니다.

힘 잡기를 위한 어도팩스 추가

  오디오 및 시각적 어폰던스를 사용하는 기본 힘 잡기 메커니즘이 있으면 행성을 선택하는 방법을 더 사용자에게 친숙하게 만드는 방법을 살펴보았습니다. 해결해야 할 두 가지 기본: 태양계는 3D 이동 인터페이스이기 때문에 사용자가 일관되게 물체를 대상으로 하는 방법을 배우기 위한 복잡성이 추가되었습니다. 이것은 손 광선이 물체를 선택하는 데 빠르기 때문에 행성이 사용자를 향해 매우 빠르게 움직일 수 있다는 사실에 의해 복잡해졌습니다.

우리는 세 갈래 솔루션으로 이것에 접근했습니다. 첫 번째는 상당히 직관적이었다 : 행성이 더 자연스러운 속도로 사용자에게 접근 할 수 있도록 선택 과정을 느리게. 속도가 조정되면 오디오 및 시각적 어플라이던스를 다시 검토하여 행성이 사용자를 향해 추적할 때 오디오 피드백을 추가해야 했습니다.

솔루션의 두 번째 부분은 전체 힘 잡기 상호 작용의 시각화를 가시화하기 위한 것이었습니다. 손 광선이 연결되면 대상 개체쪽으로 이동하는 두꺼운 선을 시각화한 다음, 올가미처럼 개체를 사용자에게 다시 가져옵니다.

마지막으로, 태양계의 규모를 최적화하여 행성이 사용자의 시선과 손 광선이 행성을 표적으로 삼을 만큼 충분히 큽니다.

이러한 세 가지 개선 사항으로 사용자는 행성을 직관적인 방식으로 호출하여 정확한 선택을 할 수 있었습니다. 전반적으로, 최종 힘 잡기의 효과는 태양계에서 더 몰입적이고 대화 형 경험이다.

목성의 스포트라이트

은하수의 태양 본문을 만드는 것은 겸손한 경험이었습니다. 특히 목성의 독특한 특성은 보는 광경을 만든다. 그것은 가스 거인의 가장 크고 가장 다채로운, 그리고 결합 된 다른 모든 행성보다 더 많은 질량을 포함. 그 깎아 지른듯한 크기와 난기류와 클라우드 역학의 매혹적인 밴드는 특별한 예술적 관심을 위해 현입니다.

기하 도형 및 메시

가스 거인인 목성의 외피는 기체 층으로 구성되어 있습니다. 빠른 회전 속도, 내부 열 교환 및 Coriolis 힘의 조합은 소용돌이 치는 구름 벨트와 소용돌이로 형성되는 다채로운 층과 스트림을 만듭니다. 이 복잡한 아름다움을 포착하는 것은 태양계를 만드는 데 핵심이었습니다.

미리 계산된 스트림과 함께 유체 시뮬레이션 및 애니메이션 텍스처와 같은 시각화 기술을 사용하는 것은 문제가 없다는 것이 즉시 분명했습니다. 동시에 발생하는 다른 모든 작업과 함께 이를 시뮬레이션하는 데 필요한 컴퓨팅 성능은 성능에 상당한 해로운 영향을 미쳤을 것입니다.

다음 접근법은 투명한 텍스처 레이어를 오버레이하는 것으로 구성된 '스모크 앤 미러' 솔루션으로, 각 솔루션은 회전 메시의 컴퍼지션으로 컴파일된 대기 이동의 특정 측면을 해결했습니다.

아래 이미지에서 왼쪽의 내부 셸을 볼 수 있습니다. 이 매트 계층은 구름을 구성하는 여러 레이어 사이의 작은 간격을 막기 위해 컴퍼지션에 배경을 제공했습니다. 레이어의 느린 회전으로 인해 계층 전체에서 시각적 통합을 빌드하는 데 도움이 되도록 빠르게 움직이는 밴드 간에 시각적 버퍼 역할을 하기도 했습니다.

이 앵커를 모델로 설정한 후 이동 중인 클라우드 계층은 아래에 표시된 가운데 및 오른쪽 메시에 프로젝션되었습니다.

텍스처링

기존 텍스처는 세 부분으로 구성된 텍스처 아틀라스로 구분되었습니다. 상위 3분의 1은 시차 효과를 제공하기 위해 간격이 있는 구름의 움직이지 않는 레이어를 호스트하고, 중간 섹션에는 빠르게 움직이는 외부 스트림이 포함되며, 아래쪽 세 번째 텍스처는 천천히 회전하는 내부 기본 계층을 포함합니다.

특징 그레이트 레드 스폿은 또한 다양한 움직이는 부분으로 분리 된 다음 질감의 보이지 않는 영역에 삽입되었습니다. 이러한 구성 요소는 아래 이미지의 중간 섹션에서 빨간색 톤의 얼룩으로 볼 수 있습니다.

각 밴드는 특정 방향과 속도를 가지고 있기 때문에 텍스처가 각 메시에 개별적으로 적용되었습니다. 메시에는 공통 중심점과 피벗 지점이 있어 전체 표면에 동심적으로 애니메이션 효과를 줍니다.

회전 및 텍스처 동작

목성의 시각적 구성이 설정되면 회전 및 궤도 속도가 적절하게 계산되고 그에 따라 적용되도록 해야 했습니다. 목성이 전체 회전을 완료하는 데 약 9시간이 걸립니다. 이는 차등 회전으로 인해 정의의 문제입니다. 따라서 적도 스트림은 전체 회전을 위해 3,600프레임이 걸리는 'master 스트림'으로 설정되었습니다. 다른 모든 계층은 초기 위치(예: 600, 900, 1200, 1800 등)를 허용하기 위해 회전 속도를 3600의 요소로 사용해야 했습니다.

그레이트 레드 스팟

개별적으로 회전하는 스트림은 좋은 시각적 인상을 제공했지만 근거리에서 관찰할 때 자세히는 부족했습니다.

가장 눈길을 끄는 부분은 목성의 그레이트 레드 스팟이었기 때문에 특히 메시와 질감 세트를 만들어 선보였습니다.   우리는 목성의 밴드와 유사한 메커니즘을 사용: 회전 부품의 세트는 서로의 상단에 구성되었다, 또한 'master 층'에서 그룹화되는 동안 그들은 아무리 빨리 나머지 이동 위치에 남아 있는지 확인.

메시가 설치되고 제자리에 있을 때, 폭풍우 소용돌이의 다른 층이 적용되었고 각 디스크는 개별적으로 애니메이션 효과를 주었으며, 중심 조각은 가장 빠르게 움직이며 나머지는 바깥쪽으로 이동하면서 점진적으로 느려집니다.

컴퍼지션은 다른 모든 메시와 동일한 피벗을 사용하면서도 원래의 y축(!)에서 기울기를 유지하여 회전에 애니메이션을 적용할 수 있습니다. 3600 프레임은 기본 속도이며 각 레이어는 회전 기간으로 이 요소를 가집니다.

Unity에서 바로 가져오기

Unity에서 구현할 때 유의해야 할 몇 가지 주요 사항이 있습니다.

Unity는 큰 투명 계층 집합을 처리할 때 쉽게 혼동됩니다. 해결 방법은 각 메시에 대한 텍스처 재질을 복제하고 오름차순 렌더링 큐 값을 안쪽에서 바깥쪽까지 5씩 각 재질에 점진적으로 적용하는 것이었습니다.

그 결과 내부 셸의 렌더링 큐 값이 3000(기본값)이고, 정적 빨간색 톤의 외부는 나중에 값이 3005, 빠른 흰색 외부 클라우드는 3010입니다. 이 모델에서 3025의 값으로 완료된 그레이트 레드 스폿(내부에서 외부 계층으로 진행).

마지막 터치

질감이 있는 목성 층은 처음에는 설치되어 구현하기에 충분하지 않은 것으로 판명되었습니다.

원래 Planet Standard 셰이더와 모든 변형은 MRTK 표준 셰이더에서 지원되지 않는 SunLightReceiver 스크립트를 통해 조명 정보를 받습니다.

Planet Standard 셰이더는 투명도를 사용하는 텍스처 맵을 지원하지 않기 때문에 셰이더를 교체하는 것만으로는 솔루션이 아니었습니다. 이 셰이더를 편집하여 목성 빌드가 의도한 대로 작동하도록 했습니다.

마지막으로 원본 혼합을 10으로 설정하고 대상 혼합을 5로 설정하여 알파 혼합을 설정해야 했습니다.

당신은 Explorer 은하계에서 목성의 최종 렌더링을 볼 수 있습니다!

팀 소개

Mixed Reality 스튜디오 팀은 디자이너, 3D 아티스트, UX 전문가, 개발자, 프로그램 관리자 및 스튜디오 책임자로 구성됩니다. 우리는 벨기에, 캐나다, 독일, 이스라엘, 일본, 영국 및 미국 전 세계에서 온 사람들입니다. 우리는 다양한 배경에서 온 다분야 팀입니다 : 게임 - 전통과 인디, 디지털 마케팅, 건강 관리 및 과학 모두.

HoloLens 2 위한 Galaxy Explorer 만들고 HoloLens(1세대), VR 및 데스크톱 버전을 업데이트하게 되어 기쁩니다.

왼쪽부터 아르테미스 츠플리두(개발자), 앤지 테크너(비주얼 Designer), 데이비드 재너(UX Designer), 로라 개럿(배달 & 프로덕션 리드), 야스시 존노(크리에이티브 리드), 일린 레든트(개발자), 벤 터너(개발자) 왼쪽에서 오른쪽으로: 아미트 로즈블랫(기술 아티스트), 마틴 웨티그(3D 아티스트), 더크 손게르(스튜디오 헤드). 추천 없음: 팀 거켄(기술 리드)과 오스카 살란딘(비주얼 Designer).

추가 정보

Mixed Reality Studios

미주, 유럽 및 Asia-Pacific 위치한 Microsoft Mixed Reality Studio 팀은 3D 자산 생성, DirectX, Unity 및 Unreal을 포함한 사용자 환경 디자인, 홀로그램 컴퓨팅, AR/VR 기술 및 3D 개발 전문가입니다. 고객이 organization 걸쳐 측정 가능한 영향을 만들 수 있도록 하면서 원하는 미래를 구상하고, 솔루션을 설계, 빌드 및 제공할 수 있습니다. 스튜디오는 엔터프라이즈 애플리케이션 통합, 채택, 운영 및 지원을 위해 22,000명 이상의 Microsoft 서비스 전문가와 긴밀히 협력합니다.