Wat is Mixed Reality Toolkit 2?

MRTK-Unity is een door Microsoft aangestuurd project dat een set van componenten en functies biedt, die gebruikt worden om cross-platform MR-appontwikkeling in Unity te versnellen. Dit zijn enkele van de functies:

• Biedt het platformoverschrijdende invoersysteem en bouwstenen voor ruimtelijke interacties en gebruikersinterface.
• Maakt snelle prototypen mogelijk via simulatie in de editor, zodat u wijzigingen direct kunt zien.
• Werkt als een uitbreidbaar framework dat ontwikkelaars de mogelijkheid biedt om kernonderdelen te wisselen.
• Ondersteunt een breed scala aan apparaten:

XR SDK-invoegtoepassing (Unity XR Plugin Management Plugin-providers)	Ondersteunde apparaten
Unity OpenXR-invoegtoepassing (Unity 2020 of 2021 LTS) (Mixed Reality OpenXR-invoegtoepassing vereist voor bepaalde functies op bepaalde apparaten)	Microsoft HoloLens 2 Windows Mixed Reality-headsets Meta Quest Apparaat dat wordt uitgevoerd op SteamVR via OpenXR
Windows XR-invoegtoepassing	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality-headsets
Oculus XR-invoegtoepassing (Unity 2019 of nieuwer LTS)	Meta Quest (via Oculus Integration Package)
ARCore XR-invoegtoepassing	Android (via AR Foundation)
ARKit XR-invoegtoepassing	iOS (via AR Foundation)

Aanvullende apparaten die worden ondersteund:

• Ultraleap Leap Motion-controller voor handtracering

Notitie

We hebben de openbare preview van MRTK3 geïntroduceerd, het volgende hoofdstuk van MRTK. Ga voor meer informatie naar de MRTK3-documentatie.

Aan de slag met MRTK

Als u nog niet bekend bent met MRTK of Mixed Reality ontwikkelen in Unity, raden we u aan de voorbeeldtoepassing MRTK Examples Hub op uw apparaat of emulator te installeren en te verkennen.

De APP MRTK Examples Hub downloaden

Zodra u onder de knie hebt wat Mixed Reality en MRTK te bieden heeft, installeert u de benodigde hulpprogramma's en volgt u onze reeks zelfstudies op beginnersniveau HoloLens 2.

De hulpprogramma's installeren

HoloLens 2 zelfstudiereeks

Wil je zien wat er onder de motorkap gebeurt?

MRTK op GitHub verkennen

Documentatie

Releaseopmerkingen	MRTK-overzicht	Naslaginformatie voor API

Buildstatus

Vertakking	CI-status	Docs-status
main

Functiegebieden

Invoersysteem

Handtracering
(HoloLens 2)

Oogtracering
(HoloLens 2)

Profielen

Handtracering
(Ultraleap)

Besturingselementen voor gebruikersinterface

Solvers

Meerdere scènes
Manager

Ruimtelijke
Bewustzijn

Diagnostische
Tool

MRTK Standard Shader-voorbeeldweergave

Toespraak
& Dicteren

Grens
Systeem

In-Editor
Simulatie

Experimental
Functies

UX-bouwstenen

Een knopbesturingselement dat ondersteuning biedt voor verschillende invoermethoden, waaronder de gelede hand van HoloLens 2

Besturingselement grenzen
Standaardgebruikersinterface voor het bewerken van objecten in 3D-ruimte

Object Manipulator
Script voor het bewerken van objecten met één of twee handen

Leisteenslei
2D-stijlvlak dat schuiven met gelede handinvoer ondersteunt

Systeemtoetsenbord
Voorbeeldscript van het gebruik van het systeemtoetsenbord in Unity

Interactiebaar
Een script om objecten interactief te maken met visuele statussen en ondersteuning voor thema's

Oplosser
Verschillende objectpositioneringsgedragen, zoals tag-along, body-lock, constante weergavegrootte en oppervlakte magnetisme

Objectverzamelingsobjectverzameling
Script voor het opmaken van een matrix met objecten in een driedimensionale vorm

Knopinfo
Gebruikersinterface voor aantekeningen met een flexibel anker-/draaisysteem, dat kan worden gebruikt voor het labelen van bewegingscontrollers en objecten

Gebruikersinterface met schuifregelaar voor het aanpassen van waarden die directe interactie met handtracering ondersteunen

MRTK Standard Shader
De Standaard shader van MRTK ondersteunt verschillende Fluent-ontwerpelementen met prestaties

Handmenu
Met de hand vergrendelde gebruikersinterface voor snelle toegang, met behulp van handbeperking oplosser

App-balk App-balk
Gebruikersinterface voor handmatige activering van Bounds Control

Meer informatie over verschillende typen aanwijzers

Binnenbereikvisualisatie
Visuele betaalbaarheid binnen handbereik, wat het vertrouwen voor de directe interactie verbetert

Near Menu
Gebruikersinterface voor zwevend menu voor de bijna-interacties

Spatial Awareness View
Uw holografische objecten laten communiceren met de fysieke omgevingen

Spraakopdracht
Scripts en voorbeelden voor het integreren van spraakinvoer

Visuele indicator voor het communiceren van gegevensproces of -bewerking

Dialoogvenster
Gebruikersinterface voor het vragen om bevestiging of bevestiging van de gebruiker

Handcoach Handcoach
Onderdeel dat de gebruiker helpt bij het leren van het gebaar

Hand Physics Service [Experimenteel]
De handfysica-service maakt botsgebeurtenissen en interacties met gearticuleerde handen mogelijk

Scrolling Collection
Een objectverzameling die systeemeigen 3D-objecten schuift

Dock [experimenteel]
Met het dock kunnen objecten in en uit vooraf bepaalde posities worden verplaatst

Oogtracering: Doelselectie
Combineer ogen, stem en handinvoer om snel en moeiteloos hologrammen in uw scène te selecteren

Oogtracering: Navigatie
Meer informatie over het automatisch schuiven van tekst of het vloeiend inzoomen op gerichte inhoud op basis van wat u bekijkt

Eye Tracking: Heat map
Voorbeelden voor het registreren, laden en visualiseren van wat gebruikers in uw app hebben bekeken

Hulpprogramma's

	Afhankelijkheidsvenster	Build-venster	Invoeropname
Configuratie van Mixed Reality-projecten automatiseren voor prestatieoptimalisaties	Afhankelijkheden tussen assets analyseren en ongebruikte assets identificeren	Een end-to-end-buildproces configureren en uitvoeren voor Mixed Reality toepassingen	Gegevens over hoofdbewegingen en handtracering opnemen en afspelen in de editor

Voorbeeldscènes

MRTK biedt voorbeeldscènes die laten zien hoe u de functies van MRTK kunt gebruiken. U vindt de voorbeeldscènes onder de map Assets/MRTK/Examples/Demos. Lees de pagina Voorbeeldscènes voor meer informatie over het verkrijgen en uitvoeren van voorbeeldscènes. De scène Handinteractievoorbeelden is een geweldige plek om de bouwstenen van MRTK voor interacties en gebruikersinterface te ervaren.

HUB MRTK-voorbeelden

Met de MRTK Examples Hub kunt u verschillende voorbeeldscènes in MRTK proberen zonder elke scène te bouwen en te implementeren. U kunt vooraf gemaakte app-pakketten voor HoloLens(x86), HoloLens 2(ARM) en Windows Mixed Reality immersive headsets (x64) downloaden door het pakket 'Mixed Reality Toolkit Examples' te selecteren in het MR-functieprogramma. Zorg ervoor dat u de Windows-apparaatportal gebruikt om apps te installeren op HoloLens (1e generatie). Op HoloLens 2 kunt u MRTK Examples Hub downloaden en installeren via de Microsoft Store-app.

Zie de pagina Voorbeelden Hub README voor meer informatie over het maken van een hub met meerdere scènes met het scènesysteem en de scèneovergangsservice van MRTK.

Voorbeeld-apps die zijn gemaakt met MRTK

Periodic Table of the Elements is een opensource-voorbeeld-app die laat zien hoe u het invoersysteem en de bouwstenen van MRTK kunt gebruiken om een app-ervaring te maken voor HoloLens- en Immersive-headsets. Lees het verhaal over overzetten: Het periodiek systeem van de elements-app naar HoloLens 2 brengen met MRTK v2	Galaxy Explorer is een opensource-voorbeeld-app die oorspronkelijk is ontwikkeld in maart 2016 als onderdeel van de HoloLens 'Share Your Idea'-campagne. Galaxy Explorer is bijgewerkt met nieuwe functies voor HoloLens 2, met behulp van MRTK v2. Lees het verhaal: The Making of Galaxy Explorer for HoloLens 2	Surfaces is een opensource-voorbeeld-app voor HoloLens 2 die verkent hoe we een tactiele sensatie kunnen creëren met visuele, audio en volledig gearticuleerde handtracering. Bekijk Microsoft MR Dev Days-sessie Learnings van de Surfaces-app voor het gedetailleerde ontwerp- en ontwikkelingsverhaal.

Sessievideo's van Mixed Reality Dev Days 2020

Zelfstudie over het maken van een eenvoudige MRTK-app van begin tot eind. Meer informatie over interactieconcepten en de mogelijkheden voor meerdere platforms van MRTK.	Gedetailleerde informatie over de UX-bouwstenen van mrtk waarmee u prachtige mixed reality-ervaringen kunt bouwen.	Een inleiding tot prestatiehulpprogramma's, zowel in MRTK als extern, evenals een overzicht van de MRTK Standard Shader.

Zie Mixed Reality Dev Days voor meer sessievideo's.

Contact opnemen met de community

• Neem deel aan het gesprek rond MRTK op Slack. U kunt lid worden van de Slack-community via de automatische afzender van de uitnodiging.

• Stel vragen over het gebruik van MRTK in Stack Overflow met behulp van de MRTK-tag .

• Zoek naar bekende problemen of dien een nieuw probleem in als er iets beschadigd is in MRTK-code.

• Voor vragen over het bijdragen aan MRTK gaat u naar het kanaal mixed-reality-toolkit op Slack.

Op dit project is de Microsoft Open Source Code of Conduct (Microsoft Open Source-gedragscode) van toepassing. Raadpleeg de Veelgestelde vragen over de gedragscode voor meer informatie of neem contact op met opencode@microsoft.com als u meer vragen of opmerkingen hebt.

Nuttige bronnen in Mixed Reality-ontwikkelaarscentrum

Ontdekken			Distribueren
Meer informatie over het bouwen van mixed reality-ervaringen voor HoloLens en immersive headsets (VR).	Ontwerphandleidingen downloaden. Gebruikersinterface bouwen. Meer informatie over interacties en invoer.	Download ontwikkelingshandleidingen. Leer de technologie. De wetenschap begrijpen.	Bereid uw app voor op anderen en overweeg een 3D-startprogramma te maken.

Nuttige resources in Azure

Spatial Anchors	Speech Services	Vision Services
Spatial Anchors is een platformoverschrijdende service waarmee u Mixed Reality ervaringen kunt maken met behulp van objecten die hun locatie in de loop van de tijd op verschillende apparaten behouden.	Ontdek en integreer spraakmogelijkheden met azure, zoals spraak-naar-tekst, sprekerherkenning of spraakomzetting in uw toepassing.	Identificeer en analyseer uw afbeeldings- of video-inhoud met behulp van Vision Services, zoals Computer Vision, gezichtsdetectie, emotieherkenning of video-indexeerfunctie.

Hoe kunt u bijdragen

Meer informatie over hoe u kunt bijdragen aan MRTK op Bijdragen.

Ondersteuning vragen

Als u problemen ondervindt die worden veroorzaakt door MRTK of anderszins vragen hebt over hoe u iets kunt doen, zijn er enkele bronnen die u kunnen helpen:

• Voor foutrapporten kunt u een probleem melden in de GitHub-opslagplaats.
• Voor vragen kunt u contact opnemen via StackOverflow of het mixed reality-toolkit-kanaal op Slack. U kunt lid worden van de Slack-community via de automatische afzender van de uitnodiging.