Wat is Mixed Reality Toolkit 2?

MRTK-Unity is een door Microsoft aangestuurd project dat een set van componenten en functies biedt, die gebruikt worden om cross-platform MR-appontwikkeling in Unity te versnellen. Dit zijn enkele van de functies:

• Biedt het platformoverschrijdende invoersysteem en de bouwstenen voor ruimtelijke interacties en gebruikersinterface.
• Maakt snelle prototypen mogelijk via in-editorsimulatie waarmee u direct wijzigingen kunt zien.
• Werkt als een uitbreidbaar framework dat ontwikkelaars de mogelijkheid biedt om kernonderdelen te wisselen.
• Ondersteunt een breed scala aan apparaten:

XR SDK Plugin (Unity XR Plugin Management Plugin Providers)	Ondersteunde apparaten
Unity OpenXR-invoegtoepassing (Unity 2020 of 2021 LTS) (Mixed Reality OpenXR-invoegtoepassing vereist voor bepaalde functies op bepaalde apparaten)	Microsoft HoloLens 2 Windows Mixed Reality-headsets Meta Quest Apparaat dat wordt uitgevoerd op SteamVR via OpenXR
Windows XR-invoegtoepassing	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality-headsets
Oculus XR-invoegtoepassing (Unity 2019 of nieuwere LTS)	Meta Quest (via Oculus Integration Package)
ARCore XR-invoegtoepassing	Android (via AR Foundation)
ARKit XR-invoegtoepassing	iOS (via AR Foundation)

Aanvullende apparaten die worden ondersteund:

• Ultraleap Leap Motion controller voor handtracering

Notitie

We hebben de openbare preview van MRTK3 geïntroduceerd, het volgende hoofdstuk van MRTK. Ga voor meer informatie naar de MRTK3-documentatie.

Aan de slag met MRTK

Als u niet bekend bent met MRTK- of Mixed Reality-ontwikkeling in Unity, raden we u aan om de voorbeeldtoepassing MRTK Examples Hub op uw apparaat of emulator te installeren en te verkennen.

De MRTK Examples Hub-app downloaden

Zodra u weet wat Mixed Reality en MRTK te bieden heeft, installeert u de benodigde hulpprogramma's en volgt u onze reeks HoloLens 2-zelfstudies op beginnersniveau.

De hulpprogramma's installeren

HoloLens 2-zelfstudiereeks

Wilt u zien wat er aan de hand is?

MRTK verkennen op GitHub

Documentatie

Releaseopmerkingen	OVERZICHT MRTK	Naslaginformatie voor API

Buildstatus

Vertakking	CI-status	Docs-status
main

Functiegebieden

Invoersysteem

Handtracering
(HoloLens 2)

Oogtracering
(HoloLens 2)

Profielen

Handtracering
(Ultraleap)

Ui-besturingselementen

Solvers

Meerdere scènes
Directeur

Ruimtelijk
Bewustzijn

Diagnostisch
Werktuig

Voorbeeldweergave MRTK Standard Shader

Spraak
& Dicteren

Grens
Systeem

In-editor
Simulatie

Experimenteel
Functies

UX-bouwstenen

Knop
Een knopbesturingselement dat ondersteuning biedt voor verschillende invoermethoden, waaronder de gearticuleerde hand van HoloLens 2

Besturingselement Voor grenzen
Standaardgebruikersinterface voor het bewerken van objecten in 3D-ruimte

Object Manipulator
Script voor het bewerken van objecten met een of twee handen

Lei
2D-stijlvlak dat ondersteuning biedt voor schuiven met gearticuleerde handinvoer

Systeemtoetsenbord
Voorbeeldscript van het gebruik van het systeemtoetsenbord in Unity

Interactiebaar
Een script voor het maken van interactie met objecten met visuele statussen en themaondersteuning

Oplosser
Verschillende gedrag voor objectpositionering zoals tag-along, body-lock, constante weergavegrootte en oppervlak magnetisme

Objectverzameling
Script voor het opmaken van een matrix met objecten in een driedimensionale vorm

Tooltip
Aantekeningsinterface met een flexibel anker-/draaisysteem, dat kan worden gebruikt voor het labelen van bewegingscontrollers en objecten

Schuifregelaar
Schuifregelaar voor het aanpassen van waarden die directe interactie voor handtracering ondersteunen

MRTK Standard Shader
Standaard arcering van MRTK ondersteunt verschillende Fluent-ontwerpelementen met prestaties

Handmenu
Met de hand vergrendelde gebruikersinterface voor snelle toegang met behulp van handbeperking oplosser

App-balk
Gebruikersinterface voor handmatige activering van Bounds Control

Pointers
Meer informatie over verschillende typen aanwijzers

Visualisatie binnen handbereik
Visuele betaalbaarheid binnen handbereik, waardoor het vertrouwen voor de directe interactie wordt verbeterd

Bij menu
Zwevende menugebruikersinterface voor de bijna-interacties

Ruimtelijke bewustzijnsweergave
Uw holografische objecten laten communiceren met de fysieke omgevingen

Spraakopdracht
Scripts en voorbeelden voor het integreren van spraakinvoer

Voortgangsindicator
Visuele indicator voor het communiceren van gegevensproces of -bewerking

Tweespraak
Gebruikersinterface voor het vragen om bevestiging of bevestiging van de gebruiker

Handcoach
Onderdeel waarmee de gebruiker wordt begeleid wanneer het gebaar niet is geleerd

Hand Physics Service [Experimenteel]
De handfysica-service maakt stijve lichaamsconflicten en interacties met gearticuleerde handen mogelijk

Verzameling schuiven
Een objectverzameling die systeemeigen door 3D-objecten schuift

Dock [Experimenteel]
Met het Dock kunnen objecten worden verplaatst naar en uit vooraf vastgestelde posities

Oogtracering: doelselectie
Combineer ogen, spraak en handinvoer om snel en moeiteloos hologrammen in uw scène te selecteren

Oogtracering: navigatie
Meer informatie over het automatisch schuiven van tekst of vloeiend inzoomen op gerichte inhoud op basis van wat u bekijkt

Oogtracering: HeatMap
Voorbeelden voor logboekregistratie, het laden en visualiseren van wat gebruikers in uw app hebben bekeken

Hulpprogramma's

Venster optimaliseren	Venster Afhankelijkheid	Build-venster	Invoeropname
Configuratie van Mixed Reality-projecten automatiseren voor prestatieoptimalisaties	Afhankelijkheden tussen assets analyseren en ongebruikte assets identificeren	Een end-to-end-buildproces configureren en uitvoeren voor Mixed Reality-toepassingen	Beweging van hoofden en handtracering opnemen en afspelen in editor

Voorbeeldscènes

MRTK biedt voorbeeldscènes die laten zien hoe u de functies van MRTK gebruikt. U vindt de voorbeeldscènes onder de map Assets/MRTK/Examples/Demos. Lees de pagina Voorbeeldscènes voor meer informatie over het verkrijgen en uitvoeren van voorbeeldscènes . De scène Handinteractievoorbeelden is een geweldige plek om te beginnen met het ervaren van de bouwstenen van MRTK voor interacties en gebruikersinterface.

MRTK-voorbeeldenhub

Met de MRTK Examples Hub kunt u verschillende voorbeeldscènes in MRTK uitproberen zonder elke scène te bouwen en te implementeren. U kunt vooraf gebouwde app-pakketten downloaden voor HoloLens(x86), HoloLens 2(ARM) en Windows Mixed Reality immersive headsets(x64) door het pakket Mixed Reality Toolkit Examples te selecteren in het HULPPROGRAMMA MR Feature Tool. Zorg ervoor dat u de Windows-apparaatportal gebruikt om apps te installeren op HoloLens (1e generatie). Op HoloLens 2 kunt u MRTK Examples Hub downloaden en installeren via de Microsoft Store-app.

Zie de readme-pagina voorbeelden van hubs voor meer informatie over het maken van een hub met meerdere scènes met mrtK's scènesysteem en de overgangsservice voor scènes.

Voorbeeld-apps die zijn gemaakt met MRTK

Periodieke tabel van de elementen is een opensource-voorbeeld-app die laat zien hoe u het invoersysteem en de bouwstenen van MRTK gebruikt om een app-ervaring te maken voor HoloLens- en Immersive-headsets. Lees het verhaal over porting: De periodieke tabel van de elementen-app naar HoloLens 2 brengen met MRTK v2	Galaxy Explorer is een opensource-voorbeeld-app die oorspronkelijk is ontwikkeld in maart 2016 als onderdeel van de HoloLens'Share Your Idea'-campagne. Galaxy Explorer is bijgewerkt met nieuwe functies voor HoloLens 2, met behulp van MRTK v2. Lees het verhaal: The Making of Galaxy Explorer voor HoloLens 2	Surfaces is een opensource-voorbeeld-app voor HoloLens 2 die verkent hoe we een tactile sensatie kunnen creëren met visuele, audio en volledig gearticuleerde handtracking. Bekijk microsoft MR Dev Days-sessies van de Surfaces-app voor het gedetailleerde ontwerp- en ontwikkelingsverhaal.

Sessievideo's van Mixed Reality Dev Days 2020

Zelfstudie over het maken van een eenvoudige MRTK-app van begin tot eind. Meer informatie over interactieconcepten en de mogelijkheden voor meerdere platforms van MRTK.	Uitgebreide informatie over de UX-bouwstenen van de MRTK die u helpen bij het bouwen van prachtige mixed reality-ervaringen.	Een inleiding tot prestatiehulpprogramma's, zowel in MRTK als extern, evenals een overzicht van de MRTK Standard Shader.

Zie Mixed Reality Dev Days voor meer sessievideo's.

Contact opnemen met de community

• Neem deel aan het gesprek over MRTK op Slack. U kunt deelnemen aan de Slack-community via de afzender van de automatische uitnodiging.

• Stel vragen over het gebruik van MRTK op Stack Overflow met behulp van de MRTK-tag .

• Zoek naar bekende problemen of dien een nieuw probleem in als er iets is verbroken in MRTK-code.

• Voor vragen over bijdragen aan MRTK gaat u naar het mixed reality-toolkit-kanaal op Slack.

Dit project onderschrijft de Microsoft Open Source gedragscode. Raadpleeg voor meer informatie de veelgestelde vragen over de gedragscode of neem contact op via opencode@microsoft.com als u aanvullende vragen of opmerkingen hebt.

Nuttige bronnen voor Mixed Reality-Ontwikkelaarscentrum

Ontdekken	Ontwerpen	Ontwikkelen	Uitdelen
Meer informatie over het bouwen van mixed reality-ervaringen voor HoloLens en insluitende headsets (VR).	Ontwerphandleidingen downloaden. Bouw de gebruikersinterface. Meer informatie over interacties en invoer.	Ontwikkelhandleidingen downloaden. Leer de technologie. Begrijp de wetenschap.	Zorg dat uw app klaar is voor anderen en overweeg een 3D-startprogramma te maken.

Nuttige resources in Azure

Spatial Anchors	Speech Services	Vision Services
Spatial Anchors is een platformoverschrijdende service waarmee u Mixed Reality-ervaringen kunt maken met behulp van objecten die hun locatie in de loop van de tijd op verschillende apparaten behouden.	Ontdek en integreer spraakmogelijkheden van Azure, zoals spraak naar tekst, sprekerherkenning of spraakomzetting in uw toepassing.	Identificeer en analyseer uw afbeeldings- of video-inhoud met Behulp van Vision Services, zoals computer vision, gezichtsdetectie, emotieherkenning of video-indexeerfunctie.

Bijdragen leveren

Meer informatie over hoe u een bijdrage kunt leveren aan MRTK bij Contribute.

Hulp krijgen

Als u problemen ondervindt die worden veroorzaakt door MRTK of anderszins vragen hebt over hoe u iets moet doen, zijn er een paar bronnen die u kunnen helpen:

• Voor foutrapporten kunt u een probleem indienen in de GitHub-opslagplaats.
• Neem voor vragen contact op met StackOverflow of het mixed reality-toolkit-kanaal op Slack. U kunt deelnemen aan de Slack-community via de afzender van de automatische uitnodiging.