Vad är Mixed Reality Toolkit 2?

Verktyg för Mixed Reality


MRTK-Unity är ett Microsoft-drivet projekt som tillhandahåller en uppsättning komponenter och funktioner som används för att påskynda utvecklingen av MR-appar i olika plattformar. Här är några av dess funktioner:

  • Tillhandahåller plattformsoberoende indatasystem och byggstenar för rumsliga interaktioner och användargränssnitt.
  • Möjliggör snabba prototyper via redigeringssimulering som gör att du kan se ändringar omedelbart.
  • Fungerar som ett utökningsbart ramverk som ger utvecklare möjlighet att byta ut kärnkomponenter.
  • Stöder en mängd olika enheter:
XR SDK Plugin (Unity XR Plugin Management Plugin Providers) Enheter som stöds
Plugin-programmet Unity OpenXR (Unity 2020 eller 2021 LTS)
(Mixed Reality OpenXR-plugin-program som krävs för vissa funktioner på vissa enheter)
Microsoft HoloLens 2
Headset för Windows Mixed Reality
Meta Quest
Enhet som körs på SteamVR via OpenXR
Windows XR-plugin-program Microsoft HoloLens
Microsoft HoloLens 2
Headset för Windows Mixed Reality
Plugin-programmet Oculus XR (Unity 2019 eller senare LTS) Meta Quest (via Oculus Integration Package)
ARCore XR-plugin-program Android (via AR Foundation)
ARKit XR-plugin-program iOS (via AR Foundation)
XR SDK Plugin (Unity XR Plugin Management Plugin Providers) Enheter som stöds
Plugin-programmet Unity OpenXR (förhandsversion i MRTK 2.6, Unity 2020 eller 2021 LTS)
(Mixed Reality OpenXR-plugin-program som krävs för vissa funktioner på vissa enheter)
Microsoft HoloLens 2
Headset för Windows Mixed Reality
Meta Quest
Enhet som körs på SteamVR via OpenXR
Windows XR-plugin-program Microsoft HoloLens
Microsoft HoloLens 2
Headset för Windows Mixed Reality
Plugin-programmet Oculus XR (Unity 2019 eller senare LTS) Meta Quest (via Oculus Integration Package)
ARCore XR-plugin-program Android (via AR Foundation)
ARKit XR-plugin-program iOS (via AR Foundation)

Ytterligare enheter som stöds:

  • Ultraleap Leap Motion Controller för handspårning

Anteckning

Vi har introducerat den offentliga förhandsversionen av MRTK3, nästa kapitel i MRTK. Mer information finns i MRTK3-dokumentationen.

Komma igång med MRTK

Om du är nybörjare på MRTK eller Mixed Reality utveckling i Unity rekommenderar vi att du installerar och utforskar exempelprogrammet MRTK Examples Hub på enheten eller emulatorn.

När du har fått kläm på vad Mixed Reality och MRTK har att erbjuda, installera nödvändiga verktyg och följa vår nybörjarnivå HoloLens 2 självstudieserien.

Vill du se vad som händer under huven?

Dokumentation

Viktig information
Viktig information
Översikt över MRTK
Översikt över MRTK
API-referens
API-referens

Byggstatus

Gren CI-status Dokumentstatus
main CI-status Dokumentstatus

Funktionsområden

UX-byggstenar

Knappknapp
En knappkontroll som stöder olika indatametoder, inklusive HoloLens 2 ledade hand

Bounds ControlGränskontroll för gränskontrollkontroll
Standardgränssnitt för att manipulera objekt i 3D-utrymme

Objektmanipulatör– objektmanipulatör
Skript för att manipulera objekt med en eller två händer

SlateSkifferskiffer
2D-formatplan som stöder rullning med ledad handinmatning

System tangentbordsystem tangentbord
Exempelskript för att använda systemtangentbordet i Unity

Interaktionsbarinteraktionsbar
Ett skript för att göra objekt interaktionsbara med stöd för visuella tillstånd och tema

SolverSolverlösare
Olika objektplaceringsbeteenden, till exempel tag-along, body-lock, konstant vystorlek och ytmagnetism

Objektsamling förobjektsamling
Skript för att lägga ut en matris med objekt i en tredimensionell form

TooltipKnappbeskrivning
Användargränssnitt för anteckningar med ett flexibelt fästpunkts-/pivotsystem som kan användas för att märka rörelsestyrenheter och objekt

SliderSkjutreglage
Skjutreglagets användargränssnitt för att justera värden som stöder direkt handspårningsinteraktion

MRTK Standard ShaderMRTK Standard Shader
MRTK:s standardskuggare stöder olika Fluent-designelement med prestanda

Hand MenuHandmeny , handmeny
Handlåst användargränssnitt för snabb åtkomst med hjälp av handbegränsningslösaren

Appfältetsappfält
Användargränssnitt för den manuella aktiveringen av Bounds Control

Pekare
Lär dig mer om olika typer av pekare

Visualisering avfingertoppsvisualisering med fingertoppsvisualisering
Visuell affordance på fingertoppen som förbättrar konfidensen för den direkta interaktionen

Nära menynära meny
Flytande menygränssnitt för nära interaktioner

Spatial Awareness Getting startedSpatial Awareness View
Få dina holografiska objekt att interagera med de fysiska miljöerna

Röstkommando, röstkommando
Skript och exempel för integrering av talindata

Progress IndicatorFörloppsindikator för förloppsindikator
Visuell indikator för kommunikation av dataprocess eller -åtgärd

DialogDialogruta
Användargränssnitt för att be om användarens bekräftelse eller bekräftelse

Hand CoachHand Coach
Komponent som hjälper användaren när gesten inte har lärts ut

HandFysik ServiceHand Physics Service [Experimentell]
Handfysiktjänsten möjliggör stela kroppskollisioner och interaktioner med ledade händer

Rullningssamlingför samlingsrullning
En objektsamling som rullar 3D-objekt internt

Dockadocka [experimentell]
Dockan tillåter att objekt flyttas till och från förutbestämda positioner

Ögonspårning: Ögonspårning för målval: Målval
Kombinera ögon, röst och handinmatning för att snabbt och enkelt välja hologram i hela scenen

Ögonspårning: Spårning avnavigeringsöga: Navigering
Lär dig hur du rullar text automatiskt eller zoomar in fokuserat innehåll flytande baserat på vad du tittar på

Ögonspårning: Ögonspårning för värmekarta: Värmekarta
Exempel på loggning, inläsning och visualisering av vad användarna har tittat på i din app

Verktyg

Optimera fönstretOptimera fönster Beroendefönsterför beroendefönster Build WindowBuild-fönster Inspelning av indatainspelning
Automatisera konfigurationen av Mixed Reality projekt för prestandaoptimering Analysera beroenden mellan tillgångar och identifiera oanvända tillgångar Konfigurera och köra en byggprocess från slutpunkt till slutpunkt för Mixed Reality program Spela in och spela upp huvudflytt och handspårningsdata i redigeraren

Exempelscener

MRTK innehåller exempelscener som visar hur du använder MRTK:s funktioner. Du hittar exempelscenerna under mappen Assets/MRTK/Examples/Demos. Läs sidan Exempelscener om du vill lära dig hur du hämtar och kör exempelscener. Exempelscen för handinteraktion är ett bra ställe att börja uppleva MRTK:s byggstenar för interaktioner och användargränssnitt.

Exempelscen 2

MRTK-exempelhubben

Med MRTK Examples Hub kan du prova olika exempelscener i MRTK utan att skapa och distribuera varje scen. Du kan ladda ned färdiga apppaket för HoloLens(x86), HoloLens 2(ARM) och Windows Mixed Reality integrerande headset (x64) genom att välja paketet "Mixed Reality Toolkit Examples" i MR-funktionsverktyget. Se till att använda Windows-enhetsportalen för att installera appar på HoloLens (första generationen). På HoloLens 2 kan du ladda ned och installera MRTK Examples Hub via Microsoft Store-appen.

Mer information om hur du skapar en hubb för flera scenar med MRTK:s scensystem och scenövergångstjänst finns på sidan Exempelhubbens README .

Exempel på scenhubben

Exempelappar gjorda med MRTK

Periodisk tabell över elementen Galaxy Explorer Surfaces-exempelapp
Periodic Table of the Elements är en exempelapp med öppen källkod som visar hur du använder MRTK:s indatasystem och byggblock för att skapa en appupplevelse för HoloLens och integrerande headset. Läs portningsberättelsen: Ta med den periodiska tabellen för appen Element till HoloLens 2 med MRTK v2 Galaxy Explorer är en exempelapp med öppen källkod som ursprungligen utvecklades i mars 2016 som en del av HoloLens-kampanjen "Dela din idé". Galaxy Explorer har uppdaterats med nya funktioner för HoloLens 2, med MRTK v2. Läs artikeln: The Making of Galaxy Explorer for HoloLens 2 Surfaces är en exempelapp med öppen källkod för HoloLens 2 som utforskar hur vi kan skapa en taktil känsla med visuella objekt, ljud och fullständigt ledad handspårning. Se Microsoft MR Dev Days-session Utbildningar från Surfaces-appen för detaljerad design och utveckling.

Sessionsvideor från Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Självstudie om hur du skapar en enkel MRTK-app från början till slut. Lär dig mer om interaktionsbegrepp och MRTK:s funktioner för flera plattformar. Djupdykning i MRTK:s UX-byggstenar som hjälper dig att skapa vackra upplevelser för mixad verklighet. En introduktion till prestandaverktyg, både i MRTK och externt, samt en översikt över MRTK Standard Shader.

Se Mixed Reality Dev Days för att utforska fler sessionsvideor.

Interagera med communityn

Det här projektet använder sig av Microsofts uppförandekod för öppen källkod. Du hittar mer information i Vanliga frågor om uppförandekod eller kontakta opencode@microsoft.com för ytterligare frågor eller kommentarer.

Användbara resurser i Mixed Reality Dev Center

Identifiera Designdesign Utveckla utveckling Distribuera)Distribuera
Lär dig att skapa mixed reality-upplevelser för HoloLens och integrerande headset (VR). Hämta designguider. Skapa användargränssnitt. Lär dig interaktioner och indata. Hämta utvecklingsguider. Lär dig tekniken. Förstå vetenskapen. Förbered din app för andra och överväg att skapa en 3D-start.

Användbara resurser i Azure

Spatial Anchors
Spatial Anchors
Speech ServicesSpeech Services Vision ServicesVision Services
Spatial Anchors är en plattformsoberoende tjänst som gör att du kan skapa Mixed Reality upplevelser med hjälp av objekt som bevarar deras plats över tid. Upptäck och integrera Azure-baserade talfunktioner som tal till text, talarigenkänning eller talöversättning i ditt program. Identifiera och analysera ditt bild- eller videoinnehåll med hjälp av Vision Services som visuellt innehåll, ansiktsigenkänning, känsloigenkänning eller videoindexerare.

Så här kan du bidra

Lär dig hur du kan bidra till MRTK vid bidrag.

Få hjälp

Om du stöter på problem som orsakas av MRTK eller på annat sätt har frågor om hur du gör något finns det några resurser som kan hjälpa dig: