Översikt över overklig utveckling
Att komma igång med för mixad verklighet är en stor uppgift. Nya begrepp, plattformar och avancerad maskinvara kan verka som hinder. Men om du är Unreal-utvecklare har du tur. Unreal Engine 5 har fullt stöd för Windows Mixed Reality (VR) och HoloLens 2-enheter (AR).
De senaste Versionerna av Unreal Engine 4.27+ är:
- Windows Mixed Reality (WMR)-plugin-programmet ersätts av OpenXR och Plugin-programmet Microsoft OpenXR (Marketplace eller GitHub)
- OpenXR erbjuder funktionsparitet med WMR
- Enhetligt API för plattformsoberoende utveckling
- OpenXR tillgängligt för att skapa program i motorn – fullständig funktionsuppsättning tillgänglig med Plugin-programmet Microsoft OpenXR
- Uppdateringar av Microsoft OpenXR-plugin-programmet släpps när de är klara i stället för uppdateringar i motorn
- Använd plugin-programmet grafikverktyg för Unreal för att förbättra visuell återgivning av Mixed Reality program samtidigt som prestandan bibehålls
- HoloLensAR-plugin-programmet tas bort i Unreal 5.0
- Stöd för World Locking Tools (5.0+)
- Stöd för Azure Object Anchors (4.27+)
Mer information finns i viktig information om Unreal Engine .
Om du inte har använt Unreal-utveckling tidigare ska du inte hoppa in blind. Utforska Unreal-resurserna och leta efter tillgångar på Unreal Marketplace. Du kan också hitta support i forumen för mixad verklighet och Unreal-dokumentationen. Dessa resurser är dina länkar till communityn med byggare och problemlösare på dagens marknad för mixad verklighet.
Viktigt
Ta en titt på vår portningsguide om du har ett befintligt Unreal-projekt som du vill ta över till integrerande headset som Reverb G2.
Kontrollpunkter för utveckling
Använd följande kontrollpunkter för att föra dina Unreal-spel och -program till mixad verklighet. Om du inte har utforskat exempelprogrammet Designing Holograms rekommenderar vi att du laddar ned det för att bekanta dig med grunderna i Mixed Reality UX.
1. Komma igång
Först måste du installera verktygen för HoloLens 2 utveckling. Gå sedan igenom vår självstudieserie för att få en grundläggande förståelse för Mixed Reality Toolkit, en korrekt konfigurerad utvecklingsmiljö för appar för mixad verklighet och ett fungerande MRTK-projekt i Unreal. Från och med Unreal 4.26 har du också möjlighet att utveckla en OpenXR-app för HoloLens 2.
| Checkpoint | Resultat |
|---|---|
| Installera de senaste verktygen | Ladda ned och installera den senaste versionen av Unreal Engine och konfigurera projektet för mixad verklighet |
| Konfigurera projektet | Hämta den senaste versionen av Unreal Engine och MRTK |
| Skapa ditt första HoloLens Unreal-program | Börja utvecklingsresan för Unreal och HoloLens genom att skapa ett grundläggande Mixed Reality program |
| HoloLens 2 självstudieserien | Konfigurera dig för utveckling med mixad verklighet i Unreal, skapa din första app med MRTK och distribuera din app till HoloLens 2 |
| Kom igång med OpenXR i Unreal | Installera och aktivera följande plugin-program från Unreal Engine Marketplace:Kontrollera att plugin-programmet Microsoft Windows Mixed Reality är inaktiverat. Den fullständiga listan över funktioner som stöds i OpenXR finns nedan. |
2. Kärnbyggnadsblock
Det finns ett antal viktiga funktioner för mixad verklighet som inte omfattas av vår självstudieserie. Dessa byggstenar är tillgängliga som fristående funktioner och via Mixed Reality Toolkit. Du kanske inte behöver alla på en gång, men vi rekommenderar att du utforskar tidigt. Efter att ha fördjupat dig i de viktigaste byggstenarna nedan har du en verktygslåda full av funktioner som du kan integrera i dina Mixed Reality projekt.
Den Mixed Reality Toolkit for Unreal är en uppsättning plugin-program som utformats för att påskynda din utveckling i Unreal. Varje plugin-program innehåller komponenter, exempel och dokumentation för att konfigurera fördjupade upplevelser.
UX Tools for Unreal är det första plugin-programmet som släpps och stöds för närvarande endast på HoloLens 2. Plugin-programmet innehåller C++-kod, skisser och exempeltillgångar med vanliga UX-funktioner för indatasimulering, handinteraktioner, ytmagnetism med mera.
Grafikverktyg för Unreal är ett UE-spel-plugin-program med kod, skisser och exempeltillgångar som skapats för att förbättra den visuella återgivningen av Mixed Reality-program samtidigt som prestandabudgetar hålls kvar.
| Funktion | Funktioner |
|---|---|
| Indatasimulering | Använd mus- och tangentbordsindata i redigeraren för att simulera en Head-Mounted Display (HMD) och handspårningsfunktioner |
| Handinteraktion | Interagera med UX-komponenter med hjälp av ledade handindata |
| Tryckbar knapp | Få fram knappskisser med hjälp av lågnivåkomponenter |
| Manipulator | Flytta och rotera en aktör med en eller tvåhandsmanipuleringsindata |
| Följ beteende | Håll en aktör eller komponent inom synhåll för en annan komponent |
Anteckning
Mer information finns i UX Tools for Unreal GitHub-lagringsplatsen .
3. Avancerade funktioner
Andra viktiga funktioner som spelar en roll i mixed reality-program är tillgängliga utan extra paket eller installation. Dessa funktioner kan läggas till i Unreal-projekt med eller utan MRTK installerat. När du har gått in på dessa mer avancerade funktioner kan du skapa mer komplexa Mixed Reality appar.
| Funktion | Funktioner |
|---|---|
| HoloLens-kamera | Samla in Mixed Reality och verkligt visuellt innehåll från din app som körs på en HoloLens-enhet |
| QR-koder | Rendera QR-koder som hologram med hjälp av ett koordinatsystem vid varje kods verkliga position |
| WinRT | Skapa en separat binär fil med WinRT-kod som kan användas av Unreals byggsystem |
4. Direktuppspelning och distribution till en enhet
Om du vill testa programmet på en HoloLens-enhet medan du fortfarande är under utveckling kan du strömma det direkt från datorn med hjälp av unreal-redigeraren eller en paketerad Körbar Windows-fil.
Om det här är första gången du distribuerar en Unreal-app till HoloLens 2 måste du ladda ned stödfiler från Epic Launcher. När du har installerat dessa filer är du redo att distribuera från unreal-redigeraren eller enhetsportalen.
5. Lägga till tjänster
Nu under utvecklingsresan kanske du vill lägga till tjänster eller hjälpa dig med kommersiell distribution. Integreringen av Azure Cloud Services kan öka dina projekt på ett större sätt. Vi har sammanställt några utgångspunkter där du kan utforska och utöka dina Mixed Reality kunskaper.
Azure Spatial Anchors (ASA) är en plattformsoberoende tjänst som gör att du kan skapa rumsligt medvetna program för mixad verklighet. Med Azure Spatial Anchors kan du mappa, spara och dela holografiskt innehåll på flera enheter i verklig skala.
6. Alternativ med låg kod
Microsoft Dynamics 365 Guides är ett program för mixad verklighet för Microsoft HoloLens som låter operatörer lära sig under arbetsflödet genom att tillhandahålla holografiska instruktioner när och var de behövs. Dessa instruktionskort är visuellt tjudrade på den plats där arbetet måste göras och kan omfatta bilder, videor och holografiska 3D-modeller.
Nästa steg
En utvecklares jobb görs aldrig, särskilt när du lär dig ett nytt verktyg eller SDK. Följande avsnitt kan ta dig till områden utöver det material på nybörjarnivå som du redan har slutfört, tillsammans med användbara resurser om du fastnar. Observera att dessa ämnen och resurser inte är i sekventiell ordning, så hoppa gärna runt och utforska!
Felsökning
Följ dessa instruktioner om du vill felsöka programmet när det körs på enheten med Visual Studio.
Prestanda
Utveckling för mixad verklighet kommer med prestandakontrollpunkter som är beroende av plattformen. En HoloLens 2 app måste köras med 60 bildrutor per sekund för att hologram ska se stabila och dynamiska ut. Lyckligtvis har vi prestandarekommendationer för att uppgradera prestanda i dina Unreal-program.
Funktioner som stöds
| HoloLens 2 funktion | Tidigaste unreal engine-version som stöds | Stöds i OpenXR (4.26+) |
|---|---|---|
| ARM64-stöd | 4.23 | ✔️ |
| Direktuppspelning från en dator | 4.23 | ✔️ |
| Rumslig mappning | 4.23 | ✔️ |
| Hand- och ledspårning | 4.23 | ✔️ |
| Ögonspårning | 4.23 | ✔️ |
| Röstinmatning | 4.23 | ✔️ |
| Rumsliga fästpunkter | 4.23 | ✔️ |
| Kameraåtkomst | 4.23 | ✔️ |
| QR-koder | 4.23 | ✔️ |
| Rumsligt ljud | 4.23 | ✔️ |
| Planar LSR över strömning | 4.24 | |
| Exempelappar | 4.24 | ✔️ |
| Mobil multivy: Prestandan når 60 fps | 4.25 | ✔️ |
| Strömma från en paketerad skrivbordsapp | 4.25.1 | ✔️ |
| Azure Spatial Anchors för HoloLens 2 | 4.25 | ✔️ |
| stöd för Mixed Reality UX-verktyg | 4.25 | ✔️ |
| Självstudier för utvecklardokument & | 4.25 | ✔️ |
| Systemtangentbord | 4.26 | ✔️ |
| Plugin-programmet HoloLens Media Player | 4.26 | ✔️ |
| Azure Spatial Anchors för iOS och Android | 4.26 | |
| Microsoft OpenXR-plugin-program med Microsofts leverantörsspecifika OpenXR-tillägg | 4.26 | ✔️ |
| Direktuppspelning från Azure till HoloLens 2 | 4.26 | ✔️ |
| Windows App Certification Kit-kompatibilitet för paketerade appar | 4.26 | ✔️ |
| Stöd för HP Reverb G2-styrenhet | 4.26 | ✔️ |