Unreal-Entwicklung – Übersicht
Die ersten Schritte mit Mixed Reality-Anwendungen sind eine Herausforderung. Neue Konzepte, Plattformen und neuartige Hardware können sich als Hürden erweisen. Wenn Sie jedoch Unreal-Entwickler sind, haben Sie Glück. Unreal Engine 5 besitzt vollständige Unterstützung für Windows Mixed Reality (VR) und HoloLens 2 (AR)-Geräte.
Die neueste Version von Unreal Engine 4.27 oder höher umfasst:
- WMR-Plug-In (Windows Mixed Reality) wurde durch Plug-Ins für OpenXR und Microsoft OpenXR ersetzt (Marketplace oder GitHub).
- OpenXR bietet Featureparität mit WMR.
- Unified API für die plattformübergreifende Entwicklung
- OpenXR verfügbar für die Anwendungserstellung in der Engine: vollständiger Funktionsumfang mit Microsoft OpenXR-Plug-In verfügbar
- Veröffentlichung von Updates für das Microsoft OpenXR-Plug-In, wenn sie bereit sind, anstelle von Updates innerhalb der Engine
- Verwenden Sie das Grafiktools-Plug-In für Unreal, um die visuelle Genauigkeit von Mixed Reality Anwendungen zu verbessern und gleichzeitig die Leistung zu erhalten.
- HoloLensAR-Plug-In wird in Unreal 5.0 entfernt.
- Unterstützung für World Locking Tools (5.0+)
- Unterstützung für Azure Object Anchors (4.27+)
Weitere Informationen finden Sie in den Versionshinweisen zu Unreal Engine 5.0.
Wenn Sie noch nicht mit der Unreal-Entwicklung vertraut sind, sollten Sie sich zunächst etwas einarbeiten. Sehen Sie sich die Ressourcen zu Unreal an, und suchen Sie im Unreal-Marketplace nach Ressourcen. Unterstützung finden Sie auch in den Foren zu Mixed Reality und in der Unreal-Dokumentation. Bei diesen Ressourcen handelt es sich um Links zur Community von Entwicklern und Problemlösern auf dem Gebiet der Mixed Reality.
Wichtig
Werfen Sie einen Blick auf unsere Portierungsleitfäden , wenn Sie ein vorhandenes Unreal-Projekt auf immersiven Headsets wie dem Reverb G2 bereitstellen möchten.
Prüfpunkte für die Entwicklung
Nutzen Sie die folgenden Prüfpunkte, um Ihre Unreal-Spiele und Anwendungen in eine Mixed Reality-Welt einzubringen. Wenn Sie sich noch nicht mit der Beispielanwendung zum Entwerfen von Hologrammen befasst haben, empfehlen wir Ihnen, sie herunterzuladen, um sich mit den Grundlagen von Mixed Reality UX vertraut zu machen.
1. Erste Schritte
Zunächst müssen Sie die Tools für die HoloLens 2-Entwicklung installieren. Als Nächstes arbeiten Sie unsere Tutorialreihe durch, um ein grundlegendes Verständnis des Mixed Reality Toolkits, eine ordnungsgemäß konfigurierte Entwicklungsumgebung für Mixed Reality-Apps und ein funktionierendes MRTK-Projekt in Unreal zu erhalten. Ab Unreal 4.26 besitzen Sie auch die Möglichkeit, eine OpenXR-App für HoloLens 2 zu entwickeln.
| Prüfpunkt | Ergebnis |
|---|---|
| Installieren der neuesten Tools | Laden Sie die neueste Version der Unreal Engine herunter, installieren Sie sie, und richten Sie Ihr Projekt für Mixed Reality ein |
| Einrichten des Projekts | Abrufen der neuesten Version der Unreal Engine und des MRTK |
| Erstellen Ihrer ersten HoloLens Unreal-Anwendung | Beginnen Sie Ihre Reise in die Unreal- und HoloLens-Entwicklung mit dem Erstellen einer einfachen Mixed Reality-Anwendung |
| Hololens 2-Tutorialreihe | Richten Sie sich für die Mixed Reality-Entwicklung in Unreal ein, erstellen Sie Ihre erste App mit MRTK, und stellen Sie Ihre App in HoloLens 2 bereit. |
| Erste Schritte mit OpenXR in Unreal | Installieren und aktivieren Sie das folgende Plug-In aus dem Unreal Engine Marketplace:Stellen Sie sicher, dass das Microsoft Windows Mixed Reality-Plug-In deaktiviert ist. Die vollständige Liste der derzeit unterstützten Funktionen in OpenXR finden Sie weiter unten. |
2. Grundbausteine
Es gibt eine Reihe wichtiger Mixed Reality-Features, die in unserer Tutorialreihe nicht behandelt werden. Diese Bausteine stehen als eigenständige Features und über das Mixed Reality Toolkit zur Verfügung. Sie benötigen sie möglicherweise nicht alle auf einmal, aber wir empfehlen Ihnen, sich frühzeitig mit ihnen vertraut zu machen. Nachdem Sie sich mit den unten aufgeführten Grundbausteinen beschäftigt haben, verfügen Sie über eine mit Funktionen angefüllte Toolbox, die Sie in Ihr Mixed Reality-Projekt integrieren können.
Das Mixed Reality-Toolkit für Unreal bietet eine Reihe von Plug-Ins, die entwickelt wurden, um Ihre Entwicklung für Unreal zu beschleunigen. Jedes Plug-In enthält Komponenten, Beispiele und Dokumentation zum Einrichten von immersiven Erlebnissen.
UX Tools für Unreal ist das erste Plug-In, das veröffentlicht wird. Derzeit wird es nur auf HoloLens 2 unterstützt. Das Plug-In enthält C++-Code, Blaupausen und Beispielressourcen für gängige UX-Funktionen für Eingabesimulationen, Handinteraktionen, Oberflächenmagnetismus und vieles mehr.
Grafiktools für Unreal ist ein UE-Spiele-Plug-In mit Code, Blaupausen und Beispielobjekten, die erstellt wurden, um die visuelle Genauigkeit von Mixed Reality-Anwendungen zu verbessern und gleichzeitig Leistungsbudgets einzuhalten.
| Funktion | Funktionen |
|---|---|
| Eingabesimulation | Verwenden Sie Maus- und Tastatureingabe im Editor, um ein HMD (Head-Mounted Display) und Features des Handtrackings zu simulieren |
| Handinteraktion | Interagieren Sie mit UX-Komponenten mithilfe von artikulierten Handeingaben |
| Drückbare Schaltfläche | Steuern Sie den Status von Schaltflächen-Blaupausen mithilfe von Low-Level-Komponenten |
| Manipulator | Bewegen und drehen Sie einen Akteur mit ein- oder zweihändigen Manipulationseingaben |
| Folgeverhalten | Halten Sie einen Akteur oder eine Komponente im Blickfeld einer anderen Komponente |
Hinweis
Weitere Informationen finden Sie im UX-Tools für Unreal GitHub -Repository.
3. Erweiterte Features
Andere wichtige Features, die in Mixed Reality-Anwendungen eine Rolle spielen, sind ohne Zusatzpakete oder Setup verfügbar. Diese Features können Unreal-Projekten mit oder ohne installiertes MRTK hinzugefügt werden. Nachdem Sie sich mit diesen erweiterten Funktionen beschäftigt haben, werden Sie imstande sein, komplexere Mixed Reality-Apps zu erstellen.
| Funktion | Funktionen |
|---|---|
| HoloLens-Kamera | Erfassen Sie visuelle Inhalte aus Mixed Reality und der realen Welt aus ihrer App, die auf einem HoloLens-Gerät ausgeführt wird |
| QR-Codes | Geben Sie QR-Codes mithilfe eines Koordinatensystems an der Position der einzelnen Codes in der realen Welt als Hologramme wieder |
| WinRT | Erstellen Sie eine separate Binärdatei mit WinRT-Code, die vom Buildsystem von Unreal genutzt werden kann |
4. Streaming und Bereitstellung auf einem Gerät
Wenn Sie Ihre Anwendung auf einem HoloLens-Gerät testen möchten, während sie sich noch in der Entwicklung befindet, können Sie sie direkt von Ihrem PC streamen, indem Sie entweder den Unreal-Editor oder eine verpackte ausführbare Windows-Datei verwenden.
Wenn Sie zum ersten Mal eine Unreal-App für HoloLens 2 bereitstellen, müssen Sie aus dem Epic-Startprogramm unterstützende Dateien herunterladen. Nachdem Sie diese Dateien installiert haben, können Sie die Bereitstellung entweder über den Unreal-Editor oder über das Geräteportal durchführen.
5. Hinzufügen von Diensten
An diesem Punkt auf Ihrem Entwicklungsweg suchen Sie vielleicht nach Möglichkeiten zum Hinzufügen von Diensten oder nach Hilfe zur kommerziellen Bereitstellung. Das Integrieren von Azure Cloud Services kann Ihre Projekte auf eine ganz andere Stufe heben. Wir haben für Sie einige Ausgangspunkte zum Erkunden und zum Erweitern Ihrer Mixed Reality-Kenntnisse zusammengetragen.
Azure Spatial Anchors (ASA) ist ein plattformübergreifender Dienst, der es Ihnen ermöglicht, Mixed Reality-Anwendungen mit räumlicher Wahrnehmung zu erstellen. Mithilfe von Azure Spatial Anchors können Sie holografische Inhalte über mehrere Geräte und im realen Maßstab hinweg zuordnen, speichern und teilen.
6. Low-Code-Alternativen
Microsoft Dynamics 365-Leitfäden sind eine Mixed Reality-Anwendung für Microsoft HoloLens, mit der Operatoren während der praktischen Arbeit lernen, weil ihnen holografische Anweisungen geboten werden, wann und wo sie gebraucht werden. Diese Anweisungskarten sind mit dem Ort, an dem die Arbeit erledigt werden muss, visuell verknüpft, und können Bilder, Videos und holografische 3D-Modelle beinhalten.
Wie geht es weiter?
Die Arbeit eines Entwicklers ist nie getan, insbesondere nicht beim Lernen eines neuen Tools oder SDKs. Die folgenden Abschnitte führen Sie in Gebiete, die jenseits des Materials auf Einstiegsniveau liegen, das Sie bereits durchgearbeitet haben, ergänzt um nützliche Ressourcen, wenn es einmal hakt. Beachten Sie, dass diese Themen und Ressourcen keine bestimmte Reihenfolge aufweisen, tauchen Sie also ruhig ein!
Debuggen
Wenn Sie die Anwendung mit Visual Studio debuggen möchten, während sie auf dem Gerät ausgeführt wird, befolgen Sie diese Anweisungen.
Leistung
Die Entwicklung für Mixed Reality ist mit Leistungsprüfpunkten verbunden, die von der Plattform abhängen. Eine HoloLens 2-App muss mit 60 Frames pro Sekunde ausgeführt werden, um stabile und reaktionsfähige Hologramme zu erhalten. Glücklicherweise stehen Leistungsempfehlungen zur Verfügung, mit denen Sie die Leistung Ihrer Unreal-Anwendungen steigern können.
Unterstützte Features
| HoloLens 2-Feature | Niedrigste unterstützte Unreal Engine-Version | Unterstützt in OpenXR (4.26+) |
|---|---|---|
| ARM64-Unterstützung | 4.23 | ✔️ |
| Streaming von einem PC | 4.23 | ✔️ |
| Räumliche Abbildung | 4.23 | ✔️ |
| Hand- und Gelenktracking | 4.23 | ✔️ |
| Eyetracking – Blickverfolgung | 4.23 | ✔️ |
| Spracheingabe | 4.23 | ✔️ |
| Raumanker | 4.23 | ✔️ |
| Kamerazugriff | 4.23 | ✔️ |
| QR-Codes | 4.23 | ✔️ |
| Räumliche Audiowiedergabe | 4.23 | ✔️ |
| Planar-LSR über Streaming | 4.24 | |
| Beispiel-Apps | 4.24 | ✔️ |
| Mobile Multiansicht: Leistung erreicht 60 FPS | 4.25 | ✔️ |
| Streaming aus einer verpackten Desktop-App | 4.25.1 | ✔️ |
| Azure Spatial Anchors für HoloLens 2 | 4.25 | ✔️ |
| Unterstützung von Mixed Reality UX Tools | 4.25 | ✔️ |
| Dokumentation und Tutorials für Entwickler | 4.25 | ✔️ |
| Systemtastatur | 4.26 | ✔️ |
| HoloLens Media Player-Plug-In | 4.26 | ✔️ |
| Azure Spatial Anchors für iOS und Android | 4.26 | |
| Microsoft OpenXR-Plug-In mit den herstellerspezifischen OpenXR-Erweiterungen von Microsoft | 4.26 | ✔️ |
| Streaming von Azure zu HoloLens 2 | 4.26 | ✔️ |
| Compliance des Zertifizierungskits für Windows-Apps für verpackte Apps | 4.26 | ✔️ |
| Unterstützung für den HP Reverb G2-Controller | 4.26 | ✔️ |