Freigeben über

Einrichten eines neuen OpenXR-Projekts mit MRTK

  • Artikel

Die einfachste Möglichkeit, Ihr Unity-Projekt für Mixed Reality einzurichten, ist das Mixed Reality Toolkit (MRTK). MRTK für Unity ist ein Plattformübergreifendes Open-Source-Entwicklungskit, das die Erstellung erstaunlicher Mixed Reality-Anwendungen vereinfacht.

Infografik mit einigen Features des Mixed Reality Toolkits.

MRTK bietet ein plattformübergreifendes Eingabesystem, Grundlagenkomponenten und gemeinsame Bausteine für räumliche Interaktionen. Dies kann Ihnen helfen, Die Anwendungsentwicklung für Microsoft HoloLens, Windows Mixed Reality immersiven Headsets (VR) und viele andere VR/AR-Geräte zu beschleunigen. Das Projekt zielt darauf ab, Einstiegsbarrieren zu verringern, es jedem zu ermöglichen, Mixed Reality-Anwendungen zu erstellen und einen Beitrag zur Community zu leisten, während wir alle wachsen.

MRTK unterstützt eine Vielzahl von Plattformen, einschließlich:

  • Microsoft HoloLens

  • Microsoft HoloLens 2

  • Windows Mixed Reality-Headsets

  • OpenVR-Headsets (HTC Vive/Oculus Rift)

  • Ultraleap Hand-Tracking

  • Android- und iOS-Geräte

Hinweis

Wir haben vor kurzem MRTK3 eingeführt, die dritte Generation von Microsoft Mixed Reality Toolkit für Unity, das auf dem XR-Verwaltungssystem und dem XR Interaction Toolkit von Unity basiert, mit besserer Unterstützung für eine Vielzahl von OpenXR-kompatiblen Geräten und einer neuen Entwurfssprache. Weitere Informationen finden Sie in der MRTK3-Dokumentation .

Hinweis

Sie können auch ein neues OpenXR-Projekt ohne MRTK einrichten.

Andere Nicht-OpenXR-Konfigurationsoptionen zu berücksichtigen

Windows XR: Microsoft empfiehlt nicht, das Windows XR-Plug-In für neue Projekte in Unity 2020 zu verwenden. Stattdessen sollten Sie das Mixed Reality OpenXR-Plug-In verwenden. Wenn Sie Jedoch Unity 2019 verwenden und AR Foundation 2.0 zur Kompatibilität mit ARCore/ARKit-Geräten benötigen, ermöglicht dieses Plug-In diese Unterstützung.

Wichtig

Die Verwendung dieses Plug-Ins in Unity 2019 ist nicht mit Azure Spatial Anchors kompatibel.

Legacy-XR:

Wenn Sie noch Unity 2019 oder früher verwenden, empfiehlt Microsoft die Verwendung der integrierten Legacy-XR-Unterstützung. Das Windows XR-Plug-In ist zwar in Unity 2019 funktionsfähig, es wird jedoch nicht empfohlen, da es nicht mit Azure Spatial Anchors in Unity 2019 kompatibel ist.

Wenn Sie ein neues Projekt starten, sollten Sie stattdessen Unity 2020 installieren und das Mixed Reality OpenXR-Plug-In verwenden.

Erste Schritte mit OpenXR: Erstellen eines neuen Unity-Projekts

  1. Starten Sie den Unity Hub.

  2. Klicken Sie auf der Registerkarte Projekte auf Neues Projekt.

    Screenshot: Die Registerkarte „Projekte“ von Unity Hub, auf der die Schaltfläche „Neues Projekt“ hervorgehoben ist

  3. Klicken Sie auf die Dropdownschaltfläche unter Neues Projekt, und wählen Sie dann die gewünschte Editor-Version aus.

    Screenshot: Unity Hub mit angezeigter Dropdownliste der Editor-Versionen

  4. Stellen Sie sicher, dass die ausgewählte Vorlage 3D Core ist.

  5. Geben Sie im Feld Projektname einen Namen für das Projekt ein, z. B. „MRTK-Tutorial“.

  6. Klicken Sie im Feld Speicherort auf das Ordnersymbol, und navigieren Sie dann zu dem Ordner, in dem Ihr Projekt gespeichert werden soll, und wählen Sie ihn aus. Sie können auch einen neuen Ordner erstellen.

    Screenshot: Unity Hub mit Hervorhebungen für „3D“, „Projektname“, „Speicherort“ und „Erstellen“

  7. Klicken Sie auf Projekt erstellen. Dadurch wird Ihr Projekt in Unity geöffnet.

    Screenshot: Ihr in Unity geöffnetes Projekt

Achtung

Unter Windows gilt eine maximale Pfadlänge MAX_PATH von 255 Zeichen. Diese Einschränkung betrifft auch Unity, und es kann zu Fehlern beim Kompilieren kommen, wenn ein Dateipfad länger als 255 Zeichen ist. Daher wird empfohlen, dass Sie Ihr Unity-Projekt so nahe wie möglich am Stamm des Laufwerks speichern.

Festlegen des Buildziels

  1. Wählen Sie in der Menüleiste File>Build Settings... (Datei > Buildeinstellungen) aus.

    Um eine App für Windows Mixed Reality zu erstellen, müssen Sie ein Buildziel auswählen. Die Buildeinstellungen für Universelle Windows-Plattform (UWP) richten sich an jedes Gerät, einschließlich immersiver Headsets wie dem HP Reverb G2. Dies ist die beste Wahl, wenn Sie für die HoloLens 2 erstellen. Wenn Sie jedoch desktop-VR als Ziel haben, empfehlen wir, die eigenständige Plattform PC, Mac & Linux zu verwenden.

  2. Führen Sie einen der folgenden Schritte aus:

    Wenn Sie Desktop VR als Ziel haben:

    • Behalten Sie die eigenständige Plattform FÜR PC, Mac & Linux bei, die standardmäßig für ein neues Unity-Projekt ausgewählt ist:

    Screenshot: Im Unity-Editor geöffnetes Fenster

    Wenn Sie die HoloLens 2 als Ziel verwenden:

    • Wählen Sie unter Plattformdie Option Universelle Windows-Plattform aus. Stellen Sie sicher, dass die folgenden Einstellungen aktiv sind:

    Buildtyp: D3D-Projekt

    Ziel-SDK-Version: Letzte installierte Version

    Mindestens erforderliche Plattformversion: 10.0.10240.0

    Visual Studio-Version: Letzte installierte Version

    Screenshot: Fenster

  3. Klicken Sie auf die Schaltfläche Switch Platform (Plattform wechseln). In Unity wird eine Statusanzeige angezeigt, während die Plattform gewechselt wird.

  4. Schließen Sie das Fenster Buildeinstellungen nach Abschluss des Plattformwechsels.

Herunterladen und Installieren des Mixed Reality Featuretools

Das Mixed Reality OpenXR-Plug-In wird in Form eines Pakets für Unity bereitgestellt. Die beste Möglichkeit zum Ermitteln, Aktualisieren und Importieren von Featurepaketen ist das Mixed Reality Featuretool. Sie können Pakete vor dem Importieren nach Name oder Kategorie durchsuchen, ihre Abhängigkeiten anzeigen und Änderungsvorschläge für Ihre Projektmanifestdatei anzeigen.

  1. Laden Sie die neueste Version des Mixed Reality Featuretools aus dem Microsoft Download Center herunter.

  2. Navigieren Sie nach Abschluss des Downloads zu der ausführbaren Datei MixedRealityFeatureTool.exe, und starten Sie damit das Mixed Reality Featuretool.

    Screenshot vom Öffnen von MixedRealityFeatureTool

Importieren der Mixed Reality-Toolkit- und OpenXR-Pakete

  1. Wählen Sie im Mixed Reality Feature-Tool Starten aus.

    Screenshot des Startfensters des Mixed Reality-Featuretools

  2. Wählen Sie die Schaltfläche „Durchsuchen“ aus (in der folgenden Abbildung ist dies die Schaltfläche mit den drei Punkten), navigieren Sie zu Ihrem Projekt, und öffnen Sie es.

    Öffnen Ihres Projekts

    Hinweis

    Das Feld Projektpfad im Tool muss einen Wert enthalten, sodass standardmäßig ein umgekehrter Schrägstrich ("_") eingefügt wird.

    Nachdem Sie einen Ordner ausgewählt haben, überprüft das Tool, ob es sich um einen gültigen Unity-Projektordner handelt.

    Screenshot des Projektpfad-Bildschirms des Mixed Reality-Featuretools

  3. Wählen Sie Features entdecken aus.

    Hinweis: Möglicherweise müssen Sie einige Sekunden warten, während das Tool die Pakete aus den Feeds aktualisiert.

  4. Beachten Sie, dass auf der Seite Features entdecken eine Liste von sechs Paketgruppen angezeigt wird.

    Die wichtigsten Paketgruppen im Mixed Reality-Featuretool

  5. Klicken Sie links von Mixed Reality Toolkit (0 von 10) auf die Schaltfläche „+“, und wählen Sie dann die neueste Version von Mixed Reality Toolkit Foundation aus.

    Hinweis

    Das Paket „Mixed Reality Toolkit Foundation“ ist das einzige Paket, das importiert und konfiguriert werden muss, um MRTK in Ihrem Projekt zu verwenden. Dieses Paket enthält die Kernkomponenten, die zum Erstellen von Mixed Reality-Anwendungen erforderlich sind.

  6. Klicken Sie links von Plattformunterstützung (0 von 5) auf die Schaltfläche „+“, und wählen Sie dann die neueste Version des Mixed Reality OpenXR-Plug-Ins aus.

    Screenshot der wichtigsten Paketauswahlen im Mixed Reality-Featuretool

  7. Nachdem Sie Ihre Auswahl getroffen haben, klicken Sie auf Features abrufen.

  8. Wählen Sie Überprüfen aus, um die ausgewählten Pakete zu überprüfen. Es sollte ein Dialogfeld mit der Meldung Keine Überprüfungsprobleme erkannt angezeigt werden. Klicken Sie anschließend auf OK.

  9. Auf der Seite Features importieren werden in der linken Spalte Features die Pakete angezeigt, die Sie gerade ausgewählt haben. In der rechten Spalte Erforderliche Abhängigkeiten werden alle Abhängigkeiten angezeigt. Sie können für jedes dieser Elemente auf den Link Details klicken, um mehr darüber zu erfahren.

  10. Wenn Sie bereit sind fortzufahren, wählen Sie Importieren aus. Auf der Seite Überprüfen und genehmigen können Sie die Informationen zu den Paketen überprüfen.

  11. Wählen Sie Genehmigen aus.

  12. Kehren Sie zum Unity-Editor zurück, und klicken Sie auf der Benutzeroberfläche auf einen leeren Bereich. Es wird eine Statusleiste für den Import Ihrer Pakete angezeigt.

Konfigurieren von Eingabe-Back-End-Einstellungen

  1. Nachdem Unity das Paket importiert hat, wird eine Warnung angezeigt, in der Sie gefragt werden, ob Sie die Back-Ends aktivieren möchten, indem Sie den Editor neu starten. Wählen Sie Ja aus.

    Screenshot der Neustartoption in Unity

Konfigurieren Sie das Projekt für die HoloLens 2 über die Projektvalidierung (MR OpenXR 1.6 und höher)

Wenn Sie für Desktop-VR entwickeln, überspringen Sie diesen Abschnitt, und wechseln Sie zu Konfigurieren des Projekts für Desktop-VR.

  1. Klicken Sie in der Menüleiste auf Mixed Reality > Projektvalidierungseinstellungen > HoloLens 2 Anwendung (UWP), um die Validierungsregeln für HoloLens 2 zu aktivieren. Für MR OpenXR-Plug-Ins vor Version 1.9 ist das verfügbare Menüelement Mixed Reality > Project > Apply empfohlene Projekteinstellungen für HoloLens 2.
  2. Vergewissern Sie sich im angezeigten Fenster für die Projektüberprüfung, dass Sie sich auf der Registerkarte UWP-Plattform befinden (durch das Windows-Logo gekennzeichnet), und klicken Sie auf Alle beheben , um die Validierungsprobleme zu beheben. Beachten Sie, dass probleme auftreten können, die nach dem Klicken auf Alle beheben weiterhin bestehen. Versuchen Sie in diesem Fall erneut, auf Alle beheben zu klicken, alle Probleme zu ignorieren, die als "szenenspezifisch" gekennzeichnet sind (falls vorhanden), und gehen Sie die restlichen Probleme (falls vorhanden) durch, um zu überprüfen, ob sie Änderungen vorschlagen möchten, die Sie vornehmen möchten.
  3. Das Projekt ist zu diesem Zeitpunkt fast bereit für HoloLens 2 Bereitstellung. Fahren Sie mit Konfigurieren der Playereinstellungen für den nächsten Schritt fort.

Manuelles Konfigurieren des Projekts für die HoloLens 2

Wenn Sie für Desktop-VR entwickeln, überspringen Sie diesen Abschnitt, und wechseln Sie zu Konfigurieren des Projekts für Desktop-VR.

  1. Stellen Sie sicher, dass das Fenster Projekteinstellungen geöffnet ist. Wenn dies nicht der Fehler ist, wählen Sie in der MenüleisteProjekteinstellungenbearbeiten> aus.

  2. Vergewissern Sie sich im Fenster Projekteinstellungen, dass Sie sich auf der Seite XR-Plug-In-Verwaltung und auf der Registerkarte Universelle Windows-Plattform befinden.

    Screenshot des Fensters „Projekteinstellungen“, in dem die Seite „XR Plug-In Management“ (Verwaltung des XR-Plug-Ins) und die Registerkarte „Universelle Windows-Plattform“ geöffnet sind

  3. Stellen Sie sicher, dass XR beim Start initialisieren ausgewählt ist, und klicken Sie dann unter Plug-In-Anbieter auf OpenXR.

    Screenshot des Fensters

  4. Das OpenXR-Plug-In wird geladen, und unter OpenXR werden dann mehrere Elemente angezeigt. Wählen Sie Microsoft HoloLens Featuregruppe aus.

    Screenshot des Fensters

Beachten Sie, dass sich neben OpenXR ein gelbes Warndreieck befindet. Dies gibt an, dass Sie über inkompatible Einstellungen verfügen, die aufgelöst werden müssen. Um zu erfahren, wie Sie dies beheben können, überspringen Sie den nächsten Abschnitt zum Konfigurieren für VR, und fahren Sie mit dem folgenden Abschnitt fort, Auflösen inkompatibler Einstellungen.

Konfigurieren des Projekts für Desktop-VR über Projektvalidierung (MR OpenXR 1.9 und höher)

  1. Klicken Sie in der Menüleiste auf Mixed Reality > Projektvalidierungseinstellungen > Win32-Anwendung (Eigenständig), um die Validierungsregeln für eine Desktop-XR-App zu aktivieren.
  2. Vergewissern Sie sich im daraufhin angezeigten Projektüberprüfungsfenster, dass Sie sich auf der Registerkarte Eigenständige Plattform befinden, und klicken Sie auf Alle beheben , um die Validierungsprobleme zu beheben. Beachten Sie, dass probleme auftreten können, die nach dem Klicken auf Alle beheben weiterhin bestehen. Versuchen Sie in diesem Fall erneut, auf Alle beheben zu klicken, alle Probleme zu ignorieren, die als "szenenspezifisch" gekennzeichnet sind (falls vorhanden), und gehen Sie die restlichen Probleme (falls vorhanden) durch, um zu überprüfen, ob sie Änderungen vorschlagen möchten, die Sie vornehmen möchten.

Manuelles Konfigurieren des Projekts für Desktop-VR

  1. Stellen Sie sicher, dass das Fenster Projekteinstellungen geöffnet ist. Wenn nicht, wechseln Sie zur Menüleiste, und wählen Sie Projekteinstellungen bearbeiten> aus.

  2. Vergewissern Sie sich im Fenster Projekteinstellungen , dass Sie sich auf der Seite XR-Plug-In-Verwaltung und auf der Registerkarte PC, Mac & Eigenständiger Linux-Computer befinden.

    Screenshot des Fensters

  3. Stellen Sie sicher, dass XR beim Start initialisieren ausgewählt ist, und klicken Sie dann unter Plug-In-Anbieter auf OpenXR.

    Screenshot des Fensters

  4. Das OpenXR-Plug-In wird geladen, und dann werden unter OpenXR zwei Elemente angezeigt. Wählen Sie die erste Windows Mixed Reality Featuregruppe aus.

    Screenshot des Fensters

Beachten Sie, dass nun ein gelbes Warndreieck neben OpenXR angezeigt wird. Dies gibt an, dass Sie über inkompatible Einstellungen verfügen, die aufgelöst werden müssen. Um zu erfahren, wie Sie dies beheben können, fahren Sie mit dem nächsten Abschnitt fort, Auflösen inkompatibler Einstellungen.

Auflösen inkompatibler Einstellungen

Wichtig

Die Bilder in diesem Abschnitt zeigen die Optionen auf der Registerkarte Universelle Windows-Plattform. Die Anweisungen sind jedoch für die Registerkarte Desktop-VR identisch, sofern nicht angegeben.

  1. Zeigen Sie mit dem Cursor auf das gelbe Warndreieck neben OpenXR, lesen Sie dann die Meldung im Popup, und wählen Sie dann das Dreieck aus.

    Screenshot einer Warnung zu inkompatiblen Einstellungen

  2. Im Fenster OpenXR-Projektüberprüfung sind mehrere Probleme aufgeführt. Wählen Sie die Schaltfläche Alle korrigieren aus. HINWEIS: Diese Liste kann unterschiedlich aussehen, je nachdem, auf welcher Registerkarte Sie sich befinden.

    Screenshot der Schaltfläche „Alle reparieren“ im Fenster „OpenXR Project Validation“ (OpenXR-Projektprüfung)

  3. Ein Problem bleibt bestehen und weist Sie darauf hin, dass Sie mindestens ein Interaktionsprofil hinzufügen müssen. Klicken Sie dazu auf Bearbeiten. Dadurch gelangen Sie zu den Einstellungen für das OpenXR-Plug-In im Fenster Projekteinstellungen.

    Screenshot des Fenster „Projekteinstellungen“, in dem die Einstellungen für OpenXR angezeigt werden

  4. Beachten Sie die Schaltfläche mit dem Pluszeichen (+) unter Interaktionsprofile.

    Screenshot der Schaltfläche zum Hinzufügen eines Interaktionsprofils

  5. Klicken Sie dreimal auf die Schaltfläche, und wählen Sie jedes Mal ein anderes Profil aus:

    Profil „Interaktionen per Eyetracking“

    Profil „Interaktionen per Hand“

    Profil „Microsoft Motion-Controller“

    Screenshot der Interaktionsprofile, die hinzugefügt werden sollen

    Wenn das Profil „Interaktionen per Eyetracking“ oder ein anderes Profil mit einem gelben Dreieck daneben angezeigt wird, wählen Sie das Dreieck aus, und klicken Sie dann im Fenster OpenXR-Projektüberprüfung auf die Schaltfläche Korrigieren. Wenn Sie fertig sind, schließen Sie das Fenster OpenXR-Projektüberprüfung.

    Screenshot der Schaltfläche „Reparieren“ für das Eye Gaze-Interaktionsprofil

  6. Stellen Sie sicher, dass im Fenster Projekteinstellungen unter OpenXR-Featuregruppen Folgendes ausgewählt ist:

    Wenn Sie sich auf der Registerkarte Desktop VR befinden:

    Windows Mixed Reality

    Hand-Tracking

    Motion Controller-Modell

    Screenshot der OpenXR-Featuregruppen für die Registerkarte

    Wenn Sie sich auf der Registerkarte Universelle Windows-Plattform befinden:

    Microsoft HoloLens

    Hand-Tracking

    Motion Controller-Modell

    Screenshot der ausgewählten Features für OpenXR

  7. Klicken Sie auf die Dropdownliste Depth Submission Mode (Übermittlungsmodus Tiefe), und wählen Sie dann Depth 16 Bit (Tiefe 16 Bit) aus.

    Screenshot der für „Depth Submission Mode“ (Tiefenübermittlungsmodus) ausgewählten Option „Depth 16 Bit“ (Tiefe: 16 Bit)

    Tipp

    Die Reduzierung der Formattiefe auf 16 Bit ist optional, kann jedoch die Grafikleistung Ihres Projekts verbessern. Weitere Informationen finden Sie unter Tiefenpufferfreigabe (HoloLens).

    Hinweis

    Die Einstellung Render Mode (Renderingmodus), die sich direkt über dem Depth Submission Mode (Übermittlungsmodus Tiefe) befindet, ist standardmäßig auf Single Pass Instanced (Einzeldurchgang, instanziiert) festgelegt. In Mixed Reality-Apps wird die Szene zweimal gerendert, einmal für jedes Auge. Das Ergebnis ist eine „stereoskopische Darstellung". Dies verdoppelt die Menge an erforderlichem Computing, daher ist es wichtig, den effizientesten Renderingpfad in Unity auszuwählen, um sowohl CPU- als auch GPU-Zeit zu sparen. Das Single Pass Instanced-Rendering ist hier die beste Wahl. Wir empfehlen, es standardmäßig für jedes Projekt zu aktivieren. Weitere Informationen hierzu finden Sie in der Unity-Dokumentation.

Konfigurieren von Playereinstellungen

  1. Wählen Sie in der linken Spalte des Fensters Project Settings (Projekteinstellungen) die Option Player aus.

  2. Beachten Sie, dass im Fenster Player das Feld Produktname bereits ausgefüllt ist. Dies stammt aus Ihrem Projektnamen und ist der Name, der im HoloLens-Startmenü angezeigt wird.

    Screenshot der Veröffentlichungseinstellungen für Unity mit dem ausgefüllten Feld „Projektname“

    Tipp

    Fügen Sie vor dem Namen der App einen Unterstrich hinzu, damit sie am Anfang einer Liste angezeigt wird und so während der Entwicklung leichter zu finden ist.

  3. Klicken Sie auf die Dropdownliste Veröffentlichungseinstellungen , und geben Sie dann im Feld Paketname einen geeigneten Namen ein.

    Screenshot der Veröffentlichungseinstellungen für Unity mit dem ausgefüllten Feld „Paketname“

    Hinweis

    Der Paketname stellt den eindeutigen Bezeichner für die App dar. Wenn Sie vermeiden möchten, dass zuvor installierte Versionen der App mit demselben Namen überschrieben werden, sollten Sie diesen Bezeichner vor der Bereitstellung der App ändern.

  4. Schließen Sie das Fenster Project Settings (Projekteinstellungen).

Sie können nun mit der Entwicklung mit OpenXR in Unity beginnen!

Unity-Beispielprojekte

Sehen Sie sich das Beispielrepository openXR Mixed Reality für Unity-Beispielprojekte an, in dem gezeigt wird, wie Sie Unity-Anwendungen für HoloLens 2 oder Mixed Reality Headsets mithilfe des Mixed Reality OpenXR-Plug-Ins erstellen.

Weitere Informationen