HoloLens (1. Generation) Grundlagen 100: Erste Schritte mit Unity

Wichtig

Die Mixed Reality Academy-Tutorials wurden unter Berücksichtigung von HoloLens (1. Generation), Unity 2017 und Mixed Reality Immersive Headsets entwickelt. Daher halten wir es für wichtig, diese Tutorials für Entwickler verfügbar zu halten, die noch nach Anleitung beim Entwickeln für diese Geräte suchen. Diese Tutorials werden nicht mit den neuesten Toolsets oder Interaktionen aktualisiert, die für HoloLens 2 verwendet werden, und sind möglicherweise nicht mit neueren Versionen von Unity kompatibel. Sie werden gewartet, um weiterhin auf den unterstützten Geräten zu funktionieren. Es wurde eine neue Reihe von Tutorials für HoloLens 2 veröffentlicht.

In diesem Tutorial erfahren Sie, wie Sie eine grundlegende Mixed Reality-App erstellen, die mit Unity erstellt wurde.

Geräteunterstützung

Kurs HoloLens Immersive Headsets
MR-Grundlagen 100: Erste Schritte mit Unity ✔️ ✔️

Voraussetzungen

Kapitel 1: Erstellen eines neuen Projekts

Um eine App mit Unity zu erstellen, müssen Sie zunächst ein Projekt erstellen. Dieses Projekt ist in wenigen Ordnern organisiert, von denen der wichtigste der Ordner "Assets" ist. Dies ist der Ordner, der alle Ressourcen enthält, die Sie aus Tools zur Erstellung digitaler Inhalte importieren, z. B. Maya, Max Cinema 4D oder Photoshop, allen Code, den Sie mit Visual Studio oder Ihrem bevorzugten Code-Editor erstellen, sowie eine beliebige Anzahl von Inhaltsdateien, die Unity beim Verfassen von Szenen, Animationen und anderen Unity-Objekttypen im Editor erstellt.

Zum Erstellen und Bereitstellen von UWP-Apps kann Unity das Projekt als Visual Studio-Projektmappe exportieren, die alle erforderlichen Ressourcen- und Codedateien enthält.

  1. Unity starten
  2. Wählen Sie Neu aus.
  3. Geben Sie einen Projektnamen ein (z. B. "MixedRealityIntroduction")
  4. Geben Sie einen Speicherort zum Speichern Ihres Projekts ein.
  5. Stellen Sie sicher, dass der 3D-Umschalter ausgewählt ist.
  6. Wählen Sie Projekt erstellen aus.

Herzlichen Glückwunsch, Sie sind alle eingerichtet, um jetzt mit Ihren Mixed Reality-Anpassungen zu beginnen.

Kapitel 2: Einrichten der Kamera

Die Unity-Hauptkamera übernimmt die Kopfnachverfolgung und stereoskopisches Rendering. Es müssen einige Änderungen an der Hauptkamera vorgenommen werden, um sie mit Mixed Reality zu verwenden.

  1. Wählen Sie Datei > neue Szene aus.

Erstens ist es einfacher, Ihre App zu gestalten, wenn Sie sich die Startposition des Benutzers als (X: 0, Y: 0, Z: 0) vorstellen. Da die Hauptkamera die Bewegung des Kopfes des Benutzers verfolgt, kann die Startposition des Benutzers durch Festlegen der Startposition der Hauptkamera festgelegt werden.

  1. Wählen Sie im HierarchiebereichHauptkamera aus.
  2. Suchen Sie im Bereich Inspector nach der Transformationskomponente , und ändern Sie die Position von (X: 0, Y: 1, Z: -10) in (X: 0, Y: 0, Z: 0).

Zweitens muss der Standardhintergrund der Kamera überdacht werden.

Bei HoloLens-Anwendungen sollte die reale Welt hinter allem angezeigt werden, was die Kamera rendert, nicht eine Skybox-Textur.

  1. Wenn die Hauptkamera im Hierarchiebereich weiterhin ausgewählt ist, suchen Sie im Bereich Inspektor nach der Komponente Kamera, und ändern Sie die Dropdownliste Flags löschen von Skybox in Einfarbig.
  2. Wählen Sie die Farbauswahl Hintergrund aus, und ändern Sie die RGBA-Werte in (0, 0, 0, 0)

Für Mixed Reality-Anwendungen, die auf immersive Headsets ausgerichtet sind, können wir die standardmäßige Skybox-Textur verwenden, die Unity bietet.

  1. Wenn die Hauptkamera im Hierarchiebereich weiterhin ausgewählt ist, suchen Sie im Bereich Inspektor nach der Komponente Kamera, und behalten Sie die Dropdownliste Flags löschen in Skybox bei.

Drittens betrachten wir die nahe Clipebene in Unity und verhindern, dass Objekte den Augen des Benutzers zu nahe gerendert werden, wenn sich ein Benutzer einem Objekt nähert oder sich ein Objekt einem Benutzer nähert.

Für HoloLens-Anwendungen kann die nahe Clipebene auf die holoLens empfohlene 0,85 Meter festgelegt werden.

  1. Wenn die Hauptkamera im Hierarchiebereich weiterhin ausgewählt ist, suchen Sie im Bereich Inspektor nach der Komponente Kamera, und ändern Sie das Feld Nahe Clipebene von der Standardeinstellung 0,3 in die empfohlene HoloLens 0.85.

Für Mixed Reality-Anwendungen, die auf immersive Headsets ausgerichtet sind, können wir die Standardeinstellung verwenden, die Unity bietet.

  1. Wenn die Hauptkamera im Hierarchiebereich weiterhin ausgewählt ist, suchen Sie im Bereich Inspektor nach der Komponente Kamera, und behalten Sie das Feld Nahausschnittebene auf der Standardeinstellung 0.3 bei.

Lassen Sie uns schließlich unseren bisherigen Fortschritt speichern. Um die Szenenänderungen zu speichern, wählen Sie Datei > Szenen speichern unter aus, nennen Sie die Szene Main, und wählen Sie Speichern aus.

Kapitel 3: Einrichten der Projekteinstellungen

In diesem Kapitel legen wir einige Unity-Projekteinstellungen fest, die uns helfen, das Windows Holographic SDK für die Entwicklung zu verwenden. Wir werden auch einige Qualitätseinstellungen für unsere Anwendung festlegen. Schließlich werden wir sicherstellen, dass unsere Buildziele auf Universelle Windows-Plattform festgelegt sind.

Unity-Leistungs- und Qualitätseinstellungen

Unity-Qualitätseinstellungen für HoloLens

Unity-Qualitätseinstellungen für HoloLens

Da die Beibehaltung einer hohen Framerate auf HoloLens so wichtig ist, möchten wir, dass die Qualitätseinstellungen für die schnellste Leistung optimiert sind. Ausführlichere Leistungsinformationen finden Sie unter Leistungsempfehlungen für Unity.

  1. Wählen Sie Projekteinstellungen > bearbeiten Qualität aus.>
  2. Wählen Sie die Dropdownliste unter dem Universelle Windows-Plattform Logo aus, und wählen Sie Sehr niedrig aus. Sie wissen, dass die Einstellung ordnungsgemäß angewandt wurde, wenn das Feld in der Spalte Universelle Windows-Plattform und der Zeile Sehr niedrig grün ist.

Bei Mixed Reality-Anwendungen, die auf verworrene Displays abzielen, können Sie die Qualitätseinstellungen auf ihre Standardwerte festlegen.

Ziel-Windows 10 SDK

Ziel-Windows Holographic SDK

Ziel-Windows Holographic SDK

Wir müssen Unity mitteilen, dass die App, die wir exportieren möchten, eine immersive Ansicht anstelle einer 2D-Ansicht erstellen sollte. Hierzu aktivieren wir die Virtual Reality-Unterstützung für Unity für das Windows 10 SDK.

  1. Wechseln Sie zu Projekteinstellungen > bearbeiten > Player.
  2. Wählen Sie im Bereich Inspektor für Spielereinstellungen das symbol Universelle Windows-Plattform aus.
  3. Erweitern Sie die Gruppe XR-Einstellungen.
  4. Aktivieren Sie im Abschnitt Rendering das Kontrollkästchen Virtuelle Realität unterstützt, um eine neue Liste mit Virtual Reality-SDKs hinzuzufügen.
  5. Überprüfen Sie, ob in der Liste Windows Mixed Reality angezeigt wird. Andernfalls wählen Sie die + Schaltfläche am unteren Rand der Liste aus, und wählen Sie Windows Mixed Reality aus.

Hinweis

Wenn das Universelle Windows-Plattform-Symbol nicht angezeigt wird, überprüfen Sie, ob Sie während der Installation Universelle Windows-Plattform Buildunterstützung ausgewählt haben. Wenn nicht, müssen Sie Unity eventuell mit der richtigen Windows-Installation neu installieren.

Tolle Aufgabe beim Anwenden aller Projekteinstellungen. Als Nächstes fügen wir ein Hologramm hinzu!

Kapitel 4: Erstellen eines Cubes

Das Erstellen eines Cubes in Ihrem Unity-Projekt ähnelt dem Erstellen eines anderen Objekts in Unity. Das Platzieren eines Würfels vor dem Benutzer ist einfach, da das Koordinatensystem von Unity der realen Welt zugeordnet ist , wobei ein Meter in Unity ungefähr einen Meter in der realen Welt entspricht.

  1. Wählen Sie in der oberen linken Ecke des Hierarchiebereichs die Dropdownliste Erstellen aus, und wählen Sie 3D-Objektwürfel >aus.
  2. Wählen Sie den neu erstellten Cube im Hierarchiebereich aus.
  3. Suchen Sie im Inspektor die Transformationskomponente , und ändern Sie die Position in (X: 0, Y: 0, Z: 2). Dadurch wird der Würfel 2 Meter vor der Startposition des Benutzers positioniert.
  4. Ändern Sie in der Transformationskomponentedie Drehung in (X: 45, Y: 45, Z: 45), und ändern Sie die Skalierung in (X: 0,25, Y: 0,25, Z: 0,25). Dadurch wird der Cube auf 0,25 Meter skaliert.
  5. Um die Szenenänderungen zu speichern, wählen Sie Datei > Speichern Szene aus.

Kapitel 5: Überprüfen auf dem Gerät im Unity-Editor

Nachdem wir nun unseren Cube erstellt haben, ist es an der Zeit, ein schnelles Einchecken des Geräts zu unternehmen. Sie können dies direkt im Unity-Editor tun.

Anfangssetup

  1. Öffnen Sie auf Ihrem Entwicklungs-PC in Unity das Fenster Dateibuildeinstellungen>.
  2. Ändern Sie Plattform in Universelle Windows-Plattform, und klicken Sie auf Plattform wechseln.

Verwenden Sie für HoloLens Unity Remoting

  1. Installieren und führen Sie auf Ihrer HoloLens den Holographic Remoting Player aus, der im Windows Store verfügbar ist. Starten Sie die Anwendung auf dem Gerät, und es wird ein Wartezustand und die IP-Adresse des Geräts angezeigt. Notieren Sie sich die IP-Adresse.
  2. Öffnen Sie das Fenster > XR > Holographic Emulation.
  3. Ändern Sie den Emulationsmodus von "Keine" in "Remote" auf "Gerät".
  4. Geben Sie unter Remotecomputer die zuvor erwähnte IP-Adresse Ihrer HoloLens ein.
  5. Klicke auf Verbinden.
  6. Stellen Sie sicher, dass sich der Verbindungsstatus in grün Verbunden ändert.
  7. Jetzt können Sie im Unity-Editor auf Wiedergeben klicken.

Sie können den Cube nun im Gerät und im Editor anzeigen. Sie können Objekte anhalten, überprüfen und debuggen, wie Sie eine App im Editor ausführen, da dies im Wesentlichen geschieht, aber mit Video-, Audio- und Geräteeingaben, die über das Netzwerk zwischen dem Hostcomputer und dem Gerät hin und her übertragen werden.

Für andere Mixed Reality unterstützte Headsets

  1. Schließen Sie das Headset über das USB-Kabel und das HDMI- oder Displayportkabel an Ihren Entwicklungs-PC an.
  2. Starten Sie das Mixed Reality-Portal, und stellen Sie sicher, dass Sie die erste Ausführung abgeschlossen haben.
  3. In Unity können Sie jetzt die Schaltfläche Wiedergabe drücken.

Sie können nun das Cuberendering in Ihrem Mixed Reality-Headset und im Editor sehen.

Kapitel 6: Erstellen und Bereitstellen auf einem Gerät über Visual Studio

Wir sind jetzt bereit, unser Projekt in Visual Studio zu kompilieren und auf unserem Zielgerät bereitzustellen.

Exportieren in die Visual Studio-Projektmappe

  1. Öffnen Sie das Fenster Dateibuildeinstellungen>.
  2. Klicken Sie auf Offene Szenen hinzufügen , um die Szene hinzuzufügen.
  3. Ändern Sie Plattform in Universelle Windows-Plattform, und klicken Sie auf Plattform wechseln.
  4. Stellen Sie in Universelle Windows-Plattform Einstellungen sicher, dass das SDKuniversell 10 ist.
  5. Lassen Sie für Zielgerät die Option Beliebiges Gerät für verdeckte Displays, oder wechseln Sie zu HoloLens.
  6. Der UWP-Buildtyp sollte D3D sein.
  7. Das UWP SDK kann spätestens installiert sein.
  8. Klicken Sie auf Erstellen.
  9. Klicken Sie im Datei-Explorer auf Neuer Ordner , und nennen Sie den Ordner "App".
  10. Klicken Sie bei ausgewähltem App-Ordner auf die Schaltfläche Ordner auswählen .
  11. Wenn Unity mit dem Erstellen fertig ist, wird ein Windows Explorer Fenster angezeigt.
  12. Öffnen Sie den Ordner App im Datei-Explorer.
  13. Öffnen Sie die generierte Visual Studio-Projektmappe (MixedRealityIntroduction.sln in diesem Beispiel)

Kompilieren der Visual Studio-Projektmappe

Abschließend kompilieren wir die exportierte Visual Studio-Projektmappe, stellen sie bereit und testen sie auf dem Gerät.

  1. Ändern Sie mithilfe der oberen Symbolleiste in Visual Studio das Ziel von Debuggen in Release und von ARM in X86.

Die Anweisungen unterscheiden sich bei der Bereitstellung auf einem Gerät im Vergleich zum Emulator. Befolgen Sie die Anweisungen, die Ihrem Setup entsprechen.

Bereitstellen auf Mixed Reality-Geräten über Wi-Fi

  1. Klicken Sie auf den Pfeil neben der Schaltfläche Lokaler Computer , und ändern Sie das Bereitstellungsziel in Remotecomputer.
  2. Geben Sie die IP-Adresse Ihres Mixed Reality-Geräts ein, und ändern Sie den Authentifizierungsmodus in Universal (Unverschlüsseltes Protokoll) für HoloLens und Windows für andere Geräte.
  3. Klicken Sie auf Debuggen > ohne Debuggen starten.

Wenn holoLens zum ersten Mal auf Ihrem Gerät bereitgestellt wird, müssen Sie mit Visual Studio koppeln.

Bereitstellen auf Mixed Reality-Geräten über USB

Stellen Sie sicher, dass Das Gerät über das USB-Kabel angeschlossen ist.

  1. Klicken Sie für HoloLens auf den Pfeil neben der Schaltfläche Lokaler Computer, und ändern Sie das Bereitstellungsziel in Gerät.
  2. Behalten Sie die Einstellung lokaler Computer bei, um verworrene Geräte zu verwenden, die an Ihren PC angeschlossen sind. Stellen Sie sicher, dass das Mixed Reality-Portal ausgeführt wird.
  3. Klicken Sie auf Debuggen > ohne Debuggen starten.

Bereitstellen im Emulator

  1. Klicken Sie auf den Pfeil neben der Schaltfläche Gerät , und wählen Sie in der Dropdownliste HoloLens-Emulator aus.
  2. Klicken Sie auf Debuggen > ohne Debuggen starten.

Testen Sie Ihre App

Nachdem Ihre App bereitgestellt wurde, versuchen Sie, sich um den Cube herum zu bewegen, und beobachten Sie, dass sie in der Welt vor Ihnen bleibt.

Weitere Informationen