Fallstudie : Mein erstes Jahr im HoloLens-Designteam

Meine Reise von einem 2D-Flachland in die 3D-Welt begann, als ich im Januar 2016 dem HoloLens-Designteam beigetreten bin. Bevor ich zum Team kam, hatte ich sehr wenig Erfahrung im 3D-Design. Es war wie das chinesische Sprichwort über eine Reise von tausend Meilen, die mit einem einzelnen Schritt begann, außer in meinem Fall war der erste Schritt ein Sprung!

Sprung von 2D zu 3D

"Ich fühlte mich, als wäre ich auf den Fahrersitz gesprungen, ohne zu wissen, wie ich das Auto fahren sollte. Ich war überwältigt und verängstigt, aber sehr fokussiert."
— Hae Jin Lee

Im vergangenen Jahr habe ich so schnell wie ich konnte Fähigkeiten und Wissen angesammelt, aber ich habe noch viel zu lernen. Hier habe ich vier Beobachtungen mit einem Videotutorial geschrieben, das meinen Übergang von einem 2D- zu einem 3D-Interaktionsdesigner dokumentiert. Ich hoffe, meine Erfahrung wird andere Designer inspirieren, den Sprung zu 3D zu wagen.

Good-bye-Frame. Hallo räumliche/diegetische Benutzeroberfläche

Wann immer ich Poster, Zeitschriften, Websites oder App-Bildschirme entworfen habe, war ein definierter Rahmen (normalerweise ein Rechteck) eine Konstante für jedes Problem. Wenn Sie diesen Beitrag nicht in einer HoloLens oder einem anderen VR-Gerät lesen, betrachten Sie diesen von außen durch einen 2D-Bildschirm, der sicher in einem Frame geschützt ist. Inhalte sind extern für Sie. Mixed Reality Headset eliminiert jedoch den Rahmen, sodass Sie sich innerhalb des Inhaltsbereichs befinden und den Inhalt von innen nach außen betrachten und durchgehen.

Ich habe das konzeptuell verstanden, aber am Anfang habe ich den Fehler gemacht, einfach 2D-Denken in den 3D-Raum zu übertragen. Dies funktionierte offensichtlich nicht gut, da der 3D-Raum seine eigenen eindeutigen Eigenschaften wie eine Ansichtsänderung (basierend auf der Kopfbewegung des Benutzers) und unterschiedliche Anforderungen an den Benutzerkomfort (basierend auf den Eigenschaften der Geräte und der Menschen, die sie verwenden) hat. Beispielsweise ist das Sperren von UI-Elementen in der Ecke eines Bildschirms in einem 2D-Ui-Bereich ein sehr gängiges Muster, aber diese HUD-Benutzeroberfläche (Head Up Display) fühlt sich in MR/VR-Erfahrungen nicht natürlich an. es verhindert das Eintauchen des Benutzers in den Raum und verursacht Benutzerbeschwerden. Es ist, als hätten Sie ein lästiges Staubpartikel auf Ihrer Brille, das Sie sterben, loszuwerden. Im Laufe der Zeit habe ich gelernt, dass es sich natürlicher anfühlt, Inhalte im 3D-Raum zu positionieren und körpergesperrtes Verhalten hinzuzufügen, das dazu führt, dass der Inhalt dem Benutzer in einer relativ festen Entfernung folgt.

Body-Locked

Weltgebunden

Fragmente: Ein Beispiel für eine großartige diegetische Benutzeroberfläche

Fragments, ein von Asobo Studio für HoloLens entwickelter Ego-Krimi zeigt eine großartige Diegetische Benutzeroberfläche. In diesem Spiel wird der Benutzer zu einem Standard Charakter, einem Detektiv, der versucht, ein Geheimnis zu lösen. Die entscheidenden Hinweise zur Lösung dieses Geheimnisses werden im physischen Raum des Benutzers gestreut und oft in ein fiktives Objekt eingebettet, anstatt selbst zu existieren. Diese diegetische Benutzeroberfläche ist in der Regel weniger auffindbar als die körpergebundene Benutzeroberfläche, sodass das Asobo-Team geschickt viele Hinweise verwendet hat, einschließlich der Blickrichtung, des Klangs, des Lichts und der Führungslinien (z. B. Pfeile, die auf die Position des Hinweises zeigen), um die Aufmerksamkeit des Benutzers zu erregen.

Fragmente – Beispiele für diegetische Benutzeroberfläche

Beobachtungen zur diegetischen Benutzeroberfläche

Räumliche UI (sowohl körper- als auch weltgebunden) und diegetische UI haben ihre eigenen Stärken und Schwächen. Ich ermutige Designer, so viele MR/VR-Apps wie möglich auszuprobieren und ihr eigenes Verständnis und ihre Sensibilität für verschiedene Methoden der UI-Positionierung zu entwickeln.

Die Rückkehr von Skeuomorphismus und magischer Interaktion

Skeuomorphismus, eine digitale Schnittstelle, die die Form realer Objekte nachahmt, ist in den letzten 5-7 Jahren in der Designbranche "uncool". Als Apple schließlich dem flachen Design in iOS 7 den Weg gab, schien es, als sei Skeuomorphismus als Schnittstellenentwurfsmethodik endgültig tot. Aber dann kam ein neues Medium, MR /VR-Headset auf den Markt und es scheint, als sei Skeuomorphismus wieder zurückgekehrt. : )

Auftragssimulator: Ein Beispiel für skeuomorphes VR-Design

Job Simulator, ein skurriles Spiel, das von Owlchemy Labs entwickelt wurde, ist eines der beliebtesten Beispiele für skeuomorphes VR-Design. In diesem Spiel werden Die Spieler in die Zukunft transportiert, wo Roboter Menschen ersetzen, besuchen ein Museum, um zu erleben, wie es sich anfühlt, alltägliche Aufgaben in einem von vier verschiedenen Jobs auszuführen: Automechaniker, Gourmetkoch, Store Clerk oder Office Worker.

Der Nutzen des Skeuomorphismus ist klar. Vertraute Umgebungen und Objekte in diesem Spiel helfen neuen VR-Benutzern, sich im virtuellen Raum wohler und präsenter zu fühlen. Es gibt ihnen auch das Gefühl, dass sie die Kontrolle haben, indem sie vertrautes Wissen und Verhalten mit Objekten und ihren entsprechenden physischen Reaktionen verknüpfen. Um beispielsweise eine Tasse Kaffee zu trinken, müssen die Menschen einfach zur Kaffeemaschine gehen, einen Knopf drücken, den Tassengriff greifen und ihn wie in der realen Welt zum Mund neigen.

Auftragssimulator

Da MR/VR noch ein sich entwickelnde Medium ist, ist die Verwendung eines gewissen Grads an Skeuomorphismus notwendig, um die MR/VR-Technologie zu entmystifizieren und sie einem größeren Publikum auf der ganzen Welt vorzustellen. Darüber hinaus kann die Verwendung von Skeuomorphismus oder realistischer Darstellung für bestimmte Arten von Anwendungen wie Chirurgie oder Flugsimulation von Vorteil sein. Da das Ziel dieser Apps darin besteht, spezifische Fähigkeiten zu entwickeln und zu verfeinern, die direkt in der realen Welt angewendet werden können, ist das Wissen übertragbar, je näher die Simulation der realen Welt ist.

Denken Sie daran, dass Skeuomorphismus nur ein Ansatz ist. Das Potenzial der MR/VR-Welt ist viel größer als das, und Designer sollten versuchen, magische hyper-natürliche Interaktionen zu schaffen – neue Angebote, die in der MR/VR-Welt einzigartig möglich sind. Erwägen Sie zunächst, gewöhnlichen Objekten magische Kräfte hinzuzufügen, damit benutzer ihre grundlegenden Wünsche erfüllen können – einschließlich Teleportation und Allwissenheit.

Doraemons magische Tür (links) und Rubin-Hausschuhe (rechts)

Beobachtungen über Skeuomorphismus in VR

Von "Anywhere Door" in Doraemon, "Ruby Slippers" in Der Zauberer von Oz bis zu "Mauraders Karte" in Harry Potter gibt es Beispiele für gewöhnliche Objekte mit magischer Kraft in beliebter Fiktion. Diese magischen Objekte helfen uns, eine Verbindung zwischen der realen Welt und dem Fantastischen, zwischen dem, was ist und was sein könnte, zu visualisieren. Denken Sie daran, dass beim Entwerfen des magischen oder surrealen Objekts eine Balance zwischen Funktionalität und Unterhaltung gefunden werden muss. Hüten Sie sich vor der Versuchung, etwas rein Magisches zu schaffen, nur um der Neuheit willen.

Grundlegendes zu verschiedenen Eingabemethoden

Als ich für das 2D-Medium entworfen habe, musste ich mich auf Touch-, Maus- und Tastaturinteraktionen für Eingaben konzentrieren. Im MR/VR-Designbereich wird unser Körper zur Schnittstelle, und die Benutzer können eine breitere Auswahl an Eingabemethoden verwenden: einschließlich Sprache, Blick, Geste, 6-Dof-Controller und Handschuhe, die eine intuitivere und direktere Verbindung mit virtuellen Objekten ermöglichen.

Verfügbare Eingaben in HoloLens

"Alles ist das Beste für etwas und das Schlechteste für etwas anderes."
— Bill Buxton

Gesteneingaben mit bloßer Hand und Kamerasensoren auf einem HMD-Gerät befreien den Benutzer beispielsweise von der Hand, controller zu halten oder verschwitzte Handschuhe zu tragen, aber häufige Verwendung kann körperliche Ermüdung (auch als Gorillaarm bezeichnet) verursachen. Außerdem müssen die Benutzer ihre Hände in der Sichtlinie halten; wenn die Kamera die Hände nicht sehen kann, können die Hände nicht verwendet werden.

Spracheingabe ist gut für die Durchquerung komplexer Aufgaben, da sie es Benutzern ermöglicht, geschachtelte Menüs mit einem Befehl zu durchschneiden (z. B. "Show me the movies made by Laika studio.") und auch sehr sparsam, wenn sie mit anderen Modalitäten gekoppelt ist (z. B. der Befehl "Face me" richtet das Hologramm, das ein Benutzer betrachtet, an den Benutzer). Die Spracheingabe funktioniert jedoch möglicherweise nicht gut in einer lauten Umgebung oder in einem sehr ruhigen Raum nicht geeignet.

Neben Gesten und Sprache sind handgehaltene nachverfolgte Controller (z. B. Oculus Touch, Vive usw.) sehr beliebte Eingabemethoden, da sie einfach zu bedienen sind, genau sind, die Propriozeption von Personen nutzen und passive haptische Hinweise bieten. Diese Vorteile gehen jedoch auf den Preis von, dass sie nicht in der Lage sind, mit bloßen Händen zu sein und die vollständige Fingernachverfolgung zu verwenden.

Senso (links) und Manus VR (rechts)

Handschuhe sind zwar nicht so beliebt wie Controller, gewinnen aber dank der MR/VR-Welle wieder Anschub. In jüngster Zeit hat die Gehirn-/Geist-Eingabe durch die Integration von EEG- oder EMG-Sensor in Headset (z. B. MindMaze VR) als Schnittstelle für virtuelle Umgebungen an Bedeutung gewonnen.

Beobachtungen zu Eingabemethoden

Dies sind nur ein Beispiel für Eingabegeräte, die auf dem Markt für MR/VR verfügbar sind. Sie werden sich weiter vermehren, bis die Branche reift und sich auf bewährte Methoden verständigt. Bis dahin sollten Designer neue Eingabegeräte kennen und sich mit den spezifischen Eingabemethoden für ihr jeweiliges Projekt auskennen. Designer müssen innerhalb von Einschränkungen nach kreativen Lösungen suchen und gleichzeitig die Stärken eines Geräts ausspielen.

Skizzieren der Szene und Testen im Headset

Als ich in 2D gearbeitet habe, habe ich meistens nur den Inhalt skizziert. Im Mixed Reality-Raum war dies jedoch nicht ausreichend. Ich musste die gesamte Szene skizzieren, um mir die Beziehungen zwischen dem Benutzer und virtuellen Objekten besser vorzustellen. Um mein räumliches Denken zu unterstützen, begann ich, Szenen in Cinema 4D zu skizzieren und manchmal einfache Objekte für die Prototyperstellung in Maya zu erstellen. Ich hatte nie beide Programme verwendet, bevor ich zum HoloLens-Team kam und bin immer noch ein Neuling, aber die Arbeit mit diesen 3D-Programmen half mir definitiv, mich mit neuen Terminologien wie Shader und IK (inverse Kinematik) vertraut zu machen.

"Unabhängig davon, wie eng ich die Szene in 3D skizzierte, war die tatsächliche Erfahrung im Headset fast nie mit der Skizze identisch. Deshalb ist es wichtig, die Szene in den Ziel-Headsets zu testen." — Hae Jin Lee

Für HoloLens-Prototyping habe ich alle Tutorials unter Mixed Reality Tutorials ausprobiert, um zu beginnen. Dann begann ich mit HoloToolkit.Unity zu spielen, das Microsoft Entwicklern zur Verfügung stellt, um die Entwicklung holografischer Anwendungen zu beschleunigen. Als ich mit etwas hängen blieb, habe ich meine Frage an HoloLens Question & Answer Forum gepostet.

Nachdem ich grundlegende Kenntnisse zum HoloLens-Prototyping erworben hatte, wollte ich anderen Nicht-Codern die Möglichkeit geben, selbst Prototypen zu entwickeln. Also habe ich ein Videotutorial gemacht, in dem gezeigt wird, wie man ein einfaches Projektil mit HoloLens entwickelt. Ich erkläre kurz die grundlegenden Konzepte, also selbst wenn Sie keine Erfahrung mit der HoloLens-Entwicklung haben, sollten Sie in der Lage sein, mitzuverfolgen.

Ich habe dieses einfache Tutorial für Nicht-Programmierer wie mich gemacht.

Für VR-Prototyping belegte ich Kurse an der VR Dev School und belegte auch 3D Content Creation for Virtual Reality bei Lynda.com. Die VR Dev School vermittelte mir mehr fundierte Kenntnisse im Programmieren und der Lynda-Kurs bot mir eine schöne kurze Einführung in die Erstellung von Ressourcen für VR.

Machen Sie den Sprung

Vor einem Jahr hatte ich das Gefühl, dass all das ein bisschen überwältigend war. Jetzt kann ich Ihnen sagen, dass es sich zu 100% die Mühe gelohnt hat. MR/VR ist noch ein sehr junges Medium und es warten so viele interessante Möglichkeiten darauf, realisiert zu werden. Ich fühle mich inspiriert und glücklich, eine kleine Rolle bei der Gestaltung der Zukunft spielen zu können. Ich hoffe, Sie werden mich auf der Reise in den 3D-Raum begleiten!

Informationen zum Autor

Hae Jin Lee UX-Designer @Microsoft