Gemeinsame Erlebnisse in Mixed Reality
Hologramme müssen nicht nur für einen Benutzer privat bleiben. Holografische Apps können Raumanker von einem HoloLens-, iOS- oder Android-Gerät auf ein anderes teilen, sodass Benutzer ein Hologramm an derselben Stelle in der realen Welt auf mehreren Geräten rendern können.
Sechs Fragen zum Definieren freigegebener Szenarien
Bevor Sie mit dem Entwerfen für freigegebene Erfahrungen beginnen, ist es wichtig, die Zielszenarien zu definieren. Diese Szenarien helfen ihnen, zu verdeutlichen, was Sie entwerfen, und ein gemeinsames Vokabular zu erstellen, um die für Ihre Erfahrung erforderlichen Features zu vergleichen und zu vergleichen. Das Verständnis des Kernproblems und der verschiedenen Lösungswege ist der Schlüssel zur Aufdeckung von Chancen, die diesem neuen Medium innewohnen.
Durch interne Prototypen und Untersuchungen unserer HoloLens-Partneragenturen haben wir sechs Fragen erstellt, die Ihnen helfen, gemeinsame Szenarien zu definieren. Diese Fragen bilden einen Rahmen, der nicht vollständig sein soll, um die wichtigen Attribute Ihrer Szenarien zu destillieren.
1. Wie teilen sie sich?
Eine Präsentation kann von einem einzelnen virtuellen Benutzer geleitet werden, während mehrere Benutzer zusammenarbeiten können, oder ein Lehrer kann virtuellen Kursteilnehmern, die mit virtuellen Materialien arbeiten, Eine Anleitung geben – die Komplexität der Erfahrungen steigt basierend auf der Ebene der Agentur, die ein Benutzer in einem Szenario hat oder haben kann.
Es gibt viele Möglichkeiten zum Teilen, aber wir haben festgestellt, dass die meisten davon in drei Kategorien fallen:
- Präsentation: Wenn derselbe Inhalt mehreren Benutzern angezeigt wird. Zum Beispiel: Ein Professor hält eine Vorlesung an mehrere Studenten mit demselben holografischen Material, das allen präsentiert wird. Der Professor könnte jedoch eigene Hinweise und Notizen haben, die für andere möglicherweise nicht sichtbar sind.
- Zusammenarbeit: Wenn Personen zusammenarbeiten, um einige gemeinsame Ziele zu erreichen. Zum Beispiel: Der Professor gab ein Projekt, um mehr über eine Herzoperation zu erfahren. Die Kursteilnehmer koppeln sich und erstellen eine gemeinsame Skills Lab-Erfahrung, die es Medizinstudenten ermöglicht, am Herzmodell zusammenzuarbeiten und zu lernen.
- Leitfaden: Wenn eine Person jemandem hilft, ein Problem in einer 1:1-Interaktion zu lösen. Beispiel: Der Professor gibt einem Studenten Anleitung, wenn er/sie das Herzchirurgie Skills Lab in der gemeinsamen Erfahrung durchführt.
2. Wie groß ist die Gruppengröße?
1:1-Austauscherfahrungen können eine starke Basis liefern, und im Idealfall können Ihre Machbarkeitsnachweise auf dieser Ebene erstellt werden. Beachten Sie jedoch, dass das Teilen mit großen Gruppen (über sechs Personen) sowohl technische (Daten und Netzwerke) als auch soziale Probleme (die Auswirkungen, in einem Raum mit mehreren Avataren zu sein) führen kann. Die Komplexität steigt exponentiell, wenn Sie von kleinen zu großen Gruppen wechseln.
Wir haben festgestellt, dass die Bedürfnisse von Gruppen in drei Größenkategorien fallen können:
- 1:1
- Klein < 7
- Groß >= 7
Die Gruppengröße stellt eine wichtige Frage dar, da sie Folgendes beeinflusst:
- Darstellungen von Personen im holografischen Raum
- Skalierung von Objekten
- Skalierung der Umgebung
3. Wo sind alle?
Die Stärke von Mixed Reality kommt ins Spiel, wenn eine gemeinsame Erfahrung am selben Ort stattfinden kann. Wir nennen dies "colocated". Wenn die Gruppe verteilt ist und sich mindestens ein Teilnehmer nicht im selben physischen Raum befindet (wie bei VR häufig), wird dies als Remoteerfahrung bezeichnet. Häufig ist es der Fall, dass Ihre Gruppe sowohl über gemeinsame als auch über Remoteteilnehmer verfügt (z. B. zwei Gruppen in Konferenzräumen).
Die folgenden Kategorien vermitteln, wo sich Benutzer befinden:
- Gemeinsame Zuordnung: Alle Ihre Benutzer befinden sich im selben physischen Raum.
- Remote: Alle Ihre Benutzer befinden sich in separaten physischen Räumen.
- Beides: Ihre Benutzer sind eine Mischung aus gemeinsam zugeordneten und entfernten Räumen.
Diese Frage ist von entscheidender Bedeutung, da sie Folgendes beeinflusst:
- Wie kommunizieren Menschen?
- Zum Beispiel: Ob sie Avatare haben sollen?
- Welche Objekte angezeigt werden. Werden alle Objekte gemeinsam genutzt?
- Ob wir uns an ihre Umgebung anpassen müssen?
4. Wann teilen sie sich?
Wir denken in der Regel an synchrone Erfahrungen, wenn uns geteilte Erfahrungen in den Sinn kommen: Wir machen es alle gemeinsam. Wenn wir jedoch ein einzelnes virtuelles Element einschließen, das von einer anderen Person hinzugefügt wurde, haben wir ein asynchrones Szenario. Stellen Sie sich eine Notiz oder eine Sprachnotiz vor, die in einer virtuellen Umgebung verbleibt. Wie gehen Sie mit 100 virtuellen Memos um, die in Ihrem Entwurf verbleiben? Was ist, wenn sie aus Dutzenden von Menschen mit unterschiedlichen Datenschutzebenen stammen?
Betrachten Sie Ihre Erfahrungen als eine der folgenden Zeitkategorien:
- Synchron: Gleichzeitiges Freigeben der holografischen Erfahrung. Beispiel: Zwei Studenten, die das Skills Lab gleichzeitig durchführen.
- Asynchron: Freigeben der holografischen Benutzeroberfläche zu unterschiedlichen Zeiten. Beispiel: Zwei Studenten, die das Skills Lab durchführen, aber zu unterschiedlichen Zeiten an separaten Abschnitten arbeiten.
- Beides: Ihre Benutzer teilen sich manchmal synchron, aber manchmal asynchron. Beispiel: Ein Professor benotet die von den Studierenden zu einem späteren Zeitpunkt erledigte Aufgabe und hinterlässt Notizen für die Studierenden für den nächsten Tag.
Diese Frage ist wichtig, da sie Folgendes beeinflusst:
- Persistenz von Objekten und Umgebungen. Beispiel: Speichern der Zustände, damit sie abgerufen werden können.
- Benutzerperspektive. Beispiel: Erinnern Sie sich vielleicht daran, was der Benutzer beim Hinterlassen von Notizen betrachtet hat.
5. Wie ähnlich sind ihre physischen Umgebungen?
Die Wahrscheinlichkeit von zwei identischen realen Umgebungen außerhalb der gemeinsamen Umgebung ist gering, es sei denn, diese Umgebungen wurden als identisch konzipiert. Es ist wahrscheinlicher, dass Sie ähnliche Umgebungen haben. Zum Beispiel sind Konferenzräume ähnlich – sie verfügen in der Regel über einen zentral gelegenen Tisch, der von Stühlen umgeben ist. Wohnzimmer hingegen sind unähnlich** und können eine beliebige Anzahl von Möbeln in einer unendlichen Palette von Layouts enthalten.
Berücksichtigen Sie, dass Ihre Erfahrungen zum Teilen in eine der folgenden beiden Kategorien passen:
- Ähnlich: Umgebungen, die tendenziell ähnliche Möbel haben, Umgebungslicht und Sound, physische Raumgröße. Beispiel: Der Professor befindet sich im Hörsaal A und die Studierenden im Hörsaal B. Der Hörsaal A hat möglicherweise weniger Stühle als B, aber beide haben möglicherweise einen physischen Schreibtisch, auf dem Hologramme platziert werden können.
- Unterschiedlich: Umgebungen, die sich in Möbeleinstellungen, Raumgrößen, Licht- und Soundaspekten unterscheiden. Beispiel: Ein Professor befindet sich in einem Fokusraum, aber die Studierenden befinden sich in einem großen Hörsaal, der mit Studenten und Lehrern gefüllt ist.
Es ist wichtig, über die Umwelt nachzudenken, da sie Folgendes beeinflussen wird:
- Wie Personen diese Objekte erleben. Beispiel: Wenn Ihre Erfahrung am besten für eine Tabelle funktioniert und der Benutzer keine Tabelle hat? Oder auf einer flachen Bodenfläche, aber der Benutzer hat einen unübersichtlichen Platz.
- Skalierung der Objekte. Beispiel: Das Platzieren eines menschlichen Modells mit sechs Fuß auf einem Tisch könnte eine Herausforderung sein, aber ein Herzmodell würde hervorragend funktionieren.
6. Welche Geräte verwenden sie?
Heutzutage werden Sie wahrscheinlich häufig gemeinsame Erfahrungen zwischen zwei immersiven Geräten (diese Geräte können sich geringfügig unterscheiden Für Schaltflächen und relative Funktionen, aber nicht stark) oder zwei holografische Geräte sehen, da die Lösungen für diese Geräte vorgesehen sind. Überlegen Sie jedoch, ob 2D-Geräte (mobile/Desktop-Teilnehmer oder Beobachter) eine notwendige Überlegung darstellen, insbesondere in Situationen gemischter 2D- und 3D-Geräte. Es ist wichtig, die Gerätetypen zu verstehen, die Ihre Teilnehmer verwenden, nicht nur, weil sie mit unterschiedlichen Genauigkeits- und Dateneinschränkungen und -möglichkeiten kommen, sondern auch, weil Die Benutzer eindeutige Erwartungen an jede Plattform haben.
Erkunden des Potenzials gemeinsamer Erfahrungen
Antworten auf die oben genannten Fragen können kombiniert werden, um Ihr gemeinsames Szenario besser zu verstehen und die Herausforderungen zu verdeutlichen, wenn Sie die Erfahrung erweitern. Für das Microsoft-Team half dies, eine Roadmap für die Verbesserung der von uns heute verwendeten Erfahrungen zu erstellen, die Nuance dieser komplexen Probleme zu verstehen und die Vorteile gemeinsamer Erfahrungen in Mixed Reality zu nutzen.
Betrachten Sie beispielsweise eines der Skype-Szenarien aus dem HoloLens-Start: Ein Benutzer hat mit Hilfe eines remote lokalisierten Experten durchgearbeitet , wie ein defekter Lichtschalter behoben werden kann.
Ein Experte bietet einem Benutzer eines 3D-Mixed Reality-Geräts eine 1:1-Anleitung von seinem 2D-Desktopcomputer. Die Anleitung ist synchron , und die physischen Umgebungen sind unterschiedlich.
Eine solche Erfahrung ist ein Schritt von unserer aktuellen Erfahrung – die Anwendung des Paradigmas von Video und Stimme auf ein neues Medium. Aber wenn wir in die Zukunft blicken, müssen wir die Chancen unserer Szenarien besser definieren und Erfahrungen erstellen, die die Stärke von Mixed Reality widerspiegeln.
Betrachten Sie das OnSight-Kollaborationstool, das vom Jet Propulsion Laboratory der NASA entwickelt wurde. Wissenschaftler, die an Daten der Marsrovermissionen arbeiten, können in Echtzeit mit Kollegen innerhalb der Daten aus der Marslandschaft zusammenarbeiten.
Ein Wissenschaftler untersucht eine Umgebung mit einem 3D-Mixed-Reality-Gerät mit einer kleinen Gruppe von Remotekollegen , die 3D- und 2D-Geräte verwenden. Die Zusammenarbeit ist synchron (kann aber asynchron erneut aufgerufen werden), und die physischen Umgebungen sind (virtuell) ähnlich.
Erfahrungen wie OnSight bieten neue Möglichkeiten zur Zusammenarbeit. Vom physischen Verweisen auf Elemente in der virtuellen Umgebung bis hin zum Stehen neben einem Kollegen und dem Austausch ihrer Perspektive, während sie ihre Ergebnisse erläutern. OnSight nutzt die Linse von Immersion und Präsenz, um das Teilen von Erfahrungen in Mixed Reality zu überdenken.
Intuitive Zusammenarbeit ist das Fundament der Konversation, zusammenarbeiten und zu verstehen, wie wir diese Intuition auf die Komplexität von Mixed Reality anwenden können, ist entscheidend. Wenn wir erfahrungen nicht nur in Mixed Reality neu erstellen, sondern sie aufladen können, wird dies ein Paradigmenwechsel für die Zukunft der Arbeit sein. Das Entwerfen für gemeinsame Erfahrungen in Mixed Reality ist ein neuer und aufregender Raum – und wir stehen erst am Anfang.
Erste Schritte beim Erstellen gemeinsamer Erfahrungen
Abhängig von Ihrer Anwendung und Ihrem Szenario gibt es verschiedene Anforderungen, um Ihre gewünschte Erfahrung zu erreichen. Dazu zählen:
- Match-Making: Möglichkeit, Sitzungen zu erstellen, Sitzungen anzukündigen, bestimmte Personen zu ermitteln und einzuladen, sowohl lokal als auch remote, um Ihrer Sitzung beizutreten.
- Ankerfreigabe: Die Möglichkeit, Koordinaten auf mehreren Geräten in einem gemeinsamen lokalen Raum auszurichten, sodass Hologramme für alle Personen an derselben Stelle angezeigt werden.
- Netzwerk: Die Möglichkeit, Positionen, Interaktionen und Bewegungen von Personen und Hologrammen in Echtzeit für alle Teilnehmer zu synchronisieren.
- Zustandsspeicher: Möglichkeit zum Speichern von Hologrammmerkmalen und -speicherorten im Raum für die Verknüpfung in der Sitzungsmitte, zum späteren Zeitpunkt des Rückrufs und zum Beheben von Netzwerkproblemen.
Der Schlüssel zu gemeinsamen Erfahrungen besteht darin, dass mehrere Benutzer dieselben Hologramme auf der Welt auf ihrem eigenen Gerät sehen, was häufig durch das Freigeben von Ankern geschieht, um Koordinaten auf gerätenübergreifend auszurichten.
Verwenden Sie zum Freigeben von Ankern die Azure Spatial Anchors:
- Zuerst platziert der Benutzer das Hologramm.
- Die App erstellt einen Raumanker, um dieses Hologramm genau in der Welt anzuheften.
- Die Anker können über Azure Spatial Anchors für HoloLens-, iOS- und Android-Geräte freigegeben werden.
Mit einem freigegebenen Raumanker verfügt die App auf jedem Gerät jetzt über ein gemeinsames Koordinatensystem , in dem inhalte platziert werden können. Jetzt kann die App sicherstellen, dass das Hologramm an derselben Stelle positioniert und ausgerichtet wird.
Auf HoloLens-Geräten können Sie Anker auch offline von einem Gerät auf ein anderes freigeben. Verwenden Sie die folgenden Links, um zu entscheiden, was für Ihre Anwendung am besten geeignet ist.
Auswerten von Technologieoptionen
Es stehen verschiedene Dienst- und Technologieoptionen zur Verfügung, um Mixed Reality-Umgebungen für mehrere Benutzer zu erstellen. Es kann schwierig sein, einen Pfad zu wählen, daher sind einige Optionen unter Berücksichtigung einer szenarioorientierten Perspektive unten beschrieben.
Freigegebene statische Hologramme (keine Interaktionen)
Nutzen Sie Azure Spatial Anchors in Ihrer App. Durch das Aktivieren und Freigeben von Raumankern über Geräte hinweg können Sie eine Anwendung erstellen, bei der Benutzer Hologramme gleichzeitig an derselben Stelle sehen. Eine zusätzliche geräteübergreifende Synchronisierung ist erforderlich, damit Benutzer mit Hologrammen interagieren und Bewegungen oder Zustandsupdates von Hologrammen sehen können.
Teilen der Ersten-Person-Perspektive
Nutzen Sie die integrierte Miracast-Unterstützung für lokale Benutzer, wenn Sie über einen unterstützten Miracast-Empfänger wie einen PC oder fernseher verfügen. Es ist kein zusätzlicher App-Code erforderlich.
Zusammenarbeit mit mehreren Benutzern
Beginnen Sie mit unserem Lernprogramm für mehrere Benutzer, das Azure Spatial Anchors für lokale Benutzer und das Photon SDK für die Synchronisierung der Inhalte/des Zustands in der Szene nutzt. Erstellen Sie lokal kollaborative Anwendungen, bei denen jeder Benutzer seine eigene Perspektive auf die Hologramme in der Szene hat und jede vollständig mit den Hologrammen interagieren kann. Updates werden geräteübergreifend bereitgestellt, und die Konfliktverwaltung für Interaktionen wird von Photon verwaltet.
Hinweis
Beachten Sie, dass Es sich bei Photon um ein Nicht-Microsoft-Produkt handelt, sodass möglicherweise eine Abrechnungsbeziehung mit Photon erforderlich ist, um die Produkterstellung und Skalierung für eine höhere Nutzung zu ermöglichen.
Die Zukunft
Komponentenfunktionen und Schnittstellen helfen dabei, einheitliche Konsistenz und stabile Unterstützung für die verschiedenen Szenarien und zugrunde liegenden Technologien bereitzustellen. Wählen Sie bis dahin den besten Pfad aus, der auf das Szenario ausgerichtet ist, das Sie in Ihrer Anwendung erreichen möchten.
Anderes Szenario oder Möchten Sie eine andere Technologie/einen anderen Dienst verwenden? Geben Sie Feedback als GitHub-Probleme im entsprechenden Repository am Ende dieser Seite, oder wenden Sie sich an HoloDevelopers Slack.