Gemeinsame Erlebnisse in Mixed Reality

Hologramme müssen nicht nur für einen Benutzer privat bleiben. Holografische Apps können räumliche Verankerungen von einem HoloLens-, iOS- oder Android-Gerät an eine andere freigeben, sodass Benutzer ein Hologramm an derselben Stelle auf mehreren Geräten rendern können.

Sechs Fragen zum Definieren freigegebener Szenarien

Bevor Sie mit dem Entwerfen für freigegebene Erfahrungen beginnen, ist es wichtig, die Zielszenarien zu definieren. In diesen Szenarien wird erläutert, was Sie entwerfen und ein gemeinsames Vokabular einrichten, um features zu vergleichen und zu kontrastieren, die in Ihrer Erfahrung erforderlich sind. Das Verständnis des Kernproblems und der verschiedenen Wege für Lösungen ist entscheidend für die Aufdeckung von Chancen, die in diesem neuen Medium enthalten sind.

Durch interne Prototypen und Erkundungen von unseren HoloLens Partneragenturen haben wir sechs Fragen erstellt, die Ihnen helfen, freigegebene Szenarien zu definieren. Diese Fragen bilden einen Rahmen, der nicht vollständig sein soll, um die wichtigen Attribute Ihrer Szenarien zu destillieren.

1. Wie teilen sie sie?

Eine Präsentation kann von einem einzelnen virtuellen Benutzer geführt werden, während mehrere Benutzer zusammenarbeiten können, oder ein Lehrer kann Anleitungen für virtuelle Schüler bereitstellen, die mit virtuellen Materialien arbeiten – die Komplexität der Erfahrungen steigt basierend auf der Ebene der Agentur, die ein Benutzer hat oder in einem Szenario haben kann.

Man and women with holograph on table

Es gibt viele Möglichkeiten zum Teilen, aber wir haben festgestellt, dass die meisten davon in drei Kategorien fallen:

  • Präsentation: Wenn demselben Inhalt mehrere Benutzer angezeigt werden. Beispiel: Ein Professor gibt mehreren Studierenden einen Vortrag mit demselben holografischen Material, das allen präsentiert wird. Der Professor könnte jedoch seine eigenen Hinweise und Notizen haben, die möglicherweise nicht für andere sichtbar sind.
  • Zusammenarbeit: Wenn Personen zusammenarbeiten, um einige gemeinsame Ziele zu erreichen. Beispiel: Der Professor gab ein Projekt aus, um über die Durchführung einer Herzchirurgie zu erfahren. Schüler koppeln sich zusammen und erstellen eine gemeinsame Kompetenzlaborerfahrung, mit der Medizinstudenten an dem Herzmodell zusammenarbeiten und lernen können.
  • Anleitung: Wenn eine Person jemand hilft, ein Problem in einer 1:1-Stilinteraktion zu lösen. Beispiel: Der Professor, der einem Studenten Anleitung gibt, wenn er/sie das Labor für Herzchirurgie in der gemeinsamen Erfahrung durchführt.

2. Was ist die Gruppengröße?

One-to-One-Freigabeerfahrungen können einen starken Basisplan bieten und Idealerweise können Ihre Konzeptnachweise auf dieser Ebene erstellt werden. Beachten Sie jedoch, dass das Teilen mit großen Gruppen (über sechs Personen hinaus) zu Schwierigkeiten sowohl technische (Daten als auch Netzwerke) und soziale Probleme führen kann (die Auswirkungen des Auftretens in einem Raum mit mehreren Avataren). Die Komplexität erhöht sich exponentiell, während Sie von kleinen bis großen Gruppen gehen.

Wir haben festgestellt, dass die Anforderungen von Gruppen in drei Größenkategorien fallen können:

  • 1:1
  • Klein < 7
  • Groß >= 7

Die Gruppengröße macht eine wichtige Frage, da sie einflusst:

  • Darstellungen von Personen im holografischen Raum
  • Skalierung von Objekten
  • Skalierung der Umgebung

3. Wo ist jeder?

Die Stärke der Mixed Reality kommt ins Spiel, wenn eine gemeinsame Erfahrung an derselben Stelle stattfinden kann. Wir nennen diese Kolocated.We call that colocated. Umgekehrt, wenn die Gruppe verteilt wird und mindestens ein Teilnehmer nicht im gleichen physischen Raum (wie häufig bei VR) ist, rufen wir dies als Remoteerfahrung auf. Häufig ist es der Fall, dass Ihre Gruppe sowohl kolocated als auch Remoteteilnehmer hat (z. B. zwei Gruppen in Konferenzräumen).

Three people with holograph on table

Die folgenden Kategorien vermitteln, wo sich Benutzer befinden:

  • Kolocated: Alle Ihre Benutzer befinden sich im gleichen physischen Raum.
  • Remote: Alle Ihre Benutzer befinden sich in separaten physischen Räumen.
  • Beides: Ihre Benutzer sind eine Mischung aus kolocierten und remoteen Räumen.

Diese Frage ist entscheidend, weil sie einflusst:

  • Wie kommunizieren Personen?
    • Beispiel: Ob sie Avatare haben sollten?
  • Welche Objekte sie sehen. Sind alle Objekte freigegeben?
  • Ob wir uns an ihre Umgebung anpassen müssen?

4. Wann teilen sie sie?

Wir denken in der Regel an synchrone Erfahrungen, wenn geteilte Erfahrungen zu beachten sind: Wir machen es alle zusammen. Wenn wir jedoch ein einzelnes, virtuelles Element einschließen, das von einer anderen Person hinzugefügt wurde, haben wir ein asynchrones Szenario. Imagine einer Notiz oder eines Sprachnotizs in einer virtuellen Umgebung. Wie behandeln Sie 100 virtuelle Memos, die sich auf Ihrem Design befinden? Was ist, wenn sie von Dutzenden von Personen mit unterschiedlichen Datenschutzebenen stammen?

Betrachten Sie Ihre Erfahrungen als eine der folgenden Kategorien von Zeit:

  • Synchron: Gleichzeitiges Teilen der holografischen Erfahrung. Beispiel: Zwei Schülerinnen und Studenten führen gleichzeitig das Kompetenzlabor aus.
  • Asynchron: Teilen der holografischen Erfahrung zu unterschiedlichen Zeiten. Beispiel: Zwei Kursteilnehmer führen das Kompetenzlabor aus, arbeiten aber zu unterschiedlichen Zeiten an separaten Abschnitten.
  • Beides: Ihre Benutzer werden manchmal synchron freigegeben, aber in anderen Fällen asynchron. Beispiel: Ein Professor, der die Aufgabe der Studierenden zu einem späteren Zeitpunkt benotet und notizen für Studierende am nächsten Tag verlässt.

Diese Frage ist wichtig, weil sie beeinflusst:

  • Objekt- und Umgebungspersistenz. Beispiel: Speichern der Zustände, damit sie abgerufen werden können.
  • Benutzerperspektive. Beispiel: Vielleicht denken Sie daran, was der Benutzer beim Verlassen von Notizen betrachtet hat.

5. Wie ähnlich sind ihre physischen Umgebungen?

Die Wahrscheinlichkeit, dass zwei identische Real-Life-Umgebungen, außerhalb der kolocierten Erfahrungen, schlank ist, es sei denn, diese Umgebungen wurden so konzipiert, dass sie identisch sind. Sie sind wahrscheinlicher, dass sie ähnliche Umgebungen haben. Beispielsweise sind Konferenzräume ähnlich – sie verfügen in der Regel über einen zentral gelegenen Tisch, der von Stühlen umgeben ist. Wohnzimmer sind dagegen unnachteilig** und können eine beliebige Anzahl von Möbeln in einer unendlichen Reihe von Layouts enthalten.

Holograph on table

Betrachten Sie Ihre Freigabeerfahrungen in einer der folgenden beiden Kategorien:

  • Ähnlich: Umgebungen, die in der Regel ähnliche Möbel, Umgebungslicht und Sound haben, physische Raumgröße. Beispiel: Professor ist im Vorlesungssaal A und Studenten befinden sich im Vorlesungssaal B. Hörsaal A hat möglicherweise weniger Stühle als B, aber beide haben möglicherweise einen physischen Schreibtisch, um Hologramme zu platzieren.
  • Unnachweichlich: Umgebungen, die sich in Möbeleinstellungen, Raumgrößen, Licht- und Soundaspekten unterscheiden. Beispiel: Ein Professor befindet sich in einem Fokusraum, aber Studierende befinden sich in einem großen Vorlesungssaal, der mit Schülern und Lehrern gefüllt ist.

Es ist wichtig, sich über die Umwelt gedanken zu machen, da es einflussen wird:

  • Wie Personen diese Objekte erleben werden. Beispiel: Wenn Ihre Benutzeroberfläche am besten auf einer Tabelle funktioniert und der Benutzer keine Tabelle hat? Oder auf einer flachen Bodenoberfläche, aber der Benutzer hat einen übersichtlichen Raum.
  • Skalierung der Objekte. Beispiel: Das Platzieren eines menschlichen Modells auf sechs Fuß auf einem Tisch könnte schwierig sein, aber ein Herzmodell würde großartig funktionieren.

6. Welche Geräte verwenden sie?

Heute werden häufig gemeinsame Erfahrungen zwischen zwei immersiven Geräten angezeigt (diese Geräte unterscheiden sich möglicherweise geringfügig für Schaltflächen und relative Funktionen, aber nicht stark) oder zwei holografische Geräte , die auf diese Geräte ausgerichtet sind. Berücksichtigen Sie jedoch, ob 2D-Geräte (ein Mobile/Desktop-Teilnehmer oder Beobachter) eine notwendige Erwägung sein werden, insbesondere in Situationen gemischter 2D- und 3D-Geräte. Das Verständnis der Gerätetypen, die Ihre Teilnehmer verwenden, ist wichtig, nicht nur, weil sie mit unterschiedlichen Genauigkeits- und Dateneinschränkungen und -möglichkeiten kommen, sondern weil Benutzer für jede Plattform eindeutige Erwartungen haben.

Erkunden des Potenzials geteilter Erfahrungen

Antworten auf die oben genannten Fragen können kombiniert werden, um Ihr freigegebenes Szenario besser zu verstehen und die Herausforderungen zu kristallisieren, während Sie die Erfahrung erweitern. Für das Team bei Microsoft hat dies dazu beigetragen, eine Straßenkarte zur Verbesserung der heute verwendeten Erfahrungen zu schaffen, die Nuance dieser komplexen Probleme zu verstehen und wie Sie gemeinsame Erfahrungen in Mixed Reality nutzen können.

Betrachten Sie z. B. eines der Szenarien von Skype aus der HoloLens Start: Ein Benutzer hat durchgearbeitet, wie ein fehlerhafter Lichtschalter mit Hilfe von einem remote ansässigen Experten behoben wird.

Fixing a light switch with assistance via Skype for HoloLens

Ein Experte bietet 1:1 Anleitungen von seinem 2D-, Desktopcomputer zu einem Benutzer eines 3D-, Mixed-Reality-Geräts . Die Anleitung ist synchron, und die physischen Umgebungen sind ungleich.

Eine Erfahrung wie dies ist eine Schrittänderung von unserer aktuellen Erfahrung – das Paradigma von Video und Stimme auf ein neues Medium anzuwenden. Aber wie wir auf die Zukunft blicken, müssen wir die Chance unserer Szenarien besser definieren und Erfahrungen erstellen, die die Stärke der Mixed Reality widerspiegeln.

Betrachten Sie das OnSight-Zusammenarbeitstool, das vom Jet Propulsion Laboratory der NASA entwickelt wurde. Wissenschaftler, die an Daten aus den Mars-Rover-Missionen arbeiten, können in Echtzeit innerhalb der Daten aus der Marslandschaft zusammenarbeiten.

Collaborating between colleagues separated remotely to plan work for the Mars Rover

Ein Wissenschaftler untersucht eine Umgebung mithilfe eines 3D-, Mixed-Reality-Geräts mit einer kleinen Gruppe von Remotekollegen mit 3D- und 2D-Geräten . Die Zusammenarbeit ist synchron (kann aber asynchron überarbeitet werden), und die physischen Umgebungen sind (praktisch) ähnlich.

Erfahrungen wie OnSight bieten neue Möglichkeiten zur Zusammenarbeit. Von physischen Hinweisen auf Elemente in der virtuellen Umgebung bis hin zum Stehen neben einem Kollegen und teilen sie ihre Perspektive, während sie ihre Ergebnisse erläutern. OnSight verwendet die Linse der Immersion und Anwesenheit, um erfahrungen in Mixed Reality zu überdenken.

Intuitive Zusammenarbeit ist das Fundament der Unterhaltung, zusammenarbeiten und verstehen, wie wir diese Intuition auf die Komplexität von Mixed Reality anwenden können, ist entscheidend. Wenn wir nicht nur erfahrungen in Mixed Reality neu erstellen können, sondern sie überladen, wird es eine Paradigmenverschiebung für die Zukunft der Arbeit sein. Das Entwerfen für geteilte Erfahrungen in Mixed Reality ist ein neuer und spannender Raum – und wir sind nur am Anfang.

Erste Schritte erstellen freigegebener Erfahrungen

Je nach Anwendung und Szenario gibt es verschiedene Anforderungen, um Ihre gewünschte Erfahrung zu erreichen. Dazu zählen:

  • Übereinstimmung: Möglichkeit, Sitzungen zu erstellen, Sitzungen anzukündigen, bestimmte Personen zu entdecken und einzuladen, sowohl lokal als auch remote, um an Ihrer Sitzung teilzunehmen.
  • Ankerfreigabe: Möglichkeit, Koordinaten auf mehreren Geräten in einem gemeinsamen lokalen Raum auszurichten, sodass Hologramme an derselben Stelle für alle Personen angezeigt werden.
  • Netzwerk: Fähigkeit, Positionen, Interaktionen und Bewegungen von Personen und Hologrammen in Echtzeit über alle Teilnehmer hinweg synchronisiert zu haben.
  • Zustandsspeicher: Möglichkeit zum Speichern von Hologrammeigenschaften und Speicherorten im Raum für die Mid-Session-Teilnahme, Rückruf zu einem späteren Zeitpunkt und Stabilität bei Netzwerkproblemen.

Der Schlüssel für gemeinsame Erfahrungen besteht darin, dass mehrere Benutzer dieselben Hologramme auf ihrem eigenen Gerät sehen, häufig durch Freigeben von Verankerungen, um Koordinaten auf allen Geräten auszurichten.

Verwenden Sie zum Freigeben von Ankern die Azure Spatial Anchors:

  • Zuerst platziert der Benutzer das Hologramm.
  • App erstellt einen räumlichen Anker, um dieses Hologramm genau in der Welt anzuheften.
  • Die Verankerungen können über Azure Spatial Anchors für HoloLens, iOS und Android-Geräte freigegeben werden.

Mit einem freigegebenen räumlichen Anker verfügt die App auf jedem Gerät jetzt über ein gemeinsames Koordinatensystem , in dem sie Inhalte platzieren können. Jetzt kann die App sicherstellen, dass das Hologramm an derselben Position positioniert und ausgerichtet wird.

Auf HoloLens Geräten können Sie auch Verankerungen offline von einem Gerät auf ein anderes freigeben. Verwenden Sie die nachstehenden Links, um zu entscheiden, was für Ihre Anwendung am besten geeignet ist.

Auswerten von Technischen Optionen

Es stehen verschiedene Service- und Technologieoptionen zur Verfügung, um Multi-User Mixed Reality-Erfahrungen zu erstellen. Es kann schwierig sein, einen Pfad auszuwählen, sodass einige Optionen unten beschrieben werden.

Freigegebene statische Hologramme (keine Interaktionen)

Nutzen Sie Azure Spatial Anchors in Ihrer App. Durch aktivieren und freigeben von räumlichen Verankerungen auf allen Geräten können Sie eine Anwendung erstellen, in der Benutzer Hologramme gleichzeitig sehen. Eine zusätzliche Synchronisierung auf allen Geräten ist erforderlich, damit Benutzer mit Hologrammen interagieren und Bewegungen oder Statusaktualisierungen von Hologrammen sehen können.

Erste Person perspektive teilen

Nutzen Sie integrierte Miracast Unterstützung für lokale Benutzer, wenn Sie über einen unterstützten Miracast Empfänger wie einen PC oder TV verfügen. Es ist kein zusätzlicher App-Code erforderlich.

Multi-User-Zusammenarbeitserfahrung

Beginnen Sie mit unserem Lernprogramm mit mehreren Benutzern, das Azure Spatial Anchors für lokale Benutzer und Photon SDK zum Synchronisieren des Inhalts/Zustands in der Szene nutzt. Erstellen Sie lokal gemeinsame Anwendungen, in denen jeder Benutzer seine eigene Perspektive auf die Hologramme in der Szene hat und jeder vollständig mit den Hologrammen interagieren kann. Updates werden über alle Geräte hinweg bereitgestellt und die Konfliktverwaltung wird von Photon behandelt.

Hinweis

Bitte beachten Sie, dass Photon ein Nicht-Microsoft-Produkt ist, sodass eine Abrechnungsbeziehung mit Photon möglicherweise erforderlich ist, um eine höhere Nutzung zu produktieren und zu skalieren.

Die Zukunft

Komponentenfunktionen und Schnittstellen helfen bei der Bereitstellung gemeinsamer Konsistenz und robuster Unterstützung in den verschiedenen Szenarien und zugrunde liegenden Technologien. Wählen Sie bis dahin den besten Pfad aus, der an das Szenario ausgerichtet ist, das Sie in Ihrer Anwendung erreichen möchten.

Anderes Szenario oder Wunsch, einen anderen Tech/Service zu verwenden? Geben Sie Feedback als GitHub Probleme im entsprechenden Repo an, am ende dieser Seite, oder wenden Sie sich an HoloDevelopers slack.

Siehe auch