Expériences partagées dans Mixed Reality

Hologrammes n’avez pas besoin de rester privé à un seul utilisateur. Les applications holographiques peuvent partager des ancres spatiales d’un appareil HoloLens, iOS ou Android vers un autre, ce qui permet aux utilisateurs d’afficher un hologramme au même endroit dans le monde réel sur plusieurs appareils.

Six questions pour définir des scénarios partagés

Avant de commencer à concevoir des expériences partagées, il est important de définir les scénarios cibles. Ces scénarios vous aident à clarifier ce que vous concevez et à établir un vocabulaire commun pour vous aider à comparer et à comparer les caractéristiques de contraste requises dans votre expérience. Comprendre le problème principal et les différentes façons de trouver des solutions, est essentiel pour découvrir les opportunités inhérentes à ce nouveau support.

Grâce aux prototypes internes et aux explorations de nos agences partenaires HoloLens, nous avons créé six questions pour vous aider à définir des scénarios partagés. Ces questions forment un framework, non destiné à être exhaustif, pour vous aider à distiller les attributs importants de vos scénarios.

1. Comment partagent-ils ?

Une présentation peut être dirigée par un seul utilisateur virtuel, tandis que plusieurs utilisateurs peuvent collaborer, ou un enseignant peut fournir des conseils aux étudiants virtuels travaillant avec des matériaux virtuels, la complexité des expériences augmente en fonction du niveau d’agence dont un utilisateur a ou peut avoir dans un scénario.

Man and women with holograph on table

Il existe de nombreuses façons de partager, mais nous avons constaté que la plupart d’entre eux tombent en trois catégories :

  • Présentation : lorsque le même contenu est affiché à plusieurs utilisateurs. Par exemple: Un professeur donne une conférence à plusieurs étudiants à l’aide du même matériel holographique présenté à tous. Toutefois, le professeur pourrait avoir ses propres indications et notes qui peuvent ne pas être visibles pour d’autres personnes.
  • Collaboration : Lorsque les gens travaillent ensemble pour atteindre certains objectifs communs. Par exemple: Le professeur a donné un projet pour en savoir plus sur la chirurgie cardiaque. Les étudiants s’associent et créent une expérience de laboratoire de compétences partagées, ce qui permet aux étudiants médicaux de collaborer sur le modèle cardiaque et d’apprendre.
  • Conseils : quand une personne aide quelqu’un à résoudre un problème dans une interaction de style un-à-un. Par exemple: Le professeur qui donne des conseils à un étudiant lorsqu’il effectue le laboratoire de compétences en chirurgie cardiaque dans l’expérience partagée.

2. Quelle est la taille du groupe ?

Les expériences de partage un-à-un peuvent fournir une base de référence forte et idéalement vos preuves de concept peuvent être créées à ce niveau. Mais sachez que le partage avec de grands groupes (au-delà de six personnes) peut entraîner des difficultés techniques (données et réseaux) et sociales (impact d’être dans une salle avec plusieurs avatars). La complexité augmente exponentiellement à mesure que vous passez de petits à grands groupes.

Nous avons constaté que les besoins des groupes peuvent tomber en trois catégories de taille :

  • 1:1
  • Petit < 7
  • Grand >= 7

La taille du groupe constitue une question importante, car elle influence :

  • Représentations des personnes dans l’espace holographique
  • Mise à l’échelle des objets
  • Mise à l’échelle de l’environnement

3. Où est-ce que tout le monde ?

La force de la réalité mixte entre en jeu lorsqu’une expérience partagée peut avoir lieu dans le même emplacement. Nous appelons cela colocalisé. À l’inverse, lorsque le groupe est distribué et qu’au moins un participant n’est pas dans le même espace physique (comme c’est souvent le cas avec vr) nous appelons qu’une expérience distante. Souvent, il s’agit du cas où votre groupe dispose à la fois de participants colocalisés et distants (par exemple, deux groupes dans les salles de conférence).

Three people with holograph on table

Les catégories suivantes permettent de transmettre l’emplacement des utilisateurs :

  • Colocalisé : tous vos utilisateurs se trouveront dans le même espace physique.
  • Remote : tous vos utilisateurs se trouveront dans des espaces physiques distincts.
  • Les deux : vos utilisateurs seront un mélange d’espaces colocalisés et distants.

Cette question est cruciale parce qu’elle influence :

  • Comment les gens communiquent?
    • Par exemple : s’ils doivent avoir des avatars ?
  • Quels objets ils voient. Tous les objets sont-ils partagés ?
  • Si nous devons nous adapter à leur environnement ?

4. Quand sont-ils partagés ?

Nous pensons généralement à des expériences synchrones lorsque les expériences partagées viennent à l’esprit : nous le faisons tous ensemble. Toutefois, si nous incluons un seul élément virtuel ajouté par quelqu’un d’autre, nous avons un scénario asynchrone . Imagine une note ou un mémo vocal, laissé dans un environnement virtuel. Comment gérez-vous 100 mémo virtuels laissés sur votre conception ? Que se passe-t-il s’il s’agit de dizaines de personnes ayant différents niveaux de confidentialité ?

Considérez vos expériences comme l’une de ces catégories de temps :

  • Synchrone : Partage de l’expérience holographique en même temps. Par exemple : Deux étudiants effectuant le laboratoire de compétences en même temps.
  • De façon asynchrone : Partage de l’expérience holographique à différents moments. Par exemple: Deux étudiants effectuant le laboratoire de compétences, mais travaillant sur des sections distinctes à des moments différents.
  • Les deux : vos utilisateurs partageront parfois de façon synchrone, mais d’autres fois de façon asynchrone. Par exemple : un professeur qui note l’affectation effectuée par les étudiants à un moment ultérieur et laisse des notes aux étudiants pour le lendemain.

Cette question est importante, car elle influence :

  • Persistance de l’objet et de l’environnement. Par exemple : Stockage des états afin qu’ils puissent être récupérés.
  • Perspective de l’utilisateur. Par exemple : vous souvenez peut-être de ce que l’utilisateur examinait lors de la sortie des notes.

5. Comment sont leurs environnements physiques ?

La probabilité de deux environnements réels identiques, en dehors des expériences colocalisées, est mince, sauf si ces environnements ont été conçus pour être identiques. Vous êtes plus susceptible d’avoir des environnements similaires . Par exemple, les salles de conférence sont similaires: elles ont généralement une table située de manière centralisée entourée de chaises. Les salles de séjour, en revanche, sont dissimilar** et peuvent inclure n’importe quel nombre de meubles dans un tableau infini de dispositions.

Holograph on table

Considérez vos expériences de partage dans l’une des deux catégories suivantes :

  • Similaire : Les environnements qui ont tendance à avoir des meubles similaires, la lumière ambiante et le son, la taille de la pièce physique. Par exemple: le professeur est dans la salle de conférence A et les étudiants se trouvent dans la salle de lecture B. La salle de lecture A peut avoir moins de chaises que B, mais les deux peuvent avoir un bureau physique sur lequel placer des hologrammes.
  • Dissimilar : Environnements différents dans les paramètres de meubles, tailles de salle, lumière et considérations sonores. Par exemple: Un professeur est dans une salle de focus, mais les étudiants se trouvent dans une grande salle de conférence, remplie d’étudiants et d’enseignants.

Il est important de réfléchir à l’environnement, car il influencera :

  • Comment les gens vont expérimenter ces objets. Par exemple : si votre expérience fonctionne le mieux sur une table et que l’utilisateur n’a pas de table ? Ou sur une surface de plancher plat, mais l’utilisateur a un espace encombré.
  • Mise à l’échelle des objets. Par exemple: Placer un modèle humain de six pieds sur une table pourrait être difficile, mais un modèle cardiaque fonctionnerait bien.

6. Quels appareils utilisent-ils ?

Aujourd’hui, vous êtes souvent susceptible de voir des expériences partagées entre deux appareils immersifs (ces appareils peuvent différer légèrement pour les boutons et la capacité relative, mais pas considérablement) ou deux appareils holographiques en fonction des solutions ciblées sur ces appareils. Mais envisagez si les appareils 2D (un participant ou un observateur mobile/bureau) seront une considération nécessaire, en particulier dans les situations d’appareils 2D et 3D mixtes. Comprendre les types d’appareils que vos participants utiliseront est important, non seulement parce qu’ils sont fournis avec des contraintes et des opportunités de données différentes, mais parce que les utilisateurs ont des attentes uniques pour chaque plateforme.

Exploration du potentiel des expériences partagées

Les réponses aux questions ci-dessus peuvent être combinées pour mieux comprendre votre scénario partagé, en cristallisant les défis à mesure que vous développez l’expérience. Pour l’équipe de Microsoft, cela a permis d’établir une carte de route pour améliorer les expériences que nous utilisons aujourd’hui, comprendre la nuance de ces problèmes complexes et comment tirer parti des expériences partagées dans la réalité mixte.

Par exemple, considérez l’un des scénarios de Skype à partir du lancement HoloLens : un utilisateur a travaillé sur la façon de corriger un commutateur de lumière cassé avec de l’aide d’un expert situé à distance.

Fixing a light switch with assistance via Skype for HoloLens

Un expert fournit des conseils de 1:1 de son ordinateur de bureau 2D à un utilisateur d’un appareil de réalité mixte 3D . Les conseils sont synchrones et les environnements physiques sont dissimilons.

Une expérience comme celle-ci est un changement pas à pas de notre expérience actuelle , appliquant le paradigme de la vidéo et de la voix à un nouveau support. Mais comme nous regardons à l’avenir, nous devons mieux définir l’opportunité de nos scénarios et créer des expériences qui reflètent la force de la réalité mixte.

Considérez l’outil de collaboration OnSight développé par le Laboratoire de propulsion jet de la NASA. Les scientifiques travaillant sur les données des missions de rover Mars peuvent collaborer avec des collègues en temps réel dans les données du paysage martien.

Collaborating between colleagues separated remotely to plan work for the Mars Rover

Un scientifique explore un environnement à l’aide d’un appareil de réalité mixte 3D avec un petit groupe de collègues distants utilisant des appareils 3D et 2D . La collaboration est synchrone (mais peut être revisitée de façon asynchrone) et les environnements physiques sont (pratiquement) similaires.

Les expériences comme OnSight présentent de nouvelles opportunités de collaboration. De pointer physiquement des éléments dans l’environnement virtuel à se tenir à côté d’un collègue et de partager leur point de vue quand ils expliquent leurs résultats. OnSight utilise l’objectif de l’immersion et de la présence pour repenser les expériences de partage dans la réalité mixte.

La collaboration intuitive est le fondement de la conversation, la collaboration et la compréhension de la façon dont nous pouvons appliquer cette intuition à la complexité de la réalité mixte est cruciale. Si nous pouvons non seulement recréer des expériences de partage dans la réalité mixte, mais les supercharger, il s’agira d’un changement de paradigme pour l’avenir du travail. La conception d’expériences partagées dans la réalité mixte est un espace nouveau et passionnant, et nous ne sommes qu’au début.

Démarrage la création d’expériences partagées

Selon votre application et votre scénario, il y aura différentes exigences pour atteindre votre expérience souhaitée. entres autres :

  • Mise en correspondance : possibilité de créer des sessions, de publier des sessions, de découvrir et d’inviter des personnes spécifiques, à la fois localement et à distance pour rejoindre votre session.
  • Partage d’ancre : possibilité d’aligner les coordonnées sur plusieurs appareils dans un espace local commun, de sorte que les hologrammes apparaissent au même endroit pour toutes les personnes.
  • Mise en réseau : possibilité d’avoir des positions, des interactions et des mouvements de personnes et d’hologrammes synchronisés en temps réel entre tous les participants.
  • Stockage d’état : possibilité de stocker les caractéristiques et les emplacements de l’hologramme dans l’espace pour la jointure de session intermédiaire, le rappel à un moment ultérieur et la robustesse contre les problèmes réseau.

La clé des expériences partagées est que plusieurs utilisateurs voient les mêmes hologrammes dans le monde sur leur propre appareil, souvent en partageant des ancres pour aligner les coordonnées entre les appareils.

Pour partager des ancres, utilisez Azure Spatial Anchors :

  • Tout d’abord, l’utilisateur place l’hologramme.
  • L’application crée une ancre spatiale pour épingler cet hologramme précisément dans le monde.
  • Les ancres peuvent être partagées avec des appareils HoloLens, iOS et Android via Azure Spatial Anchors.

Avec une ancre spatiale partagée, l’application sur chaque appareil dispose désormais d’un système de coordonnées commun dans lequel ils peuvent placer du contenu. À présent, l’application peut s’assurer de positionner et d’orienter l’hologramme au même emplacement.

Sur HoloLens appareils, vous pouvez également partager des ancres hors connexion d’un appareil à un autre. Utilisez les liens ci-dessous pour déterminer ce qui convient le mieux à votre application.

Évaluation des options techniques

Il existe différentes options de service et de technologie disponibles pour vous aider à créer des expériences de réalité mixte multi-utilisateur. Il peut être difficile de choisir un chemin, de sorte que la prise en compte d’une perspective axée sur les scénarios, certaines options sont détaillées ci-dessous.

Hologrammes statiques partagés (aucune interaction)

Tirez parti d’Azure Spatial Anchors dans votre application. L’activation et le partage d’ancres spatiales sur les appareils vous permettent de créer une application dans laquelle les utilisateurs voient des hologrammes au même endroit en même temps. Une synchronisation supplémentaire entre les appareils est nécessaire pour permettre aux utilisateurs d’interagir avec les hologrammes et de voir les mouvements ou les mises à jour d’état des hologrammes.

Partager le point de vue de la première personne

Tirez parti de la prise en charge intégrée Miracast pour les utilisateurs locaux lorsque vous disposez d’un récepteur Miracast pris en charge, tel qu’un PC ou un téléviseur. Aucun code d’application supplémentaire n’est nécessaire.

Expérience collaborative multi-utilisateur

Commencez par notre didacticiel d’apprentissage multi-utilisateur, qui tire parti d’Azure Spatial Anchors pour les utilisateurs locaux et le Kit de développement logiciel (SDK) Photon pour synchroniser le contenu/l’état dans la scène. Créez des applications collaboratives localement où chaque utilisateur a sa propre perspective sur les hologrammes de la scène et peut interagir pleinement avec les hologrammes. Les mises à jour sont fournies sur tous les appareils et la gestion des conflits d’interaction est gérée par Photon.

Notes

Notez que Photon est un produit non-Microsoft. Par conséquent, une relation de facturation avec Photon peut être nécessaire pour productiser et mettre à l’échelle pour une utilisation plus élevée.

Travail à venir

Les fonctionnalités et interfaces des composants vous aideront à fournir une cohérence commune et une prise en charge robuste dans les différents scénarios et technologies sous-jacentes. Jusqu’à présent, choisissez le meilleur chemin qui s’aligne sur le scénario que vous essayez d’obtenir dans votre application.

Autre scénario ou désir d’utiliser une autre technologie/service ? Fournissez des commentaires en tant que GitHub problèmes dans le dépôt correspondant, en bas de cette page, ou contactez la marge HoloDevelopers.

Voir aussi