Expériences partagées dans Mixed Reality
Les hologrammes n’ont pas besoin de rester privés pour un seul utilisateur. Les applications holographiques peuvent partager des ancres spatiales d’un appareil HoloLens, iOS ou Android à un autre, ce qui permet aux utilisateurs de restituer un hologramme au même endroit dans le monde réel sur plusieurs appareils.
Six questions pour définir des scénarios partagés
Avant de commencer à concevoir des expériences partagées, il est important de définir les scénarios cibles. Ces scénarios vous aident à clarifier ce que vous concevez et à établir un vocabulaire commun pour vous aider à comparer et à comparer les fonctionnalités requises dans votre expérience. Il est essentiel de comprendre le problème fondamental et les différentes possibilités de solutions pour découvrir les opportunités inhérentes à ce nouveau support.
Grâce à des prototypes internes et des explorations de nos agences partenaires HoloLens, nous avons créé six questions pour vous aider à définir des scénarios partagés. Ces questions forment un framework, non destiné à être exhaustif, pour vous aider à distiller les attributs importants de vos scénarios.
1. Comment partagent-ils ?
Une présentation peut être dirigée par un seul utilisateur virtuel, tandis que plusieurs utilisateurs peuvent collaborer, ou un enseignant peut fournir des conseils aux étudiants virtuels qui travaillent avec des supports virtuels. La complexité des expériences augmente en fonction du niveau d’agence qu’un utilisateur a ou peut avoir dans un scénario.
Il existe de nombreuses façons de partager, mais nous avons constaté que la plupart d’entre elles appartiennent à trois catégories :
- Présentation : lorsque le même contenu s’affiche à plusieurs utilisateurs. Par exemple : un professeur donne une conférence à plusieurs étudiants en utilisant le même matériel holographique présenté à tout le monde. Le professeur, cependant, pourrait avoir ses propres conseils et notes qui peuvent ne pas être visibles par d’autres.
- Collaboration : lorsque des personnes travaillent ensemble pour atteindre des objectifs communs. Par exemple: Le professeur a donné un projet pour en savoir plus sur la pratique d’une chirurgie cardiaque. Les étudiants s’associent et créent une expérience de laboratoire de compétences partagée, qui permet aux étudiants en médecine de collaborer sur le modèle cardiaque et d’apprendre.
- Conseils : Lorsqu’une personne aide quelqu’un à résoudre un problème dans une interaction de style un-à-un. Par exemple : Le professeur qui donne des conseils à un étudiant lorsqu’il effectue le laboratoire de compétences en chirurgie cardiaque dans l’expérience partagée.
2. Quelle est la taille du groupe ?
Les expériences de partage un-à-un peuvent fournir une base de référence solide et, dans l’idéal, vos preuves de concept peuvent être créées à ce niveau. Mais sachez que le partage avec de grands groupes (au-delà de six personnes) peut entraîner des difficultés à la fois techniques (données et mise en réseau) et sociales (l’impact d’être dans une salle avec plusieurs avatars). La complexité augmente de façon exponentielle à mesure que vous passez de petitsà grands groupes.
Nous avons constaté que les besoins des groupes peuvent être répartis en trois catégories de taille :
- 1:1
- Petit < 7
- Grande >= 7
La taille du groupe est une question importante, car elle influence :
- Représentations de personnes dans l’espace holographique
- Échelle des objets
- Échelle de l’environnement
3. Où est tout le monde ?
La force de la réalité mixte entre en jeu lorsqu’une expérience partagée peut avoir lieu au même endroit. Nous appelons cela colocalisé. À l’inverse, lorsque le groupe est distribué et qu’au moins un participant ne se trouve pas dans le même espace physique (comme c’est souvent le cas avec la réalité virtuelle), nous appelons cela une expérience à distance. Il arrive souvent que votre groupe ait des participants colocalisés et distants (par exemple, deux groupes dans des salles de conférence).
Les catégories suivantes permettent de déterminer où se trouvent les utilisateurs :
- Colocalisé : tous vos utilisateurs se trouveront dans le même espace physique.
- Distant : tous vos utilisateurs se trouveront dans des espaces physiques distincts.
- Les deux : vos utilisateurs seront un mélange d’espaces colocalisés et distants.
Cette question est cruciale, car elle influence :
- Comment les gens communiquent?
- Par exemple : doit-il avoir des avatars ?
- Les objets qu’ils voient. Tous les objets sont-ils partagés ?
- Faut-il s’adapter à leur environnement ?
4. Quand partagent-ils ?
Nous pensons généralement aux expériences synchrones lorsque des expériences partagées viennent à l’esprit : Nous le faisons tous ensemble. Mais si nous incluons un seul élément virtuel qui a été ajouté par quelqu’un d’autre, nous avons un scénario asynchrone . Imaginez une note, ou un mémo vocal, laissé dans un environnement virtuel. Comment gérez-vous les 100 mémos virtuels restants sur votre conception ? Que se passe-t-il s’ils proviennent de dizaines de personnes avec différents niveaux de confidentialité ?
Considérez vos expériences comme l’une des catégories de temps suivantes :
- Synchrone : partage de l’expérience holographique en même temps. Par exemple : deux étudiants qui effectuent le laboratoire de compétences en même temps.
- De manière asynchrone : partage de l’expérience holographique à différents moments. Par exemple : deux étudiants effectuant le laboratoire de compétences, mais travaillant sur des sections distinctes à des moments différents.
- Les deux : vos utilisateurs partagent parfois de manière synchrone, mais d’autres fois de manière asynchrone. Par exemple : un professeur qui note le devoir effectué par les étudiants ultérieurement et laisse des notes pour les étudiants pour le lendemain.
Cette question est importante, car elle influence :
- Persistance de l’objet et de l’environnement. Par exemple : stockage des états afin qu’ils puissent être récupérés.
- Point de vue de l’utilisateur. Par exemple : peut-être se souvenir de ce que l’utilisateur regardait lorsqu’il laissait des notes.
5. À quel point leurs environnements physiques sont-ils similaires ?
La probabilité de deux environnements réels identiques, en dehors des expériences colocalisées, est mince, sauf si ces environnements ont été conçus pour être identiques. Vous êtes plus susceptible d’avoir des environnements similaires . Par exemple, les salles de conférence sont similaires: elles ont généralement une table centrale entourée de chaises. Les salles de séjour, en revanche, sont dissemblables** et peuvent inclure n’importe quel nombre de meubles dans un éventail infini de dispositions.
Considérez vos expériences de partage dans l’une des deux catégories suivantes :
- Similaire : environnements qui ont tendance à avoir des meubles similaires, la lumière et le son ambiants, la taille de la pièce physique. Par exemple : Le professeur est dans la salle de conférence A et les étudiants sont dans la salle de conférence B. La salle de conférence A peut-être a moins de chaises que B, mais ils peuvent tous deux avoir un bureau physique sur lequel placer des hologrammes.
- Dissemblaires : environnements différents dans les paramètres de meubles, la taille des pièces, la lumière et les considérations sonores. Par exemple : un professeur se trouve dans une salle de focus, mais les étudiants se trouvent dans une grande salle de conférence, remplie d’étudiants et d’enseignants.
Il est important de penser à l’environnement, car il influencera :
- Comment les gens vont expérimenter ces objets. Par exemple : si votre expérience fonctionne mieux sur une table et que l’utilisateur n’a pas de table ? Ou sur une surface de plancher plat, mais l’utilisateur a un espace encombré.
- Mise à l’échelle des objets. Par exemple : Placer un modèle humain de six pieds sur une table peut être difficile, mais un modèle cardiaque fonctionnerait très bien.
6. Quels appareils utilisent-ils ?
Aujourd’hui, vous êtes souvent susceptible de voir des expériences partagées entre deux appareils immersifs (ces appareils peuvent différer légèrement pour les boutons et la capacité relative, mais pas grandement) ou deux appareils holographiques étant donné les solutions ciblées sur ces appareils. Mais déterminez si les appareils 2D (un participant ou un observateur mobile/de bureau) seront une considération nécessaire, en particulier dans les situations d’appareils 2D et 3D mixtes. Il est important de comprendre les types d’appareils que vos participants utiliseront, non seulement parce qu’ils sont fournis avec des contraintes et des opportunités de fidélité et de données différentes, mais aussi parce que les utilisateurs ont des attentes uniques pour chaque plateforme.
Exploration du potentiel des expériences partagées
Les réponses aux questions ci-dessus peuvent être combinées pour mieux comprendre votre scénario partagé, cristallisant les défis à mesure que vous développez l’expérience. Pour l’équipe de Microsoft, cela a permis d’établir une feuille de route pour améliorer les expériences que nous utilisons aujourd’hui, comprendre la nuance de ces problèmes complexes et comment tirer parti des expériences partagées dans la réalité mixte.
Par exemple, considérez l’un des scénarios de Skype à partir du lancement d’HoloLens : un utilisateur a travaillé sur la façon de résoudre un commutateur d’éclairage cassé avec l’aide d’un expert localisé à distance.
Un expert fournit des conseils 1:1 à partir de son ordinateur de bureau 2D à un utilisateur d’un appareil de réalité mixte 3D . Les instructions sont synchrones et les environnements physiques sont différents.
Une expérience comme celle-ci est un changement radical de notre expérience actuelle, en appliquant le paradigme de la vidéo et de la voix à un nouveau support. Mais alors que nous regardons vers l’avenir, nous devons mieux définir les opportunités de nos scénarios et construire des expériences qui reflètent la force de la réalité mixte.
Prenons l’outil de collaboration OnSight, développé par le Jet Propulsion Laboratory de la NASA. Les scientifiques travaillant sur les données des missions mars rover peuvent collaborer avec leurs collègues en temps réel dans les données du paysage martien.
Un scientifique explore un environnement utilisant un appareil de réalité mixte 3D avec un petit groupe de collègues distants utilisant des appareils 3D et 2D . La collaboration est synchrone (mais peut être revisitée de manière asynchrone) et les environnements physiques sont (virtuellement) similaires.
Des expériences comme OnSight offrent de nouvelles opportunités de collaboration. De pointer physiquement des éléments dans l’environnement virtuel à se tenir à côté d’un collègue et de partager son point de vue pendant qu’ils expliquent leurs résultats. OnSight utilise l’objectif de l’immersion et de la présence pour repenser les expériences de partage dans la réalité mixte.
La collaboration intuitive est le fondement de la conversation, travailler ensemble et comprendre comment nous pouvons appliquer cette intuition à la complexité de la réalité mixte est crucial. Si nous pouvons non seulement recréer des expériences de partage dans la réalité mixte, mais les surcharger, ce sera un changement de paradigme pour l’avenir du travail. La conception d’expériences partagées dans la réalité mixte est un espace nouveau et passionnant, et nous n’en sommes qu’au début.
Prise en main de la création d’expériences partagées
En fonction de votre application et de votre scénario, il existe différentes exigences pour atteindre l’expérience souhaitée. entres autres :
- Création de correspondances : possibilité de créer des sessions, de publier des sessions, de découvrir et d’inviter des personnes spécifiques, localement et à distance, à rejoindre votre session.
- Partage d’ancre : possibilité d’aligner les coordonnées sur plusieurs appareils dans un espace local commun, de sorte que les hologrammes apparaissent au même endroit pour toutes les personnes.
- Mise en réseau : possibilité de synchroniser les positions, les interactions et les mouvements de personnes et d’hologrammes en temps réel entre tous les participants.
- Stockage d’état : possibilité de stocker les caractéristiques et les emplacements des hologrammes dans l’espace pour la jonction à mi-session, le rappel ultérieur et la robustesse contre les problèmes réseau.
La clé des expériences partagées est que plusieurs utilisateurs voient les mêmes hologrammes dans le monde sur leur propre appareil, fréquemment en partageant des ancres pour aligner les coordonnées entre les appareils.
Pour partager des ancres, utilisez azure Spatial Anchors :
- Tout d’abord, l’utilisateur place l’hologramme.
- L’application crée une ancre spatiale pour épingler cet hologramme précisément dans le monde.
- Les ancres peuvent être partagées avec des appareils HoloLens, iOS et Android via Azure Spatial Anchors.
Avec une ancre spatiale partagée, l’application sur chaque appareil dispose désormais d’un système de coordonnées commun dans lequel ils peuvent placer du contenu. À présent, l’application peut s’assurer de positionner et d’orienter l’hologramme au même emplacement.
Sur les appareils HoloLens, vous pouvez également partager des ancres hors connexion d’un appareil à un autre. Utilisez les liens ci-dessous pour déterminer ce qui convient le mieux à votre application.
Évaluation des options techniques
Différentes options de service et de technologie sont disponibles pour vous aider à créer des expériences de réalité mixte multi-utilisateur. Il peut être difficile de choisir un chemin. Par conséquent, en adoptant une perspective axée sur les scénarios, certaines options sont détaillées ci-dessous.
Hologrammes statiques partagés (aucune interaction)
Tirez parti d’Azure Spatial Anchors dans votre application. L’activation et le partage d’ancres spatiales entre les appareils vous permettent de créer une application dans laquelle les utilisateurs voient les hologrammes au même endroit en même temps. Une synchronisation supplémentaire entre les appareils est nécessaire pour permettre aux utilisateurs d’interagir avec les hologrammes et de voir les mouvements ou les mises à jour d’état des hologrammes.
Partager le point de vue de la première personne
Tirez parti de la prise en charge intégrée de Miracast pour les utilisateurs locaux lorsque vous disposez d’un récepteur Miracast pris en charge, tel qu’un PC ou un téléviseur. Aucun code d’application supplémentaire n’est nécessaire.
Expérience collaborative multi-utilisateur
Commencez par notre tutoriel d’apprentissage multi-utilisateur, qui tire parti d’Azure Spatial Anchors pour les utilisateurs locaux et du Kit de développement logiciel (SDK) Photon pour synchroniser le contenu/l’état dans la scène. Créez des applications collaboratives localement où chaque utilisateur a sa propre perspective sur les hologrammes de la scène et peut interagir pleinement avec les hologrammes. Mises à jour sont fournis sur tous les appareils et la gestion des conflits d’interaction est gérée par Photon.
Notes
Notez que Photon est un produit non-Microsoft. Une relation de facturation avec Photon peut donc être nécessaire pour la productisation et la mise à l’échelle pour une utilisation plus élevée.
Travail à venir
Les fonctionnalités et les interfaces des composants vous aideront à fournir une cohérence commune et une prise en charge robuste dans les différents scénarios et technologies sous-jacentes. D’ici là, choisissez le meilleur chemin qui s’aligne sur le scénario que vous essayez de réaliser dans votre application.
Scénario différent ou désir d’utiliser une autre technologie/service ? Fournissez des commentaires en tant que problèmes GitHub dans le dépôt correspondant, en bas de cette page, ou contactez le slack HoloDevelopers.