Fonctionnalités de réalité mixte - Exemples et applications
Chaque parcours de développement commence par un retour sur ce que les autres développeurs ont réussi à créer. De ce point de vue, la réalité mixte ne fait pas exception à la règle. Tous nos tutoriels et exemples d’applications sont actuellement créés dans Unity ou Unreal. À mesure que nous développerons du contenu pour d’autres moteurs et plateformes, nous ajouterons des titres à la table des matières.
Exemples d’applications - Études de cas
Les exemples d’applications open source ont été créés par nos équipes pour vous aider à vous familiariser directement avec le développement de contenus de réalité mixte. Nous avons fourni les projets et le code source complet en tant que référence de formation.
Exemples d’applications open source HoloLens 2
Ces exemples d’applications sont créés avec le Mixed Reality Toolkit pour Unity.
Exemples d’applications open source HoloLens (première génération)
Exemples de fonctionnalités
Pour chacun des scénarios de développement listés ci-dessous, vous trouverez des exemples de fonctionnalités qui correspondent à des implémentations spécifiques traitées dans notre documentation et qui couvrent un large éventail de plateformes de développement et de périphériques matériels.
| Scénario | Exemple de fonctionnalité | Moteur | Description |
|---|---|---|---|
| Créer des scénarios de réalité mixte Unity de base | Exemples OpenXR avec Unity | Unity C# | Démarrez avec des outils de développement multiplateforme, Unity 2020.LTS et le plug-in OpenXR le plus récent. |
| Stratégies d’ancrage | Ancre locale | Créez des ancres spatiales persistantes et partagez-les entre plusieurs sessions d’application et appareils. Consultez l’article Ancres spatiales. | |
| Exemples Azure Spatial Anchors | Créez des applications de réalité mixte à reconnaissance spatiale avec les fonctionnalités essentielles d’Azure Spatial Anchors. | ||
| Codes QR | Unity C# | Détectez les codes QR dans l’environnement. | |
| Collaboration en réalité mixte | Identité de l’utilisateur | Unity C# | Configurez votre appareil HoloLens 2 en utilisant les informations d’identification d’Azure Active Directory (AAD). |
| Exemples Azure Spatial Anchors | Créez des applications de réalité mixte à reconnaissance spatiale avec les fonctionnalités essentielles d’Azure Spatial Anchors. | ||
| Interaction spatiale | Exemple d’hologramme de base | Windows 10 C++ | Affichez un cube qui tourne dans Windows Mixed Reality. |
| Compréhension des scènes/objets | Exemples de compréhension des scènes | Unity C# | Concevez des applications de réalité mixte prenant en charge l’environnement. |
| Exemples Azure Object Anchors | Unity C# | Détectez un objet du monde physique avec un modèle 3D et estimez sa position 6DoF avec Azure Object Anchors. | |
| Superpositions de données contextuelles | Codes QR | Unity C# | Détectez les codes QR dans l’environnement. |
| Exemple de suivi d’un poster | Unity C# | Alignez un hologramme avec un objet réel. | |
| Créer des jumeaux numériques de réalité mixte | Unity C# | Apprenez à créer une application de réalité mixte avec Azure Digital Twins et Unity, plateforme 3D en temps réel. | |
| Capture des données de l’appareil photo | Exemple de capture de réalité mixte | Windows 10 C++ | Capturez l’expérience à la première personne du mélange des mondes réel et numérique sous forme de photo ou de vidéo. |
| Exemples du mode de recherche | Windows 10 C++ | Accès aux capteurs de clé sur un appareil HoloLens pour les applications de recherche. | |
| Communication à distance holographique | Holographic Remoting Player | Windows 10 C++ | Diffusez en streaming le contenu holographique d’un PC sur votre Microsoft HoloLens en temps réel avec une connexion Wi-Fi. |
| Exemples Azure Remote Rendering | Unity C# | Testez le service Azure Remote Rendering en utilisant les ressources des exemples de données listés ici. | |
| Gestion des tâches et conseils | Dynamics 365 Remote Assist | Collaborez plus efficacement en travaillant en équipe depuis différents endroits avec Dynamics 365 Remote Assist sur des appareils HoloLens, HoloLens 2, Android ou iOS. | |
| Dynamics 365 Guides | Facilitez l’apprentissage des opérateurs pendant le flux de travail en leur fournissant des instructions holographiques au bon moment et au bon endroit. | ||
| Hologrammes World Locking | Exemple World Locked Physics | Unity C# | Explorez quelques expériences physiques virtuelles mettant à profit le système de coordonnées verrouillé sur le monde de World Locking Tools. |
| Exemple Space Pin | Unity C# | Examinez de plus près le fonctionnement interne d’une application réelle qui doit aligner un ou des objets volumineux avec des caractéristiques réelles. L’exemple Space Pin offre une vue simplifiée et plus ciblée de la fonctionnalité Space Pin. | |
| Exemple Ray Pins | Unity C# | Découvrez comment configurer manuellement des repères spatiaux en positionnant manuellement des objets marqueurs avec des affordances MRTK. | |
| Exemple World Locking Tools avec Azure Spatial Anchors | Unity C# | Découvrez un système de coordonnées stable qui peut être rendu persistant d’une session à l’autre et partagé entre plusieurs appareils dans votre application. Cela est possible en combinant World Locking Tools pour Unity (WLT) et Azure Spatial Anchors (ASA). | |
| Gestion de l’alimentation et des données thermiques | Gestion de Power & Thermals | Unity C#, Win32 C++ | Lorsque l’HoloLens 2 est utilisé dans des environnements chauds ou avec des exigences élevées en matière de performances (utilisation du CPU/GPU, utilisation de périphériques, etc.), vous pouvez utiliser le SDK PowerThermalNotification pour vous abonner aux événements de notification, ce qui permet à l’appareil de fonctionner plus longtemps. Consultez la référence sur l’API PowerThermalNotification. |
Générer des scénarios OpenXR de base
Si vous débutez dans la création de scénarios de réalité mixte de base, ces exemples vous aideront à bien démarrer.
Les développeurs ciblant Unity 2020 pour créer des applications HoloLens 2 ou de réalité mixte peuvent utiliser le plug-in OpenXR à la place du plug-in Windows XR pour de meilleures compatibilités entre les plateformes. Le plug-in Mixed Reality OpenXR fonctionne également bien avec la dernière version du Mixed Reality Toolkit (2.7.x).
| Exemple | Article de référence | Plateforme | Description |
|---|---|---|---|
| Exemples de Mixed Reality OpenXR avec Unity | Utilisation du plug-in OpenXR | Unity C# | Ces exemples de projets montrent comment créer des applications Unity pour des casques de réalité mixte ou HoloLens 2 avec le plug-in Mixed Reality OpenXR. Les exemples de scénarios suivants sont abordés :
|
| Projet Unity de base OpenXR MRTK | Voir le fichier Lisez-moi de l’exemple | Unity C# | Ce dépôt contient un projet Unity configuré avec les packages Microsoft Mixed Reality Toolkit Foundations et Standard Assets et le package Microsoft OpenXR Plugin. |
| Utilisation d’Unity 2020.3 et de MRTK 2.7.2 | Présentation de MRTK | Unity C# | MRTK-Unity est un projet piloté par Microsoft qui fournit un ensemble de composants et de fonctionnalités servant à accélérer le développement d’applications de réalité mixte interplateformes dans Unity. |
| OpenXR Explorer | Voir le fichier Lisez-moi de l’exemple | C++, Windows, Linux, OpenXR | OpenXR Explorer est un outil de débogage pratique pour les développeurs OpenXR. Il permet de basculer facilement entre les runtimes OpenXR, de lister les extensions prises en charge par le runtime et d’inspecter les propriétés et énumérations communes, avec des liens directs vers les sections pertinentes de la spécification OpenXR. |
| Exemples OpenXR pour les développeurs de réalité mixte | Présentation d’OpenXR | C++ | Ces exemples OpenXR utilisent C++ 17 et Direct3D 11. Le même code source fonctionne aussi bien sur des applications UWP s’exécutant sur HoloLens 2 que sur des applications Win32 s’exécutant sur le bureau Windows avec des casques immersifs Windows Mixed Reality. |
Collaboration en réalité mixte
En réalité mixte, les gens se réunissent virtuellement pour partager des expériences et collaborer. Les exemples listés ici présentent quelques-unes des fonctionnalités de collaboration.
Identité de l’utilisateur
Cet exemple configure votre appareil HoloLens 2 en utilisant les informations d’identification Azure Active Directory (AAD), puis configure la connexion avec reconnaissance de l’iris sur l’appareil.
| Exemple | Article de référence |
|---|---|
| Connexion AAD sur HoloLens 2 | Vue d’ensemble de la plateforme d’identités Microsoft |
Interaction spatiale - Exemple d’hologramme de base
Cet exemple s’exécute sur Windows Mixed Reality et affiche un cube qui tourne. Vous pouvez interagir avec le cube en le plaçant à un autre endroit, et différentes méthodes d’entrée sont autorisées. Cet exemple fonctionne sur les PC reliés à des casques et sur Microsoft HoloLens.
| Exemple | Article de référence |
|---|---|
| Exemples Windows universel - Hologramme de base | Voir le fichier Lisez-moi de l’exemple |
Compréhension des scènes
La compréhension des scènes fournit aux développeurs de réalité mixte une représentation générale et structurée de l’environnement. La compréhension des scènes est conçue pour le développement d’applications intuitives et prenant en charge l’environnement. Pour cela, elle combine la puissance des runtimes de réalité mixte existants, notamment le mappage spatial (très précis, mais moins structuré), et les nouveaux runtimes pilotés par l’IA.
| Exemple | Article de référence | Plateforme | Description |
|---|---|---|---|
| Exemples de compréhension des scènes de réalité mixte (SDK SU) | Compréhension des scènes | Unity C# et SDK SU | Exemple d’application basée sur Unity illustrant la compréhension des scènes sur HoloLens 2. |
| Exemple de compréhension des scènes (MRTK + SDK SU) | Observateur de compréhension des scènes (MRTK) | Unity C#, MRTK et SDK SU | Exemple avec MRTK et le SDK de compréhension des scènes. |
Superpositions de données contextuelles
Les données contextuelles sont les informations de base qui fournissent une meilleure compréhension d’un événement, d’une personne ou d’un élément. Avec la réalité augmentée, ces informations peuvent être affichées et alignées avec précision sur des objets physiques pour fournir des insights, des instructions, des enregistrements de service et d’autres données importantes.
Codes QR
HoloLens 2 peut détecter les codes QR dans l’environnement situé autour du casque, ce qui permet d’établir un système de coordonnées à l’emplacement réel de chaque code.
| Exemple | Article de référence |
|---|---|
| Suivi des codes QR dans Unity | Codes QR |
Exemple de suivi d’un poster
Il est souvent utile de pouvoir aligner un hologramme sur un objet réel, ou plusieurs appareils HoloLens sur un ensemble commun de coordonnées universelles. Ainsi, chaque participant peut voir les mêmes hologrammes au même endroit. Par exemple, dans votre scène Unity, vous pouvez ajouter un « poster » où vous souhaitez ancrer votre scène (peut-être un plateau de jeu), puis ajouter des hologrammes sur ou autour de celui-ci. Vous pouvez ensuite imprimer le poster, le poser sur une table, puis exécuter l’outil d’étalonnage/alignement pour déplacer la version holographique du poster et l’aligner avec la version physique. Tous les hologrammes liés sont déplacés et correctement alignés.
| Exemple | Article de référence |
|---|---|
| Exemple d’étalonnage de poster | Voir le fichier Lisez-moi de l’exemple |
Créer des jumeaux numériques de réalité mixte
Dans cet exemple, vous allez apprendre à créer une application HoloLens 2 de réalité mixte avec Azure Digital Twins et Unity, une plateforme 3D en temps réel.
| Exemple | Article de référence |
|---|---|
| Création de jumeaux numériques de réalité mixte avec Azure Digital Twins et Unity | Parcours d’apprentissage complet |
Captures de l’appareil photo
Les données de capteurs d’environnement non structurées que votre appareil de réalité mixte capture sont converties en puissantes représentations abstraites ou holographiques du monde physique qui nous entoure.
Capture de réalité mixte holographique
MRC (Mixed Reality Capture) capture l’expérience utilisateur à la première personne, en combinant les mondes réel et numérique sous forme de photo ou de vidéo, et partage ce que vous voyez avec d’autres personnes en temps réel.
| Exemple | Article de référence |
|---|---|
| Exemples de captures de réalité mixte | Capture de réalité mixte |
Mode Recherche
Le mode Recherche a été introduit dans HoloLens première génération afin de permettre l’accès aux capteurs clés de l’appareil, en particulier pour les applications de recherche qui ne sont pas destinées au déploiement. Les exemples d’applications ci-dessous sont des exemples d’accès et d’enregistrement des flux du mode Recherche. Ils correspondent également à des exemples d’utilisation des propriétés intrinsèques et extrinsèques.
| Exemple d’application | Article de référence |
|---|---|
| HoloLens (première génération) | Mode Recherche |
| HoloLens 2 | Mode Recherche |
Communication à distance holographique
Holographic Remoting Player est un complément qui se connecte aux applications et aux jeux PC prenant en charge la communication à distance holographique. Holographic Remoting transmet en streaming le contenu holographique d’un PC vers votre Microsoft HoloLens en temps réel, à l’aide d’une connexion Wi-Fi. Il est pris en charge par HoloLens (première génération) et HoloLens 2.
| Exemple | Article de référence |
|---|---|
| Exemples de communication à distance holographique | Vue d’ensemble de la communication à distance holographique |