Qu’est-ce que Mixed Reality Toolkit 2 ?

MRTK-Unity est un projet Microsoft qui fournit un ensemble de composants et de fonctionnalités servant à accélérer le développement d’applications de réalité mixte interplateformes dans Unity. Voici quelques-unes de ses fonctions :

• Fournit le système d’entrée multiplateforme et les composants pour les interactions spatiales et l’interface utilisateur.
• Active le prototypage rapide via la simulation dans l’éditeur qui vous permet de voir immédiatement les modifications.
• Fonctionne comme un framework extensible qui fournit aux développeurs la possibilité de permuter les composants de base.
• Prend en charge un large choix d’appareils :

Plug-in XR SDK (fournisseurs de plug-ins Unity XR Plugin Management)	Appareils pris en charge
Plug-in Unity OpenXR (Unity 2020 ou 2021 LTS) (Plug-in Mixed Reality OpenXR requis pour certaines fonctionnalités sur certains appareils)	Microsoft HoloLens 2 Casques Windows Mixed Reality Meta Quest Appareil s’exécutant sur SteamVR via OpenXR
Plug-in Windows XR	Microsoft HoloLens Microsoft HoloLens 2 Casques Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou version plus récente de LTS)	Meta Quest (via le package d’intégration Oculus)
Plug-in ARCore XR	Android (via AR Foundation)
Plug-in ARKit XR	iOS (via AR Foundation)

Autres appareils pris en charge :

• Contrôleur Ultraleap Leap Motion pour le suivi de la main

Notes

Nous avons introduit la préversion publique de MRTK3, le chapitre suivant de MRTK. Pour plus d’informations, consultez la documentation MRTK3.

Bien démarrer avec MRTK

Si vous débutez avec le développement MRTK ou Mixed Reality dans Unity, nous vous recommandons d’installer et d’explorer l’exemple d’application MRTK Examples Hub sur votre appareil ou émulateur.

Télécharger l’application MRTK Examples Hub

Une fois que vous avez pris en main Mixed Reality et MRTK, installez les outils nécessaires et suivez notre série de tutoriels HoloLens 2 niveau débutant.

Installer les outils

Série de tutoriels HoloLens 2

Vous voulez voir ce qui se passe en coulisses ?

Explorez MRTK sur GitHub

Documentation

Notes de publication	Présentation de MRTK	Référence sur l’API

État de la build

Branche	État CI	État de la documentation
main

Zones de fonctionnalité

Système d’entrée

Suivi de la main
(HoloLens 2)

Suivi oculaire
(HoloLens 2)

Profils

Suivi de la main
(Ultraleap)

Contrôles d’interface utilisateur

Solveurs

Gestionnaire
multiscène

Reconnaissance
spatiale

Outil de
diagnostic

Exemple de vue du nuanceur standard MRTK

Voix
Dictée &

Système de
limites

Simulation
dans l’éditeur

Fonctionnalités
expérimentales

Composants de l’interface utilisateur

Bouton
Contrôle bouton qui prend en charge différentes méthodes d’entrée, y compris la main articulée d’HoloLens 2

Contrôle des limites
Interface utilisateur standard pour manipuler des objets dans l’espace 3D

Manipulateur d’objets
Script pour manipuler des objets avec une ou deux mains

Ardoise
Plan de style 2D qui prend en charge le défilement avec des entrées par la main articulée

Clavier système
Exemple de script d’utilisation du clavier système dans Unity

Interaction
Script pour rendre les objets interactifs avec les états visuels et la prise en charge des thèmes

Solveur
Différents comportements de positionnement des objets, comme les menus qui restent à proximité (tag-along), le rattachement au corps (body-lock), la taille de vue constante et l’aimantation de surface

Collection d’objets
Script pour disposer un tableau d’objets dans une forme en trois dimensions

Info-bulle
Interface utilisateur Annotation avec un système d’ancrage/de pivot flexible, qui peut être utilisé pour étiqueter les contrôleurs de mouvement et les objets

Curseur
Interface utilisateur Curseur pour ajuster des valeurs prenant en charge l’interaction de suivi de la main direct

Nuanceur standard du MRTK
Le nuanceur standard du MRTK prend en charge différents éléments Fluent Design performants

Menu Main
Interface utilisateur rattachée à la main pour un accès rapide, à l’aide du solveur de contraintes de la main

Barre d’application
Interface utilisateur pour l’activation manuelle du contrôle des limites

Pointeurs
Découvrez les différents types de pointeurs

Visualisation du bout des doigts
Affordance visuelle du bout des doigts, qui améliore la confiance dans l’interaction directe

Menu proche
Interface utilisateur du menu flottant pour les interactions proches

Vue de la reconnaissance spatiale
Faire interagir vos objets holographiques avec les environnements physiques

Commande vocale
Scripts et exemples pour intégrer des entrées vocales

Indicateur de progression
Indicateur visuel qui renseigne sur un processus ou une opération de données

Dialogue
Interface utilisateur pour demander à l’utilisateur une confirmation ou son accord

Coach main
Composant qui guide l’utilisateur quand le mouvement n’a pas été appris

Service de la physique des mains [Expérimental]
Le service de la physique des mains rend possible les événements et interactions de collision de corps rigides avec les mains articulées

Défilement de la collection
Collection d’objets qui défile en mode natif pour exposer les objets 3D

Ancrage [Expérimental]
L’ancrage permet de placer des objets dans ou en dehors de positions prédéterminées

Suivi oculaire : Sélection de la cible
Combinez les entrées oculaires, vocales et manuelles pour sélectionner rapidement et facilement des hologrammes sur votre scène

Suivi oculaire : Navigation
Apprenez à faire défiler le texte automatiquement ou à faire facilement un zoom sur le contenu ciblé en fonction de ce que vous regardez

Suivi oculaire : Carte thermique
Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application

Outils

Fenêtre d’optimisation	Fenêtre de dépendance	Fenêtre de génération	Enregistrement des entrées
Automatiser la configuration des projets de réalité mixte pour les optimisations de performances	Analyser les dépendances entre les ressources et identifier les ressources inutilisées	Configurer et exécuter un processus de build de bout en bout pour les applications de réalité mixte	Enregistrer et lire les données de suivi de la main et des mouvements de tête dans l’éditeur

Exemples de scènes

MRTK fournit des exemples de scène qui montrent comment utiliser les fonctionnalités de MRTK. Vous trouverez les exemples de scènes sous le dossier Assets/MRTK/Examples/Demos. Lisez la page d’exemples de scène pour savoir comment acquérir et exécuter des exemples de scène. Les exemples de scène d’interaction manuelle sont un excellent point de départ pour commencer à utiliser les composants de MRTK pour les interactions et l’interface utilisateur.

Hub d’exemples MRTK

Avec le hub d’exemples MRTK, vous pouvez essayer divers exemples de scène dans MRTK sans générer et déployer chaque scène. Vous pouvez télécharger des packages d’applications prédéfinis pour HoloLens (x86), HoloLens 2 (ARM) et les casques immersifs Windows Mixed Reality (x64) en sélectionnant le package « Exemples du Mixed Reality Toolkit » dans Mixed Reality Feature Tool. Veillez à utiliser le portail d’appareil Windows pour installer des applications sur HoloLens (1ère génération). Sur HoloLens 2, vous pouvez télécharger et installer le Hub d’exemples MRTK à partir de l’application Microsoft Store.

Consultez la page README du hub d’exemples pour en savoir plus sur la création d’un hub multiscène avec le système de scène et le service de transition de scène de MRTK.

Exemples d’applications créées avec MRTK

Tableau périodique des éléments est un exemple d’application open source qui montre comment utiliser le système d’entrée et les composants du MRTK afin de créer une expérience d’application pour les casques immersifs et HoloLens. Lisez le récit sur le portage qui raconte comment importer l’application Tableau périodique des éléments vers HoloLens 2 avec MRTK v2	Galaxy Explorer est un exemple d’application open source qui a été initialement développé en mars 2016 dans le cadre de la campagne HoloLens « Partagez vos idées ». L’application Galaxy Explorer a été mise à jour avec de nouvelles fonctionnalités pour HoloLens 2, avec MRTK v2. Lisez le récit sur la conception de Galaxy Explorer pour HoloLens 2	Surfaces est un exemple d’application open source pour HoloLens 2, qui explore la manière dont nous pouvons créer une sensation tactile en utilisant le suivi oculaire, audio et avec la main entièrement articulée. Regardez la session Microsoft MR Dev Days Enseignements tirés de l’application Surfaces pour lire le récit détaillé de la conception et du développement.

Vidéos de la session Mixed Reality Dev Days 2020

Tutoriel sur la création d’une application MRTK simple, du début à la fin. Découvrez les concepts de l’interaction et les fonctionnalités multiplateformes de MRTK.	Présentation approfondie des composants UX de MRTK qui vous aident à créer de belles expériences de réalité mixte.	Présentation des outils de performances, intégrés à MRTK ou externes, et vue d’ensemble du nuanceur standard de MRTK.

Consultez Mixed Reality Dev Days pour explorer d’autres vidéos de session.

Impliquez-vous dans la communauté

• Participez aux conversations autour de MRTK sur Slack. Vous pouvez rejoindre la communauté Slack par le biais de l’envoi d’invitation automatique.

• Posez vos questions au sujet de l’utilisation de MRTK sur le site Stack Overflow en choisissant l’étiquette MRTK.

• Faites une recherche sur les problèmes connus ou signalez un nouveau problème si vous détectez quelque chose qui ne va pas dans le code MRTK.

• Pour toute question sur la contribution à MRTK, accédez au canal mixed-reality-toolkit sur Slack.

Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d’informations, consultez les Questions fréquentes sur le code de conduite ou envoyez vos questions ou vos commentaires à opencode@microsoft.com.

Ressources utiles dans le Centre de développement Mixed Reality

Découvrir	Concevoir	Développer	Distribuer
Découvrez comment créer des expériences de réalité mixte pour HoloLens et les casques immersifs (VR).	Procurez-vous les guides de conception. Créez une interface utilisateur. Découvrez les interactions et les entrées.	Procurez-vous les guides de développement. Découvrez la technologie. Comprenez la science.	Préparez votre application pour les utilisateurs et créez un lanceur 3D.

Ressources utiles sur Azure

Spatial Anchors	Services Speech	Services Vision
Spatial Anchors est un service multiplateforme qui vous permet de créer des expériences de réalité mixte à l’aide d’objets qui restent au même endroit sur tous les appareils.	Découvrez les fonctionnalités vocales Azure, telles que la reconnaissance vocale, la reconnaissance de l’orateur ou la traduction vocale, que vous pouvez intégrer à votre application.	Identifiez et analysez le contenu de vos images et de vos vidéos à l’aide des services de vision, tels que la vision par ordinateur, la détection des visages, la reconnaissance des émotions ou l’indexeur de vidéos.

Marche à suivre pour contribuer

Découvrez comment vous pouvez contribuer à MRTK sur Contribution.

Obtenir de l’aide

Si vous rencontrez des problèmes dus à l’utilisation de MRTK ou si vous avez des questions sur la façon d’effectuer une opération, vous pouvez vous aider des différentes ressources disponibles :

• Pour signaler un bogue, veuillez créer un incident dans le dépôt GitHub.
• Pour toute question, veuillez consulter StackOverflow ou le canal mixed-reality-toolkit sur Slack. Vous pouvez rejoindre la communauté Slack par le biais de l’envoi d’invitation automatique.