Qu’est-ce que Mixed Reality Toolkit 2 ?
MRTK-Unity est un projet Microsoft qui fournit un ensemble de composants et de fonctionnalités servant à accélérer le développement d’applications de réalité mixte interplateformes dans Unity. Voici quelques-unes de ses fonctions :
- Fournit le système d’entrée multiplateforme et les composants pour les interactions spatiales et l’interface utilisateur.
- Active le prototypage rapide via la simulation dans l’éditeur qui vous permet de voir immédiatement les modifications.
- Fonctionne comme un framework extensible qui fournit aux développeurs la possibilité de permuter les composants de base.
- Prend en charge un large choix d’appareils :
| Plug-in XR SDK (fournisseurs de plug-ins Unity XR Plugin Management) | Appareils pris en charge |
|---|---|
| Plug-in Unity OpenXR (Unity 2020 ou 2021 LTS) (Plug-in Mixed Reality OpenXR requis pour certaines fonctionnalités sur certains appareils) |
Microsoft HoloLens 2 Casques Windows Mixed Reality Meta Quest Appareil s’exécutant sur SteamVR via OpenXR |
| Plug-in Windows XR | Microsoft HoloLens Microsoft HoloLens 2 Casques Windows Mixed Reality |
| Plug-in Oculus XR (Unity 2019 ou version plus récente de LTS) | Meta Quest (via le package d’intégration Oculus) |
| Plug-in ARCore XR | Android (via AR Foundation) |
| Plug-in ARKit XR | iOS (via AR Foundation) |
| Plug-in XR SDK (fournisseurs de plug-ins Unity XR Plugin Management) | Appareils pris en charge |
|---|---|
| Plug-in Unity OpenXR (préversion dans MRTK 2.6, Unity 2020 ou 2021 LTS) (Plug-in Mixed Reality OpenXR requis pour certaines fonctionnalités sur certains appareils) |
Microsoft HoloLens 2 Casques Windows Mixed Reality Meta Quest Appareil s’exécutant sur SteamVR via OpenXR |
| Plug-in Windows XR | Microsoft HoloLens Microsoft HoloLens 2 Casques Windows Mixed Reality |
| Plug-in Oculus XR (Unity 2019 ou version plus récente de LTS) | Meta Quest (via le package d’intégration Oculus) |
| Plug-in ARCore XR | Android (via AR Foundation) |
| Plug-in ARKit XR | iOS (via AR Foundation) |
Autres appareils pris en charge :
- Contrôleur Ultraleap Leap Motion pour le suivi de la main
Remarque
Nous avons introduit la préversion publique de MRTK3, le chapitre suivant de MRTK. Pour plus d’informations, consultez la documentation MRTK3.
Bien démarrer avec MRTK
Si vous débutez avec le développement MRTK ou Mixed Reality dans Unity, nous vous recommandons d’installer et d’explorer l’exemple d’application MRTK Examples Hub sur votre appareil ou émulateur.
Une fois que vous avez pris en main Mixed Reality et MRTK, installez les outils nécessaires et suivez notre série de tutoriels HoloLens 2 niveau débutant.
Vous voulez voir ce qui se passe en coulisses ?
Documentation
 Notes de publication |
 Présentation de MRTK |
 Référence sur l’API |
|---|
État de la build
| Branche | État CI | État de la documentation |
|---|---|---|
main |
Zones de fonctionnalité
Composants de l’interface utilisateur
Button
Contrôle bouton qui prend en charge différentes méthodes d’entrée, y compris la main articulée d’HoloLens 2
Contrôle des limites
Interface utilisateur standard pour manipuler des objets dans l’espace 3D
Manipulateur d’objets
Script pour manipuler des objets avec une ou deux mains
Tablette
Plan de style 2D qui prend en charge le défilement avec des entrées par la main articulée
Clavier système
Exemple de script d’utilisation du clavier système dans Unity
Interagissant
Script pour rendre les objets interactifs avec les états visuels et la prise en charge des thèmes
Solver
Différents comportements de positionnement des objets, comme les menus qui restent à proximité (tag-along), le rattachement au corps (body-lock), la taille de vue constante et l’aimantation de surface
Collection d’objets
Script pour disposer un tableau d’objets dans une forme en trois dimensions
Info-bulle
Interface utilisateur Annotation avec un système d’ancrage/de pivot flexible, qui peut être utilisé pour étiqueter les contrôleurs de mouvement et les objets
Curseur
Interface utilisateur Curseur pour ajuster des valeurs prenant en charge l’interaction de suivi de la main direct
Nuanceur standard MRTK
Le nuanceur standard du MRTK prend en charge différents éléments Fluent Design performants
Menu de la main
Interface utilisateur rattachée à la main pour un accès rapide, à l’aide du solveur de contraintes de la main
Barre d’application
Interface utilisateur pour l’activation manuelle du contrôle des limites
Pointeurs
Découvrez les différents types de pointeurs
Visualisation du bout des doigts
Affordance visuelle du bout des doigts, qui améliore la confiance dans l’interaction directe
Menu proche
Interface utilisateur du menu flottant pour les interactions proches
Vue de sensibilisation spatiale
Faire interagir vos objets holographiques avec les environnements physiques
Commande vocale
Scripts et exemples pour intégrer des entrées vocales
Indicateur de progression
Indicateur visuel qui renseigne sur un processus ou une opération de données
Dialogue
Interface utilisateur pour demander à l’utilisateur une confirmation ou son accord
Coach de main
Composant qui guide l’utilisateur quand le mouvement n’a pas été appris
Service de physique de la main [expérimental]
Le service de la physique des mains rend possible les événements et interactions de collision de corps rigides avec les mains articulées
Collection de défilement
Collection d’objets qui défile en mode natif pour exposer les objets 3D
Dock [expérimental]
L’ancrage permet de placer des objets dans ou en dehors de positions prédéterminées
Suivi oculaire : Sélection cible
Combinez les entrées oculaires, vocales et manuelles pour sélectionner rapidement et facilement des hologrammes sur votre scène
Suivi oculaire : navigation
Apprenez à faire défiler le texte automatiquement ou à faire facilement un zoom sur le contenu ciblé en fonction de ce que vous regardez
Suivi oculaire : Carte thermique
Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application
outils
 Optimiser la fenêtre |
 Fenêtre dépendance |
 Fenêtre build |
 Enregistrement d’entrée |
|---|---|---|---|
| Automatiser la configuration des projets de réalité mixte pour les optimisations de performances | Analyser les dépendances entre les ressources et identifier les ressources inutilisées | Configurer et exécuter un processus de build de bout en bout pour les applications de réalité mixte | Enregistrer et lire les données de suivi de la main et des mouvements de tête dans l’éditeur |
Exemples de scènes
MRTK fournit des exemples de scène qui montrent comment utiliser les fonctionnalités de MRTK. Vous trouverez les exemples de scènes sous le dossier Assets/MRTK/Examples/Demos. Lisez la page d’exemples de scène pour savoir comment acquérir et exécuter des exemples de scène. Les exemples de scène d’interaction manuelle sont un excellent point de départ pour commencer à utiliser les composants de MRTK pour les interactions et l’interface utilisateur.
Hub d’exemples MRTK
Avec le hub d’exemples MRTK, vous pouvez essayer divers exemples de scène dans MRTK sans générer et déployer chaque scène. Vous pouvez télécharger des packages d’applications prédéfinis pour HoloLens (x86), HoloLens 2 (ARM) et les casques immersifs Windows Mixed Reality (x64) en sélectionnant le package « Exemples du Mixed Reality Toolkit » dans Mixed Reality Feature Tool. Veillez à utiliser le portail d’appareil Windows pour installer des applications sur HoloLens (1ère génération). Sur HoloLens 2, vous pouvez télécharger et installer le Hub d’exemples MRTK à partir de l’application Microsoft Store.
Consultez la page README du hub d’exemples pour en savoir plus sur la création d’un hub multiscène avec le système de scène et le service de transition de scène de MRTK.
Exemples d’applications créées avec MRTK
 |
 |
 |
|---|---|---|
| Tableau périodique des éléments est un exemple d’application open source qui montre comment utiliser le système d’entrée et les composants du MRTK afin de créer une expérience d’application pour les casques immersifs et HoloLens. Lisez le récit sur le portage qui raconte comment importer l’application Tableau périodique des éléments vers HoloLens 2 avec MRTK v2 | Galaxy Explorer est un exemple d’application open source qui a été initialement développé en mars 2016 dans le cadre de la campagne HoloLens « Partagez vos idées ». L’application Galaxy Explorer a été mise à jour avec de nouvelles fonctionnalités pour HoloLens 2, avec MRTK v2. Lisez le récit sur la conception de Galaxy Explorer pour HoloLens 2 | Surfaces est un exemple d’application open source pour HoloLens 2, qui explore la manière dont nous pouvons créer une sensation tactile en utilisant le suivi oculaire, audio et avec la main entièrement articulée. Regardez la session Microsoft MR Dev Days Enseignements tirés de l’application Surfaces pour lire le récit détaillé de la conception et du développement. |
Vidéos de la session Mixed Reality Dev Days 2020
 |
 |
 |
|---|---|---|
| Tutoriel sur la création d’une application MRTK simple, du début à la fin. Découvrez les concepts de l’interaction et les fonctionnalités multiplateformes de MRTK. | Présentation approfondie des composants UX de MRTK qui vous aident à créer de belles expériences de réalité mixte. | Présentation des outils de performances, intégrés à MRTK ou externes, et vue d’ensemble du nuanceur standard de MRTK. |
Consultez Mixed Reality Dev Days pour explorer d’autres vidéos de session.
Impliquez-vous dans la communauté
Participez aux conversations autour de MRTK sur Slack. Vous pouvez rejoindre la communauté Slack par le biais de l’envoi d’invitation automatique.
Posez vos questions au sujet de l’utilisation de MRTK sur le site Stack Overflow en choisissant l’étiquette MRTK.
Faites une recherche sur les problèmes connus ou signalez un nouveau problème si vous détectez quelque chose qui ne va pas dans le code MRTK.
Pour toute question sur la contribution à MRTK, accédez au canal mixed-reality-toolkit sur Slack.
Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d'informations, consultez la FAQ du Code de conduite ou contactez opencode@microsoft.com pour toute question ou commentaire supplémentaire.
Ressources utiles dans le Centre de développement Mixed Reality
 Découvrir |
 Concevoir |
 Développer |
 Distribuer |
|---|---|---|---|
| Découvrez comment créer des expériences de réalité mixte pour HoloLens et les casques immersifs (VR). | Procurez-vous les guides de conception. Créez une interface utilisateur. Découvrez les interactions et les entrées. | Procurez-vous les guides de développement. Découvrez la technologie. Comprenez la science. | Préparez votre application pour les utilisateurs et créez un lanceur 3D. |
Ressources utiles sur Azure
 Spatial Anchors |
 Services Speech |
 Services Vision |
|---|---|---|
| Spatial Anchors est un service multiplateforme qui vous permet de créer des expériences de réalité mixte à l’aide d’objets qui restent au même endroit sur tous les appareils. | Découvrez les fonctionnalités vocales Azure, telles que la reconnaissance vocale, la reconnaissance de l’orateur ou la traduction vocale, que vous pouvez intégrer à votre application. | Identifiez et analysez le contenu de vos images et de vos vidéos à l’aide des services de vision, tels que la vision par ordinateur, la détection des visages, la reconnaissance des émotions ou l’indexeur de vidéos. |
Comment contribuer
Découvrez comment vous pouvez contribuer à MRTK sur Contribution.
Obtenir de l’aide
Si vous rencontrez des problèmes dus à l’utilisation de MRTK ou si vous avez des questions sur la façon d’effectuer une opération, vous pouvez vous aider des différentes ressources disponibles :
- Pour signaler un bogue, veuillez créer un incident dans le dépôt GitHub.
- Pour toute question, veuillez consulter StackOverflow ou le canal mixed-reality-toolkit sur Slack. Vous pouvez rejoindre la communauté Slack par le biais de l’envoi d’invitation automatique.