Partager via


Qu’est-ce que Mixed Reality Toolkit 2 ?

Mixed Reality Toolkit


MRTK-Unity est un projet Microsoft qui fournit un ensemble de composants et de fonctionnalités servant à accélérer le développement d’applications de réalité mixte interplateformes dans Unity. Voici quelques-unes de ses fonctions :

  • Fournit le système d’entrée multiplateforme et les composants pour les interactions spatiales et l’interface utilisateur.
  • Active le prototypage rapide via la simulation dans l’éditeur qui vous permet de voir immédiatement les modifications.
  • Fonctionne comme un framework extensible qui fournit aux développeurs la possibilité de permuter les composants de base.
  • Prend en charge un large choix d’appareils :
Plug-in XR SDK (fournisseurs de plug-ins Unity XR Plugin Management) Appareils pris en charge
Plug-in Unity OpenXR (Unity 2020 ou 2021 LTS)
(Plug-in Mixed Reality OpenXR requis pour certaines fonctionnalités sur certains appareils)
Microsoft HoloLens 2
Casques Windows Mixed Reality
Meta Quest
Appareil s’exécutant sur SteamVR via OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Casques Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou version plus récente de LTS) Meta Quest (via le package d’intégration Oculus)
Plug-in ARCore XR Android (via AR Foundation)
Plug-in ARKit XR iOS (via AR Foundation)
Plug-in XR SDK (fournisseurs de plug-ins Unity XR Plugin Management) Appareils pris en charge
Plug-in Unity OpenXR (préversion dans MRTK 2.6, Unity 2020 ou 2021 LTS)
(Plug-in Mixed Reality OpenXR requis pour certaines fonctionnalités sur certains appareils)
Microsoft HoloLens 2
Casques Windows Mixed Reality
Meta Quest
Appareil s’exécutant sur SteamVR via OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Casques Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou version plus récente de LTS) Meta Quest (via le package d’intégration Oculus)
Plug-in ARCore XR Android (via AR Foundation)
Plug-in ARKit XR iOS (via AR Foundation)

Autres appareils pris en charge :

  • Contrôleur Ultraleap Leap Motion pour le suivi de la main

Remarque

Nous avons introduit la préversion publique de MRTK3, le chapitre suivant de MRTK. Pour plus d’informations, consultez la documentation MRTK3.

Bien démarrer avec MRTK

Si vous débutez avec le développement MRTK ou Mixed Reality dans Unity, nous vous recommandons d’installer et d’explorer l’exemple d’application MRTK Examples Hub sur votre appareil ou émulateur.

Une fois que vous avez pris en main Mixed Reality et MRTK, installez les outils nécessaires et suivez notre série de tutoriels HoloLens 2 niveau débutant.

Vous voulez voir ce qui se passe en coulisses ?

Documentation

Notes de publication
Notes de publication
Présentation de MRTK
Présentation de MRTK
Référence d’API
Référence sur l’API

État de la build

Branche État CI État de la documentation
main État CI État de la documentation

Zones de fonctionnalité

Composants de l’interface utilisateur

BoutonButton
Contrôle bouton qui prend en charge différentes méthodes d’entrée, y compris la main articulée d’HoloLens 2

Contrôle des limitesContrôle des limites
Interface utilisateur standard pour manipuler des objets dans l’espace 3D

Manipulateur d’objetsManipulateur d’objets
Script pour manipuler des objets avec une ou deux mains

SlateTablette
Plan de style 2D qui prend en charge le défilement avec des entrées par la main articulée

Clavier systèmeClavier système
Exemple de script d’utilisation du clavier système dans Unity

Avec interactionInteragissant
Script pour rendre les objets interactifs avec les états visuels et la prise en charge des thèmes

SolverSolver
Différents comportements de positionnement des objets, comme les menus qui restent à proximité (tag-along), le rattachement au corps (body-lock), la taille de vue constante et l’aimantation de surface

Collection d’objetsCollection d’objets
Script pour disposer un tableau d’objets dans une forme en trois dimensions

TooltipInfo-bulle
Interface utilisateur Annotation avec un système d’ancrage/de pivot flexible, qui peut être utilisé pour étiqueter les contrôleurs de mouvement et les objets

CurseurCurseur
Interface utilisateur Curseur pour ajuster des valeurs prenant en charge l’interaction de suivi de la main direct

Nuanceur standard MRTKNuanceur standard MRTK
Le nuanceur standard du MRTK prend en charge différents éléments Fluent Design performants

Menu de la mainMenu de la main
Interface utilisateur rattachée à la main pour un accès rapide, à l’aide du solveur de contraintes de la main

Barre d’applicationBarre d’application
Interface utilisateur pour l’activation manuelle du contrôle des limites

PointeursPointeurs
Découvrez les différents types de pointeurs

Visualisation du bout des doigtsVisualisation du bout des doigts
Affordance visuelle du bout des doigts, qui améliore la confiance dans l’interaction directe

Menu ProximitéMenu proche
Interface utilisateur du menu flottant pour les interactions proches

Prise en main de la sensibilisation spatialeVue de sensibilisation spatiale
Faire interagir vos objets holographiques avec les environnements physiques

Commande vocaleCommande vocale
Scripts et exemples pour intégrer des entrées vocales

Indicateur de progressionIndicateur de progression
Indicateur visuel qui renseigne sur un processus ou une opération de données

DialogDialogue
Interface utilisateur pour demander à l’utilisateur une confirmation ou son accord

Coach de mainCoach de main
Composant qui guide l’utilisateur quand le mouvement n’a pas été appris

Service de physique des mainsService de physique de la main [expérimental]
Le service de la physique des mains rend possible les événements et interactions de collision de corps rigides avec les mains articulées

Collection de défilementCollection de défilement
Collection d’objets qui défile en mode natif pour exposer les objets 3D

AncrerDock [expérimental]
L’ancrage permet de placer des objets dans ou en dehors de positions prédéterminées

Suivi oculaire : Sélection cibleSuivi oculaire : Sélection cible
Combinez les entrées oculaires, vocales et manuelles pour sélectionner rapidement et facilement des hologrammes sur votre scène

Suivi oculaire : navigationSuivi oculaire : navigation
Apprenez à faire défiler le texte automatiquement ou à faire facilement un zoom sur le contenu ciblé en fonction de ce que vous regardez

Suivi oculaire : Carte thermiqueSuivi oculaire : Carte thermique
Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application

outils

Fenêtre d’optimisationOptimiser la fenêtre Fenêtre de dépendanceFenêtre dépendance Fenêtre de buildFenêtre build Enregistrement d’entréeEnregistrement d’entrée
Automatiser la configuration des projets de réalité mixte pour les optimisations de performances Analyser les dépendances entre les ressources et identifier les ressources inutilisées Configurer et exécuter un processus de build de bout en bout pour les applications de réalité mixte Enregistrer et lire les données de suivi de la main et des mouvements de tête dans l’éditeur

Exemples de scènes

MRTK fournit des exemples de scène qui montrent comment utiliser les fonctionnalités de MRTK. Vous trouverez les exemples de scènes sous le dossier Assets/MRTK/Examples/Demos. Lisez la page d’exemples de scène pour savoir comment acquérir et exécuter des exemples de scène. Les exemples de scène d’interaction manuelle sont un excellent point de départ pour commencer à utiliser les composants de MRTK pour les interactions et l’interface utilisateur.

Exemple de scène 2

Hub d’exemples MRTK

Avec le hub d’exemples MRTK, vous pouvez essayer divers exemples de scène dans MRTK sans générer et déployer chaque scène. Vous pouvez télécharger des packages d’applications prédéfinis pour HoloLens (x86), HoloLens 2 (ARM) et les casques immersifs Windows Mixed Reality (x64) en sélectionnant le package « Exemples du Mixed Reality Toolkit » dans Mixed Reality Feature Tool. Veillez à utiliser le portail d’appareil Windows pour installer des applications sur HoloLens (1ère génération). Sur HoloLens 2, vous pouvez télécharger et installer le Hub d’exemples MRTK à partir de l’application Microsoft Store.

Consultez la page README du hub d’exemples pour en savoir plus sur la création d’un hub multiscène avec le système de scène et le service de transition de scène de MRTK.

Hub d’exemples de scènes

Exemples d’applications créées avec MRTK

Tableau périodique des éléments Galaxy Explorer Exemple d’application Surfaces
Tableau périodique des éléments est un exemple d’application open source qui montre comment utiliser le système d’entrée et les composants du MRTK afin de créer une expérience d’application pour les casques immersifs et HoloLens. Lisez le récit sur le portage qui raconte comment importer l’application Tableau périodique des éléments vers HoloLens 2 avec MRTK v2 Galaxy Explorer est un exemple d’application open source qui a été initialement développé en mars 2016 dans le cadre de la campagne HoloLens « Partagez vos idées ». L’application Galaxy Explorer a été mise à jour avec de nouvelles fonctionnalités pour HoloLens 2, avec MRTK v2. Lisez le récit sur la conception de Galaxy Explorer pour HoloLens 2 Surfaces est un exemple d’application open source pour HoloLens 2, qui explore la manière dont nous pouvons créer une sensation tactile en utilisant le suivi oculaire, audio et avec la main entièrement articulée. Regardez la session Microsoft MR Dev Days Enseignements tirés de l’application Surfaces pour lire le récit détaillé de la conception et du développement.

Vidéos de la session Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutoriel sur la création d’une application MRTK simple, du début à la fin. Découvrez les concepts de l’interaction et les fonctionnalités multiplateformes de MRTK. Présentation approfondie des composants UX de MRTK qui vous aident à créer de belles expériences de réalité mixte. Présentation des outils de performances, intégrés à MRTK ou externes, et vue d’ensemble du nuanceur standard de MRTK.

Consultez Mixed Reality Dev Days pour explorer d’autres vidéos de session.

Impliquez-vous dans la communauté

Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d'informations, consultez la FAQ du Code de conduite ou contactez opencode@microsoft.com pour toute question ou commentaire supplémentaire.

Ressources utiles dans le Centre de développement Mixed Reality

DécouvrirDécouvrir ConcevoirConcevoir DévelopperDévelopper Distribuer)Distribuer
Découvrez comment créer des expériences de réalité mixte pour HoloLens et les casques immersifs (VR). Procurez-vous les guides de conception. Créez une interface utilisateur. Découvrez les interactions et les entrées. Procurez-vous les guides de développement. Découvrez la technologie. Comprenez la science. Préparez votre application pour les utilisateurs et créez un lanceur 3D.

Ressources utiles sur Azure

Spatial Anchors
Spatial Anchors
Speech ServicesServices Speech Services de visionServices Vision
Spatial Anchors est un service multiplateforme qui vous permet de créer des expériences de réalité mixte à l’aide d’objets qui restent au même endroit sur tous les appareils. Découvrez les fonctionnalités vocales Azure, telles que la reconnaissance vocale, la reconnaissance de l’orateur ou la traduction vocale, que vous pouvez intégrer à votre application. Identifiez et analysez le contenu de vos images et de vos vidéos à l’aide des services de vision, tels que la vision par ordinateur, la détection des visages, la reconnaissance des émotions ou l’indexeur de vidéos.

Comment contribuer

Découvrez comment vous pouvez contribuer à MRTK sur Contribution.

Obtenir de l’aide

Si vous rencontrez des problèmes dus à l’utilisation de MRTK ou si vous avez des questions sur la façon d’effectuer une opération, vous pouvez vous aider des différentes ressources disponibles :