Partager via


Qu’est-ce que Mixed Reality Toolkit 2 ?

Mixed Reality Toolkit


MRTK-Unity est un projet piloté par Microsoft qui fournit un ensemble de composants et de fonctionnalités, utilisés pour accélérer le développement d’applications mr multiplateformes dans Unity. Voici quelques-unes de ses fonctions :

  • Fournit le système d’entrée multiplateforme et les blocs de construction pour les interactions spatiales et l’interface utilisateur.
  • Permet un prototypage rapide via une simulation dans l’éditeur qui vous permet de voir immédiatement les modifications.
  • Fonctionne comme une infrastructure extensible qui offre aux développeurs la possibilité d’échanger des composants principaux.
  • Prend en charge un large éventail d’appareils :
Plug-in du Kit de développement logiciel (SDK) XR (fournisseurs de plug-ins de gestion des plug-ins XR Unity) Appareils pris en charge
Plug-in OpenXR Unity (Unity 2020 ou 2021 LTS)
(Mixed Reality plug-in OpenXR requis pour certaines fonctionnalités sur certains appareils)
Microsoft HoloLens 2
casques Windows Mixed Reality
Meta Quest
Appareil s’exécutant sur SteamVR via OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
casques Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou version ultérieure LTS) Meta Quest (via le package d’intégration Oculus)
ARCore XR Plug-in Android (via AR Foundation)
ARKit XR Plug-in iOS (via AR Foundation)
Plug-in du Kit de développement logiciel (SDK) XR (fournisseurs de plug-ins de gestion des plug-ins XR Unity) Appareils pris en charge
Plug-in Unity OpenXR (préversion dans MRTK 2.6, Unity 2020 ou 2021 LTS)
(Mixed Reality plug-in OpenXR requis pour certaines fonctionnalités sur certains appareils)
Microsoft HoloLens 2
casques Windows Mixed Reality
Meta Quest
Appareil s’exécutant sur SteamVR via OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
casques Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou version ultérieure LTS) Meta Quest (via le package d’intégration Oculus)
ARCore XR Plug-in Android (via AR Foundation)
ARKit XR Plug-in iOS (via AR Foundation)

Appareils supplémentaires pris en charge :

  • Contrôleur Leap Motion Ultraleap pour le suivi de la main

Remarque

Nous avons introduit la préversion publique de MRTK3, le prochain chapitre de MRTK. Pour plus d’informations, consultez la documentation MRTK3.

Prise en main de MRTK

Si vous débutez avec MRTK ou Mixed Reality développement dans Unity, nous vous recommandons d’installer et d’explorer l’exemple d’application MRTK Examples Hub sur votre appareil ou émulateur.

Une fois que vous avez la connaissance de ce que Mixed Reality et MRTK a à offrir, installez les outils nécessaires et suivez notre série de tutoriels de niveau débutant HoloLens 2.

Vous voulez voir ce qui se passe sous le capot ?

Documentation

Notes de publication
Notes de publication
Vue d’ensemble de MRTK
Vue d’ensemble de MRTK
Informations de référence sur l’API
Référence d’API

Build status

Branch État CI État de la documentation
main État CI État de la documentation

Zones de caractéristiques

Blocs de construction UX

Bouton bouton
Contrôle bouton qui prend en charge différentes méthodes d’entrée, y compris la main articulée de HoloLens 2

Contrôle de limites Contrôle de limites
Standard interface utilisateur pour la manipulation d’objets dans l’espace 3D

Manipulateur d’objet Manipulateur d’objet
Script pour la manipulation d’objets avec une ou deux mains

Ardoise
Plan de style 2D qui prend en charge le défilement avec une entrée manuelle articulée

Clavier système clavier système
Exemple de script d’utilisation du clavier système dans Unity

Interactable
Script pour rendre les objets interagissant avec les états visuels et la prise en charge des thèmes

Solveur Solver
Divers comportements de positionnement d’objet tels que les balises, le verrouillage du corps, la taille de vue constante et le magnétisme de surface

Collection d’objets
Script pour la disposition d’un tableau d’objets dans une forme tridimensionnelle

Info-bulle
Interface utilisateur d’annotation avec un système d’ancre/pivot flexible, qui peut être utilisé pour l’étiquetage des contrôleurs de mouvement et des objets

Curseur Curseur
Interface utilisateur du curseur pour ajuster les valeurs prenant en charge l’interaction de suivi direct de la main

Nuanceur MRTK Standard STANDARD Nuanceur MRTK
Le nuanceur Standard de MRTK prend en charge divers éléments de conception Fluent avec des performances

Menu main menu main
Interface utilisateur verrouillée à la main pour un accès rapide, à l’aide du solveur de contraintes manuelles

Barre d’applications de la barre d’applications
Interface utilisateur pour l’activation manuelle de Bounds Control

Pointeurs Pointeurs
En savoir plus sur les différents types de pointeurs

Visualisation des doigts Visualisation des doigts
Affordance visuelle sur le bout des doigts qui améliore la confiance pour l’interaction directe

Menu proche Menu proche
Interface utilisateur de menu flottant pour les interactions proches

Prise en main de la reconnaissance spatiale Vue de la reconnaissance spatiale
Faire en sorte que vos objets holographiques interagissent avec les environnements physiques

Commande vocale Commande vocale
Scripts et exemples pour l’intégration d’une entrée vocale

Indicateur de progression Indicateur de progression
Indicateur visuel pour la communication d’un processus ou d’une opération de données

Boîte de dialogue
Interface utilisateur pour demander la confirmation ou l’accusé de réception de l’utilisateur

Hand Coach Hand Coach
Composant qui aide à guider l’utilisateur lorsque le mouvement n’a pas été enseigné

Service de physique des mains service de physique des mains [expérimental]
Le service de physique des mains permet des événements de collision rigides du corps et des interactions avec les mains articulées

Scrolling Collection Scrolling Collection
Collection d’objets qui défile en mode natif des objets 3D

Dock [Expérimental]
Le Dock permet aux objets d’être déplacés dans et hors de positions prédéterminées

Suivi oculaire : Suivi oculaire de la sélection cible : Sélection cible
Combiner l’entrée des yeux, de la voix et de la main pour sélectionner rapidement et sans effort des hologrammes dans votre scène

Suivi oculaire : suivi oculaire de navigation : navigation
Découvrez comment faire défiler automatiquement le texte ou effectuer un zoom fluide sur du contenu ciblé en fonction de ce que vous regardez

Eye Tracking : Heat Map Eye Tracking : Heat Map
Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application

Outils

Optimiser la fenêtre Fenêtre Optimiser la fenêtre Fenêtre de dépendances Fenêtre de dépendance Fenêtre Générer une fenêtre Build Enregistrement d’entrée Enregistrement d’entrée
Automatiser la configuration des projets Mixed Reality pour optimiser les performances Analyser les dépendances entre les ressources et identifier les ressources inutilisées Configurer et exécuter un processus de génération de bout en bout pour les applications Mixed Reality Enregistrer et lire les données de déplacement de la tête et de suivi de la main dans l’éditeur

Exemples de scènes

MRTK fournit des exemples de scènes qui montrent comment utiliser les fonctionnalités de MRTK. Vous trouverez les exemples de scènes sous le dossier Assets/MRTK/Examples/Demos. Lisez la page Exemples de scènes pour découvrir comment acquérir et exécuter des exemples de scènes. La scène Exemples d’interaction manuelle est un excellent endroit pour commencer à découvrir les blocs de construction de MRTK pour les interactions et l’interface utilisateur.

Exemple de scène 2

Hub d’exemples MRTK

Avec le hub d’exemples MRTK, vous pouvez essayer différents exemples de scènes dans MRTK sans générer et déployer chaque scène. Vous pouvez télécharger des packages d’application prédéfinis pour HoloLens(x86), HoloLens 2 (ARM) et Windows Mixed Reality casques immersifs (x64) en sélectionnant le package « Mixed Reality Toolkit Examples » dans l’outil de fonctionnalité MR. Veillez à utiliser le portail d’appareil Windows pour installer des applications sur HoloLens (1ère génération). Sur HoloLens 2, vous pouvez télécharger et installer MRTK Examples Hub via l’application Microsoft Store.

Pour en savoir plus sur la création d’un hub à plusieurs scènes avec le système de scène et le service de transition de scène de MRTK, consultez la page LISEZ-moi du hub Exemples .

Exemple de hub de scène

Exemples d’applications créées avec MRTK

Tableau périodique des éléments Galaxy Explorer Exemple d’application Surfaces
La table périodique des éléments est un exemple d’application open source qui montre comment utiliser le système d’entrée et les blocs de construction de MRTK pour créer une expérience d’application pour hololens et casques immersifs. Lire l’article sur le portage : Ajout de la table périodique de l’application Éléments à HoloLens 2 avec MRTK v2 Galaxy Explorer est un exemple d’application open source qui a été initialement développé en mars 2016 dans le cadre de la campagne HoloLens « Partagez votre idée ». Galaxy Explorer a été mis à jour avec de nouvelles fonctionnalités pour HoloLens 2, à l’aide de MRTK v2. Lire l’histoire : The Making of Galaxy Explorer pour HoloLens 2 Surfaces est un exemple d’application open source pour HoloLens 2 qui explore comment nous pouvons créer une sensation tactile avec un suivi de la main visuel, audio et entièrement articulé. Pour plus d’informations sur la conception et le développement, consultez la session Microsoft MR Dev Days Learnings de l’application Surfaces .

Vidéos de session de Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutoriel sur la création d’une application MRTK simple du début à la fin. Découvrez les concepts d’interaction et les fonctionnalités multiplateformes de MRTK. Présentation approfondie des blocs de construction de l’expérience utilisateur de MRTK qui vous aident à créer de belles expériences de réalité mixte. Présentation des outils de performances, à la fois en MRTK et en externe, ainsi qu’une vue d’ensemble de MRTK Standard Shader.

Consultez Mixed Reality Dev Days pour découvrir d’autres vidéos de session.

Engage avec la communauté

Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d’informations, consultez la FAQ sur le code de conduite ou contactez-nous opencode@microsoft.com pour toute question ou commentaire supplémentaire.

Ressources utiles sur Mixed Reality Centre de développement

Découvrir Découvrir Conception Développer développer Distribuer) Distribuer
Apprenez à créer des expériences de réalité mixte pour HoloLens et les casques immersifs (VR). Obtenez des guides de conception. Créer une interface utilisateur. Découvrez les interactions et les entrées. Obtenir des guides de développement. Découvrez la technologie. Comprendre la science. Préparez votre application pour d’autres utilisateurs et envisagez de créer un lanceur 3D.

Ressources utiles sur Azure

Services SpeechServices Speech Vision Services Vision Services
Découvrez et intégrez dans votre application des fonctionnalités vocales optimisées par Azure, telles que la reconnaissance vocale, la reconnaissance de l’orateur ou la traduction vocale. Identifiez et analysez votre image ou votre contenu vidéo à l’aide des services Vision, comme la vision par ordinateur, la détection des visages, la reconnaissance des émotions ou l’indexeur vidéo.

Comment participer

Découvrez comment vous pouvez contribuer à MRTK dans Contribution.

Obtenir de l’aide

Si vous rencontrez des problèmes causés par MRTK ou si vous avez des questions sur la façon de faire quelque chose, il existe quelques ressources qui peuvent vous aider :