Qu’est-ce que Mixed Reality Toolkit 2 ?

MRTK-Unity est un projet piloté par Microsoft qui fournit un ensemble de composants et de fonctionnalités, utilisés pour accélérer le développement d’applications mr multiplateformes dans Unity. Voici quelques-unes de ses fonctions :

• Fournit le système d’entrée multiplateforme et les blocs de construction pour les interactions spatiales et l’interface utilisateur.
• Permet un prototypage rapide via une simulation dans l’éditeur qui vous permet de voir immédiatement les modifications.
• Fonctionne comme une infrastructure extensible qui offre aux développeurs la possibilité d’échanger des composants principaux.
• Prend en charge un large éventail d’appareils :

Plug-in du Kit de développement logiciel (SDK) XR (fournisseurs de plug-ins de gestion des plug-ins XR Unity)	Appareils pris en charge
Plug-in OpenXR Unity (Unity 2020 ou 2021 LTS) (Mixed Reality plug-in OpenXR requis pour certaines fonctionnalités sur certains appareils)	Microsoft HoloLens 2 casques Windows Mixed Reality Meta Quest Appareil s’exécutant sur SteamVR via OpenXR
Plug-in Windows XR	Microsoft HoloLens Microsoft HoloLens 2 casques Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou version ultérieure LTS)	Meta Quest (via le package d’intégration Oculus)
ARCore XR Plug-in	Android (via AR Foundation)
ARKit XR Plug-in	iOS (via AR Foundation)

Appareils supplémentaires pris en charge :

• Contrôleur Leap Motion Ultraleap pour le suivi de la main

Remarque

Nous avons introduit la préversion publique de MRTK3, le prochain chapitre de MRTK. Pour plus d’informations, consultez la documentation MRTK3.

Prise en main de MRTK

Si vous débutez avec MRTK ou Mixed Reality développement dans Unity, nous vous recommandons d’installer et d’explorer l’exemple d’application MRTK Examples Hub sur votre appareil ou émulateur.

Télécharger l’application Hub d’exemples MRTK

Une fois que vous avez la connaissance de ce que Mixed Reality et MRTK a à offrir, installez les outils nécessaires et suivez notre série de tutoriels de niveau débutant HoloLens 2.

Installer les outils

série de tutoriels HoloLens 2

Vous voulez voir ce qui se passe sous le capot ?

Explorer MRTK sur GitHub

Documentation

Notes de publication	Vue d’ensemble de MRTK	Référence d’API

Build status

Branch	État CI	État de la documentation
main

Zones de caractéristiques

Système d’entrée

Suivi de la main
(HoloLens 2)

Suivi oculaire
(HoloLens 2)

Profils

Suivi de la main
(Ultraleap)

Contrôles de l’interface utilisateur

Solveurs

Multi-scène
Gérant

Spatial
Conscience

Diagnostique
Outil

MrTK Standard l’exemple de vue nuanceur

Discours
Dictée &

Limite
Système

In-Rédacteur
Simulation

Expérimental
Fonctionnalités

Blocs de construction UX

Bouton bouton
Contrôle bouton qui prend en charge différentes méthodes d’entrée, y compris la main articulée de HoloLens 2

Contrôle de limites
Standard interface utilisateur pour la manipulation d’objets dans l’espace 3D

d’objet Manipulateur d’objet
Script pour la manipulation d’objets avec une ou deux mains

Ardoise
Plan de style 2D qui prend en charge le défilement avec une entrée manuelle articulée

système
Exemple de script d’utilisation du clavier système dans Unity

Interactable
Script pour rendre les objets interagissant avec les états visuels et la prise en charge des thèmes

Solver
Divers comportements de positionnement d’objet tels que les balises, le verrouillage du corps, la taille de vue constante et le magnétisme de surface

Collection d’objets
Script pour la disposition d’un tableau d’objets dans une forme tridimensionnelle

Interface utilisateur d’annotation avec un système d’ancre/pivot flexible, qui peut être utilisé pour l’étiquetage des contrôleurs de mouvement et des objets

Curseur Curseur
Interface utilisateur du curseur pour ajuster les valeurs prenant en charge l’interaction de suivi direct de la main

STANDARD Nuanceur MRTK
Le nuanceur Standard de MRTK prend en charge divers éléments de conception Fluent avec des performances

main
Interface utilisateur verrouillée à la main pour un accès rapide, à l’aide du solveur de contraintes manuelles

Barre d’applications de la barre d’applications
Interface utilisateur pour l’activation manuelle de Bounds Control

Pointeurs
En savoir plus sur les différents types de pointeurs

doigts Visualisation des doigts
Affordance visuelle sur le bout des doigts qui améliore la confiance pour l’interaction directe

Menu proche
Interface utilisateur de menu flottant pour les interactions proches

Vue de la reconnaissance spatiale
Faire en sorte que vos objets holographiques interagissent avec les environnements physiques

Commande vocale
Scripts et exemples pour l’intégration d’une entrée vocale

de progression
Indicateur visuel pour la communication d’un processus ou d’une opération de données

Boîte de dialogue
Interface utilisateur pour demander la confirmation ou l’accusé de réception de l’utilisateur

Hand Coach
Composant qui aide à guider l’utilisateur lorsque le mouvement n’a pas été enseigné

des mains service de physique des mains [expérimental]
Le service de physique des mains permet des événements de collision rigides du corps et des interactions avec les mains articulées

Scrolling Collection
Collection d’objets qui défile en mode natif des objets 3D

Dock [Expérimental]
Le Dock permet aux objets d’être déplacés dans et hors de positions prédéterminées

: Sélection cible
Combiner l’entrée des yeux, de la voix et de la main pour sélectionner rapidement et sans effort des hologrammes dans votre scène

: navigation
Découvrez comment faire défiler automatiquement le texte ou effectuer un zoom fluide sur du contenu ciblé en fonction de ce que vous regardez

Eye Tracking : Heat Map
Exemples de journalisation, de chargement et de visualisation de ce que les utilisateurs ont regardé dans votre application

Outils

Fenêtre Optimiser la fenêtre	Fenêtre de dépendance	Build	Enregistrement d’entrée
Automatiser la configuration des projets Mixed Reality pour optimiser les performances	Analyser les dépendances entre les ressources et identifier les ressources inutilisées	Configurer et exécuter un processus de génération de bout en bout pour les applications Mixed Reality	Enregistrer et lire les données de déplacement de la tête et de suivi de la main dans l’éditeur

Exemples de scènes

MRTK fournit des exemples de scènes qui montrent comment utiliser les fonctionnalités de MRTK. Vous trouverez les exemples de scènes sous le dossier Assets/MRTK/Examples/Demos. Lisez la page Exemples de scènes pour découvrir comment acquérir et exécuter des exemples de scènes. La scène Exemples d’interaction manuelle est un excellent endroit pour commencer à découvrir les blocs de construction de MRTK pour les interactions et l’interface utilisateur.

Hub d’exemples MRTK

Avec le hub d’exemples MRTK, vous pouvez essayer différents exemples de scènes dans MRTK sans générer et déployer chaque scène. Vous pouvez télécharger des packages d’application prédéfinis pour HoloLens(x86), HoloLens 2 (ARM) et Windows Mixed Reality casques immersifs (x64) en sélectionnant le package « Mixed Reality Toolkit Examples » dans l’outil de fonctionnalité MR. Veillez à utiliser le portail d’appareil Windows pour installer des applications sur HoloLens (1ère génération). Sur HoloLens 2, vous pouvez télécharger et installer MRTK Examples Hub via l’application Microsoft Store.

Pour en savoir plus sur la création d’un hub à plusieurs scènes avec le système de scène et le service de transition de scène de MRTK, consultez la page LISEZ-moi du hub Exemples .

Exemples d’applications créées avec MRTK

La table périodique des éléments est un exemple d’application open source qui montre comment utiliser le système d’entrée et les blocs de construction de MRTK pour créer une expérience d’application pour hololens et casques immersifs. Lire l’article sur le portage : Ajout de la table périodique de l’application Éléments à HoloLens 2 avec MRTK v2	Galaxy Explorer est un exemple d’application open source qui a été initialement développé en mars 2016 dans le cadre de la campagne HoloLens « Partagez votre idée ». Galaxy Explorer a été mis à jour avec de nouvelles fonctionnalités pour HoloLens 2, à l’aide de MRTK v2. Lire l’histoire : The Making of Galaxy Explorer pour HoloLens 2	Surfaces est un exemple d’application open source pour HoloLens 2 qui explore comment nous pouvons créer une sensation tactile avec un suivi de la main visuel, audio et entièrement articulé. Pour plus d’informations sur la conception et le développement, consultez la session Microsoft MR Dev Days Learnings de l’application Surfaces .

Vidéos de session de Mixed Reality Dev Days 2020

Tutoriel sur la création d’une application MRTK simple du début à la fin. Découvrez les concepts d’interaction et les fonctionnalités multiplateformes de MRTK.	Présentation approfondie des blocs de construction de l’expérience utilisateur de MRTK qui vous aident à créer de belles expériences de réalité mixte.	Présentation des outils de performances, à la fois en MRTK et en externe, ainsi qu’une vue d’ensemble de MRTK Standard Shader.

Consultez Mixed Reality Dev Days pour découvrir d’autres vidéos de session.

Engage avec la communauté

• Rejoignez la conversation autour de MRTK sur Slack. Vous pouvez rejoindre la communauté Slack via l’expéditeur automatique de l’invitation.

• Posez des questions sur l’utilisation de MRTK sur Stack Overflow à l’aide de la balise MRTK .

• Recherchez les problèmes connus ou créez un nouveau problème si vous trouvez un problème rompu dans le code MRTK.

• Pour toute question sur la contribution à MRTK, accédez au canal mixed-reality-toolkit sur Slack.

Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d’informations, consultez la FAQ sur le code de conduite ou contactez-nous opencode@microsoft.com pour toute question ou commentaire supplémentaire.

Ressources utiles sur Mixed Reality Centre de développement

Découvrir			Distribuer
Apprenez à créer des expériences de réalité mixte pour HoloLens et les casques immersifs (VR).	Obtenez des guides de conception. Créer une interface utilisateur. Découvrez les interactions et les entrées.	Obtenir des guides de développement. Découvrez la technologie. Comprendre la science.	Préparez votre application pour d’autres utilisateurs et envisagez de créer un lanceur 3D.

Ressources utiles sur Azure

Services Speech Speech	Vision Services
Découvrez et intégrez dans votre application des fonctionnalités vocales optimisées par Azure, telles que la reconnaissance vocale, la reconnaissance de l’orateur ou la traduction vocale.	Identifiez et analysez votre image ou votre contenu vidéo à l’aide des services Vision, comme la vision par ordinateur, la détection des visages, la reconnaissance des émotions ou l’indexeur vidéo.

Comment participer

Découvrez comment vous pouvez contribuer à MRTK dans Contribution.

Obtenir de l’aide

Si vous rencontrez des problèmes causés par MRTK ou si vous avez des questions sur la façon de faire quelque chose, il existe quelques ressources qui peuvent vous aider :

• Pour les rapports de bogues, signalez un problème sur le dépôt GitHub.
• Pour toute question, contactez StackOverflow ou le canal mixed-reality-toolkit sur Slack. Vous pouvez rejoindre la communauté Slack via l’expéditeur automatique de l’invitation.