Che cos'è Realtà mista Toolkit 2?

Mixed Reality Toolkit


MRTK-Unity è un progetto gestito da Microsoft che fornisce un set di componenti e funzionalità che consentono di accelerare lo sviluppo di app di realtà mista multipiattaforma in Unity. Ecco alcune delle sue funzioni:

  • Fornisce il sistema di input multipiattaforma e i blocchi predefiniti per le interazioni spaziali e l'interfaccia utente.
  • Consente la creazione rapida di prototipi tramite simulazione nell'editor che consente di visualizzare immediatamente le modifiche.
  • Opera come framework estendibile che fornisce agli sviluppatori la possibilità di scambiare componenti di base.
  • Supporta un'ampia gamma di dispositivi:
Plug-in XR SDK (provider di plug-in per plug-in Unity XR) Dispositivi supportati
Plug-in Unity OpenXR (Unity 2020 o 2021 LTS)
(Realtà mista Plug-in OpenXR richiesto per determinate funzionalità in determinati dispositivi)
Microsoft HoloLens 2
Visori VR di Windows Mixed Reality
Meta Quest
Dispositivo in esecuzione su SteamVR tramite OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Visori VR di Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 o versione successiva di LTS) Meta Quest (tramite pacchetto di integrazione Oculus)
ARCore XR Plug-in Android (tramite AR Foundation)
ARKit XR Plug-in iOS (tramite AR Foundation)
Plug-in XR SDK (provider di plug-in per plug-in Unity XR) Dispositivi supportati
Plug-in Unity OpenXR (anteprima in MRTK 2.6, Unity 2020 o 2021 LTS)
(Realtà mista Plug-in OpenXR richiesto per determinate funzionalità in determinati dispositivi)
Microsoft HoloLens 2
Visori VR di Windows Mixed Reality
Meta Quest
Dispositivo in esecuzione su SteamVR tramite OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Visori VR di Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 o versione successiva di LTS) Meta Quest (tramite pacchetto di integrazione Oculus)
ARCore XR Plug-in Android (tramite AR Foundation)
ARKit XR Plug-in iOS (tramite AR Foundation)

Dispositivi aggiuntivi supportati:

  • Controller Ultraleap Leap Motion per il rilevamento delle mani

Nota

È stata introdotta l'anteprima pubblica di MRTK3, il capitolo successivo di MRTK. Per altre informazioni, vedere la documentazione di MRTK3.

Introduzione a MRTK

Se non si ha familiarità con MRTK o Realtà mista sviluppo in Unity, è consigliabile installare ed esplorare l'applicazione di esempio dell'hub di esempi MRTK nel dispositivo o nell'emulatore.

Dopo aver eseguito il blocco di ciò che Realtà mista e MRTK deve offrire, installare gli strumenti necessari e seguire la serie di esercitazioni di livello principiante HoloLens 2.

Vuoi vedere cosa sta succedendo sotto il cappuccio?

Documentazione

Note sulla versione
Note sulla versione
Panoramica di MRTK
Panoramica di MRTK
Informazioni di riferimento sulle API
Riferimento API

Stato della compilazione

Ramo Stato CI Stato di Docs
main Stato CI Stato di Docs

Aree di funzionalità

Blocchi predefiniti dell'esperienza utente

ButtonPulsante
Controllo pulsante che supporta vari metodi di input, tra cui la mano articolata di HoloLens 2

Controllo Limiti di controllo
Interfaccia utente standard per la modifica di oggetti nello spazio 3D

Manipolatoreoggetti oggetto
Script per la modifica di oggetti con una o due mani

SlateSlate Slate
Piano di stile 2D che supporta lo scorrimento con input a mano articolato

System KeyboardTastiera del sistema di sistema
Script di esempio dell'uso della tastiera di sistema in Unity

InteractableInterazionebile
Uno script per rendere gli oggetti interagisci con gli stati visivi e il supporto del tema

Risolutorerisolutore
Vari comportamenti di posizionamento degli oggetti, ad esempio tag-lungo, blocco corpo, dimensioni di visualizzazione costante e magnetismo della superficie

Object CollectionInsieme di oggetti raccolta oggetti
Script per la disposizione di una matrice di oggetti in una forma tridimensionale

TooltipDescrizione comando Descrizione comando
Interfaccia utente di annotazione con un sistema di ancoraggio/pivot flessibile, che può essere usato per l'etichettatura di controller di movimento e oggetti

SliderDispositivo di scorrimento
Interfaccia utente del dispositivo di scorrimento per la modifica dei valori che supportano l'interazione diretta di rilevamento delle mani

MRTKStandard Shader MRTK Standard Shader
Lo shader Standard di MRTK supporta vari elementi di progettazione Fluent con prestazioni

Hand MenuMenu a mano
Interfaccia utente bloccata a mano per l'accesso rapido, usando il risolutore dei vincoli di mano

Barradelle app della barra delle app della barra delle app
Interfaccia utente per l'attivazione manuale di Bounds Control

PointersPuntatori puntatori
Informazioni su vari tipi di puntatori

Visualizzazionedella punta della punta della mano
Accesso visivo sulla punta di mano che migliora la fiducia per l'interazione diretta

Near MenuMenu vicino al menu Vicino
Interfaccia utente del menu mobile per le interazioni vicino

Consapevolezza spaziale Introduzione allavisualizzazione della consapevolezza spaziale
Rendere gli oggetti olografici interagire con gli ambienti fisici

Comando vocale deicomandi vocali
Script ed esempi per l'integrazione dell'input vocale

Indicatore distato indicatore di avanzamento
Indicatore visivo per comunicare il processo o l'operazione dei dati

DialogFinestra di dialogo
Interfaccia utente per richiedere conferma o conferma dell'utente

HandCoach Hand Coach
Componente che aiuta a guidare l'utente quando il movimento non è stato insegnato

Servizio fisicamano mano fisica [sperimentale]
Il servizio di fisica della mano consente eventi di collisione del corpo rigidi e interazioni con mani articolate

Raccoltadi scorrimento della raccolta di scorrimento
Raccolta di oggetti che scorre in modo nativo oggetti 3D

DockDock [sperimentale]
Il Dock consente di spostare gli oggetti in e fuori posizioni predeterminate

Rilevamento oculare: Rilevamento oculare di selezione di destinazione: selezione di destinazione
Combinare gli occhi, la voce e l'input della mano per selezionare rapidamente e senza sforzo gli ologrammi nella scena

Rilevamento oculare:rilevamento degli occhi di spostamento: navigazione
Informazioni su come scorrere automaticamente il testo o ingrandire in modo fluente il contenuto incentrato in base a ciò che si sta guardando

Rilevamento oculare: rilevamento degli occhi della mappa termica: Mappa termica
Esempi di registrazione, caricamento e visualizzazione di ciò che gli utenti stanno esaminando nell'app

Strumenti

Finestra Ottimizza finestra diOttimizzazione finestra Finestra di dipendenzadella finestra di dipendenza Finestra di compilazione della finestra di compilazione Registrazione input registrazione input
Automatizzare la configurazione dei progetti di Realtà mista per le ottimizzazioni delle prestazioni Analizzare le dipendenze tra asset e identificare gli asset inutilizzati Configurare ed eseguire un processo di compilazione end-to-end per le applicazioni Realtà mista Registrare e riprodurre i dati di rilevamento della testa e della mano nell'editor

Scene di esempio

MRTK fornisce scene di esempio che illustrano come usare le funzionalità di MRTK. È possibile trovare le scene di esempio nella cartella Asset/MRTK/Esempi/Demos. Leggere la pagina Scene di esempio per informazioni su come acquisire ed eseguire scene di esempio. La scena Esempi di interazione mano è un luogo ideale per iniziare a sperimentare i blocchi predefiniti di MRTK per le interazioni e l'interfaccia utente.

Scena di esempio 2

Hub di esempi MRTK

Con l'hub di esempi MRTK, è possibile provare varie scene di esempio in MRTK senza creare e distribuire ogni scena. È possibile scaricare pacchetti di app predefiniti per HoloLens(x86), HoloLens 2(ARM) e Windows Mixed Reality visori vr immersivi(x64) selezionando il pacchetto "Realtà mista Toolkit Examples" nello strumento funzionalità MR. Assicurarsi di usare windows Device Portal per installare le app in HoloLens (prima generazione). In HoloLens 2 è possibile scaricare e installare l'hub di esempi MRTK tramite l'app Microsoft Store.

Per informazioni dettagliate sulla creazione di un hub multi-scena con il servizio di transizione della scena e della scena di MRTK, vedere La pagina Di esempi README dell'hub per informazioni dettagliate sulla creazione di un hub multi-scena con il servizio di transizione della scena e della scena di MRTK.

Hub scena di esempio

App di esempio eseguite con MRTK

Tavola periodica degli elementi Galaxy Explorer App di esempio surface
Tabella periodica degli elementi è un'app di esempio open source che illustra come usare il sistema di input e i blocchi predefiniti di MRTK per creare un'esperienza di app per HoloLens e visori vr immersive. Leggere la storia di conversione: Portare la tabella periodica dell'app Elements in HoloLens 2 con MRTK v2 Galaxy Explorer è un'app di esempio open source originariamente sviluppata nel marzo 2016 come parte della campagna HoloLens 'Share Your Idea'. Galaxy Explorer è stato aggiornato con nuove funzionalità per HoloLens 2, usando MRTK v2. Leggere la storia: Creazione di Galaxy Explorer per HoloLens 2 Surface è un'app di esempio open source per HoloLens 2 che illustra come è possibile creare una sensazione tattile con visuale, audio e rilevamento a mano completamente articolato. Vedere Microsoft MR Dev Days session Learnings dall'app Surface per la storia dettagliata di progettazione e sviluppo.

Video di sessione da Realtà mista Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Esercitazione su come creare un'app MRTK semplice dall'inizio alla fine. Informazioni sui concetti di interazione e sulle funzionalità multipiattaforma di MRTK. Approfondimenti sui blocchi predefiniti dell'esperienza utente di MRTK che consentono di creare esperienze di realtà mista belle. Introduzione agli strumenti per le prestazioni, sia in MRTK che in esterni, oltre a una panoramica dello Shader Standard MRTK.

Per esplorare altri video di sessione, vedere Realtà mista Dev Days.

Interagire con la community

Questo progetto ha adottato il Codice di comportamento di Microsoft per l'open source. Per altre informazioni, vedere Code of Conduct FAQ (Domande frequenti sul Codice di comportamento) oppure contattare opencode@microsoft.com per eventuali altre domande o commenti.

Risorse utili in Realtà mista Dev Center

Scopri individua Progettazione Sviluppare Distribuisci)Distribuire
Informazioni su come creare esperienze di realtà mista per HoloLens e visori vr immersivi. Ottenere le guide di progettazione. Compilare l'interfaccia utente. Informazioni sulle interazioni e sull'input. Ottenere le guide di sviluppo. Informazioni sulla tecnologia. Comprendere la scienza. Preparare l'app per gli utenti e valutare la possibilità di creare un'utilità di avvio 3D.

Risorse utili in Azure

Ancoraggi nello spazio
Ancoraggi nello spazio
Servizi voce servizi Voce Vision Services Vision Services
Gli ancoraggi spaziali sono un servizio multipiattaforma che consente di creare esperienze di Realtà mista usando oggetti che mantengono la loro posizione tra i dispositivi nel tempo. Individuare e integrare nell'applicazione le funzionalità vocali di Azure, come il riconoscimento vocale, il riconoscimento del parlante o la traduzione vocale. Identificare e analizzare il contenuto di immagini o video con i servizi di visione artificiale come il rilevamento dei volti, il riconoscimento delle emozioni o Video Indexer.

Come contribuire

Informazioni su come contribuire a MRTK in Collaboratore.

Risorse della Guida

Se si verificano problemi causati da MRTK o in caso contrario si verificano domande su come eseguire qualcosa, sono disponibili alcune risorse che possono essere utili: