Sdílet prostřednictvím


Co je Mixed Reality Toolkit 2?

Mixed Reality Toolkit


MRTK-Unity je projekt založený na Microsoftu, který obsahuje sadu komponent a funkcí urychlujících vývoj aplikací s hybridní realitou v Unity pro různé platformy. Příklady funkcí a možností:

  • Poskytuje vstupní systém pro různé platformy a stavební bloky pro prostorové interakce a uživatelské rozhraní.
  • Umožňuje rychlé vytváření prototypů prostřednictvím simulace v editoru, která umožňuje okamžitě zobrazit změny.
  • Funguje jako rozšiřitelná architektura , která vývojářům poskytuje možnost prohodit základní komponenty.
  • Podporuje širokou škálu zařízení:
Modul plug-in XR SDK (poskytovatelé modulů plug-in Pro správu modulů plug-in Unity XR) Podporovaná zařízení
Modul plug-in Unity OpenXR (Unity 2020 nebo 2021 LTS)
(Modul plug-in Mixed Reality OpenXR vyžadovaný pro určité funkce na určitých zařízeních)
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Meta Quest
Zařízení spuštěné na SteamVR přes OpenXR
Modul plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Modul plug-in Oculus XR (Unity 2019 nebo novější LTS) Meta Quest (prostřednictvím integračního balíčku Oculus)
ARCore XR Plug-in Android (přes AR Foundation)
ARKit XR Plug-in iOS (prostřednictvím ar Foundation)
Modul plug-in XR SDK (poskytovatelé modulů plug-in Pro správu modulů plug-in Unity XR) Podporovaná zařízení
Modul plug-in Unity OpenXR (Preview v MRTK 2.6, Unity 2020 nebo 2021 LTS)
(Modul plug-in Mixed Reality OpenXR vyžadovaný pro určité funkce na určitých zařízeních)
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Meta Quest
Zařízení spuštěné na SteamVR přes OpenXR
Modul plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Náhlavní soupravy Windows Mixed Reality
Modul plug-in Oculus XR (Unity 2019 nebo novější LTS) Meta Quest (prostřednictvím integračního balíčku Oculus)
ARCore XR Plug-in Android (přes AR Foundation)
ARKit XR Plug-in iOS (prostřednictvím ar Foundation)

Další podporovaná zařízení:

  • Ultraleap Leap Motion ovladač pro sledování rukou

Poznámka:

Představili jsme veřejnou verzi Preview MRTK3, další kapitolu MRTK. Další informace najdete v dokumentaci k MRTK3.

Začínáme s MRTK

Pokud s vývojem MRTK nebo hybridní reality v Unity začínáte, doporučujeme nainstalovat a prozkoumat ukázkovou aplikaci MRTK Examples Hub na vašem zařízení nebo emulátoru.

Jakmile budete mít pověsit, co hybridní realita a MRTK nabízí, nainstalujte potřebné nástroje a postupujte podle naší série kurzů HoloLens 2 na úrovni začátečníka.

Chcete vidět, co se děje pod kapotou?

Dokumentace

Poznámky k verzi
Poznámky k verzi
Přehled MRTK
Přehled MRTK
Referenční dokumentace ke knihovně API
Referenční materiály k rozhraní API

Stav sestavení

Pobočka Stav CI Stav docs
main Stav CI Stav docs

Oblasti funkcí

Řeč a diktování
Řeč
Diktování a diktování

Stavební bloky uživatelského rozhraní

TlačítkoTlačítko
Ovládací prvek tlačítka, který podporuje různé metody zadávání, včetně kloubové ruky HoloLens 2

Ovládací prvek HraniceOvládací prvek Hranice
Standardní uživatelské rozhraní pro manipulaci s objekty v prostorech 3D

Manipulátor objektůManipulátor objektů
Skript pro manipulaci s objekty jedním nebo dvěma rukama

BřidliceBřidlice
2D rovina stylu, která podporuje posouvání s kloubovým vstupem rukou

Systémová klávesniceSystémová klávesnice
Ukázkový skript použití systémové klávesnice v Unity

InteragovatelnéInteragovatelné
Skript pro interakci objektů se stavy vizuálů a podporou motivu

ŘešitelŘešitel
Různá chování umístění objektů, jako jsou značky, zámek těla, konstantní velikost zobrazení a magnetismus povrchu

Kolekce objektůKolekce objektů
Skript pro rozložení pole objektů v trojrozměrném tvaru

TooltipTooltip
Uživatelské rozhraní poznámek s flexibilním systémem ukotvení/pivotu, který lze použít k označování ovladačů pohybu a objektů

PosuvníkPosuvník
Uživatelské rozhraní posuvníku pro úpravu hodnot podporujících interakci s přímým sledováním rukou

Standardní shader MRTKStandardní shader MRTK
Standardní shader MRTK podporuje různé prvky návrhu Fluent s výkonem.

Nabídka RukouNabídka Rukou
Hand-locked UI for quick access, using the Hand Constraint Solver

Panel aplikacíPanel aplikací
Uživatelské rozhraní pro ruční aktivaci ovládacího prvku Bounds

UkazateleUkazatele
Další informace o různých typech ukazatelů

Vizualizace na dosah rukyVizualizace na dosah ruky
Vizuální dostupnost na dosah ruky, která zlepšuje spolehlivost přímé interakce

Nabídka PoblížNabídka Poblíž
Plovoucí uživatelské rozhraní nabídky pro téměř interakce

Začínáme s prostorovou informovanostíZobrazení prostorového povědomí
Interakce holografických objektů s fyzickými prostředími

Hlasový příkazHlasový příkaz
Skripty a příklady pro integraci vstupu řeči

Indikátor průběhuIndikátor průběhu
Vizuální indikátor pro komunikaci procesu nebo operace dat

DialogDialog
Uživatelské rozhraní pro žádost o potvrzení nebo potvrzení uživatele

Trenér rukouTrenér rukou
Komponenta, která pomáhá vést uživatele, když se gesto neučí

Služba fyziky rukouSlužba fyziky rukou [Experimentální]
Služba fyziky rukou umožňuje kolize tuhého těla a interakce s kloubovými rukama.

Posouvání kolekcePosouvání kolekce
Kolekce objektů, která nativně posouvá 3D objekty

DokDock [Experimentální]
Dock umožňuje přesun objektů do a z předem určených pozic.

Sledování očí: Výběr cíleSledování očí: Výběr cíle
Kombinování očí, hlasu a vstupu rukou a rychlého a snadného výběru hologramů ve scéně

Sledování očí: NavigaceSledování očí: Navigace
Přečtěte si, jak automaticky posouvat text nebo plynule přiblížit obsah na základě toho, na co se díváte.

Sledování očí: Heat mapaSledování očí: Heat mapa
Příklady protokolování, načítání a vizualizace, na které se uživatelé dívali ve vaší aplikaci

Nástroje

Okno OptimalizovatOkno Optimalizovat Okno závislostíOkno závislostí Okno sestaveníOkno sestavení Záznam vstupuZáznam vstupu
Automatizace konfigurace projektů hybridní reality pro optimalizace výkonu Analýza závislostí mezi prostředky a identifikace nepoužívaných prostředků Konfigurace a spuštění kompletního procesu sestavení pro aplikace hybridní reality Záznam a přehrávání údajů o pohybu hlavy a sledování rukou v editoru

Ukázkové scény

MRTK poskytuje ukázkové scény, které ukazují, jak používat funkce MRTK. Ukázkové scény najdete ve složce Assets/MRTK/Examples/Demos. Na stránce Ukázkové scény se dozvíte, jak získat a spustit ukázkové scény. Scéna Příklady ruční interakce je skvělým místem, kde můžete začít používat stavební bloky MRTK pro interakce a uživatelské rozhraní.

Příklad scény 2

Centrum příkladů MRTK

Pomocí centra MRTK Examples Hub můžete vyzkoušet různé ukázkové scény v MRTK, aniž byste museli vytvářet a nasazovat jednotlivé scény. Předem připravené balíčky aplikací pro HoloLens(x86), HoloLens 2(ARM) a imerzivní náhlavní soupravy Windows Mixed Reality (x64) si můžete stáhnout tak, že v nástroji funkcí MR vyberete balíček Mixed Reality Toolkit Examples. Ujistěte se, že k instalaci aplikací na HoloLens (1. generace) používáte Portál zařízení s Windows. Na HoloLens 2 si můžete stáhnout a nainstalovat MRTK Examples Hub prostřednictvím aplikace Microsoft Store.

Další informace o vytvoření centra s více scénami pomocí systému scén a služby přechodu scény MRTK najdete na stránce s příklady souboru README.

Example Scene Hub

Ukázkové aplikace vytvořené pomocí MRTK

Periodická tabulka prvků Galaxy Explorer Povrchy ukázkové aplikace
Periodická tabulka elementů je opensourcová ukázková aplikace, která ukazuje, jak pomocí vstupního systému a stavebních bloků MRTK vytvořit prostředí aplikace pro HoloLens a Imerzivní náhlavní soupravy. Přečtěte si příběh přenosu: Přenesení pravidelné tabulky aplikace Elements do HoloLens 2 s MRTK v2 Galaxy Explorer je opensourcová ukázková aplikace, která byla původně vyvinuta v březnu 2016 jako součást kampaně HoloLens "Sdílet váš nápad". Galaxy Explorer byl aktualizován o nové funkce pro HoloLens 2 pomocí MRTK v2. Přečtěte si příběh: Vytváření Galaxy Exploreru pro HoloLens 2 Povrchy je opensourcová ukázková aplikace pro HoloLens 2, která zkoumá, jak můžeme vytvořit pocit hmatu s vizuálním, zvukovým a plně kloubovým sledováním rukou. Podrobné informace o návrhu a vývoji najdete v kurzech relací Microsoft MR Dev Days z aplikace Surfaces.

Videa o relacích z hybridní reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Kurz vytvoření jednoduché aplikace MRTK od začátku do konce Seznamte se s koncepty interakce a funkcemi MRTK pro více platforem. Podrobné informace o stavebních blocích uživatelského prostředí MRTK, které vám pomůžou vytvářet krásné prostředí hybridní reality. Úvod do nástrojů pro měření výkonu, a to jak v MRTK, tak i v externím prostředí, a také přehled standardního shaderu MRTK.

Další videa o relacích najdete v tématu Dev Days hybridní reality.

Zapojení komunity

  • Připojte se ke konverzaci kolem MRTK ve Slacku. Ke komunitě Slack se můžete připojit prostřednictvím automatického odesílatele pozvánky.

  • Ptejte se na používání MRTK na Stack Overflow pomocí značky MRTK .

  • Pokud v kódu MRTK najdete něco poškozeného, vyhledejte známé problémy nebo vytvořte nový problém.

  • Pokud máte dotazy týkající se přispívání do MRTK, přejděte na kanál mixed-reality-toolkit ve slacku.

Tento projekt se řídí Pravidly chování pro Microsoft Open Source. Další informace najdete v nejčastějších dotazech k pravidlům chování. S případnými dalšími dotazy nebo připomínkami se obraťte na adresu opencode@microsoft.com.

Užitečné zdroje informací ve službě Mixed Reality Dev Center

ZjišťováníObjevit NávrhNavrhnout VývojVyvinout Distribuce)Distribuovat
Naučte se vytvářet prostředí hybridní reality pro HoloLens a imerzivní náhlavní soupravy (VR). Získejte průvodce návrhem. Sestavení uživatelského rozhraní Naučte se interakce a vstupy. Získejte průvodce vývojem. Seznamte se s technologií. Porozumíte vědě. Připravte si aplikaci pro ostatní a zvažte vytvoření 3D spouštěče.

Užitečné zdroje informací v Azure

Spatial Anchors
Spatial Anchors
Služby SpeechSpeech Services Služby zpracování obrazuVision Services
Spatial Anchors je multiplatformní služba, která umožňuje vytvářet prostředí hybridní reality pomocí objektů, které v průběhu času uchovávají jejich umístění na různých zařízeních. Objevte a integrujte funkce řeči založené na Azure, jako je převod řeči na text, rozpoznávání mluvčího nebo překlad řeči do vaší aplikace. Identifikujte a analyzujte svůj obrázek nebo videoobsádek pomocí služeb Vision Services, jako je počítačové zpracování obrazu, rozpoznávání tváře, rozpoznávání emocí nebo video indexer.

Jak přispět

Přečtěte si, jak můžete přispívat do MRTK na webu Contribute.

Získání nápovědy

Pokud narazíte na problémy způsobené MRTK nebo máte jiné dotazy ohledně toho, jak něco udělat, existuje několik zdrojů, které vám můžou pomoct:

  • V případě zpráv o chybách zapište problém v úložišti GitHub.
  • Pokud máte dotazy, obraťte se prosím na StackOverflow nebo na kanál mixed-reality-toolkit ve Slacku. Ke komunitě Slack se můžete připojit prostřednictvím automatického odesílatele pozvánky.