Udostępnij za pośrednictwem


Co to jest zestaw narzędzi Mixed Reality Toolkit 2?

Zestaw narzędzi Mixed Reality Toolkit (MRTK)


MRTK-Unity to prowadzony przez firmę Microsoft projekt, który udostępnia zestaw składników i funkcji służących do przyspieszania opracowywania aplikacji międzyplatformowych rzeczywistości mieszanej w obrębie aparatu Unity. Oto niektóre z jego funkcji:

  • Udostępnia wieloplatformowy system wejściowy i bloki konstrukcyjne interakcji przestrzennych i interfejsu użytkownika.
  • Umożliwia szybkie tworzenie prototypów za pośrednictwem symulacji w edytorze, która umożliwia natychmiastowe wyświetlanie zmian.
  • Działa jako rozszerzalna struktura , która zapewnia deweloperom możliwość wymiany podstawowych składników.
  • Obsługuje szeroką gamę urządzeń:
Wtyczka zestawu XR SDK (dostawcy wtyczek zarządzania wtyczkami XR aparatu Unity) Obsługiwane urządzenia
Wtyczka Aparatu Unity OpenXR (Unity 2020 lub 2021 LTS)
(Wtyczka OpenXR rzeczywistości mieszanej wymagana dla niektórych funkcji na niektórych urządzeniach)
Microsoft HoloLens 2
Zestawy nagłowne windows Mixed Reality
Meta Quest
Urządzenie uruchomione na platformie SteamVR za pośrednictwem biblioteki OpenXR
Wtyczka XR systemu Windows Microsoft HoloLens
Microsoft HoloLens 2
Zestawy nagłowne Windows Mixed Reality
Wtyczka Oculus XR (Unity 2019 lub nowsza WERSJA LTS) Meta Quest (za pośrednictwem pakietu integracyjnego Oculus)
Wtyczka ARCore XR Android (za pośrednictwem AR Foundation)
Wtyczka ARKit XR iOS (za pośrednictwem programu AR Foundation)
Wtyczka zestawu XR SDK (dostawcy wtyczek zarządzania wtyczkami XR aparatu Unity) Obsługiwane urządzenia
Wtyczka Aparatu Unity OpenXR (wersja zapoznawcza w zestawie NARZĘDZI MRTK 2.6, Unity 2020 lub 2021 LTS)
(Wtyczka OpenXR rzeczywistości mieszanej wymagana dla niektórych funkcji na niektórych urządzeniach)
Microsoft HoloLens 2
Zestawy nagłowne windows Mixed Reality
Meta Quest
Urządzenie uruchomione na platformie SteamVR za pośrednictwem biblioteki OpenXR
Wtyczka XR systemu Windows Microsoft HoloLens
Microsoft HoloLens 2
Zestawy nagłowne Windows Mixed Reality
Wtyczka Oculus XR (Unity 2019 lub nowsza WERSJA LTS) Meta Quest (za pośrednictwem pakietu integracyjnego Oculus)
Wtyczka ARCore XR Android (za pośrednictwem AR Foundation)
Wtyczka ARKit XR iOS (za pośrednictwem programu AR Foundation)

Obsługiwane dodatkowe urządzenia:

  • Ultraleap Leap Motion kontroler do śledzenia rąk

Uwaga

Przedstawiliśmy publiczną wersję zapoznawcza mrTK3, kolejny rozdział zestawu narzędzi MRTK. Aby uzyskać więcej informacji, przejdź do dokumentacji zestawu NARZĘDZI MRTK3.

Wprowadzenie do zestawu narzędzi MRTK

Jeśli dopiero zaczynasz opracowywania zestawu narzędzi MRTK lub rzeczywistości mieszanej w środowisku Unity, zalecamy zainstalowanie i eksplorowanie przykładowej aplikacji MRTK Examples Hub na urządzeniu lub emulatorze.

Gdy wiesz, co ma do zaoferowania rzeczywistość mieszana i zestaw narzędzi MRTK, zainstaluj niezbędne narzędzia i postępuj zgodnie z naszą serią samouczków na poziomie początkującym HoloLens 2.

Chcesz zobaczyć, co się dzieje pod kapturem?

Dokumentacja

Informacje o wersji
Informacje o wersji
Omówienie zestawu narzędzi MRTK
Omówienie zestawu narzędzi MRTK
Dokumentacja interfejsu API
Dokumentacja interfejsu API

Stan kompilacji

Oddział Stan ciągłej integracji Stan witryny Docs
main Stan ciągłej integracji Stan witryny Docs

Obszary funkcji

Bloki konstrukcyjne środowiska użytkownika

PrzyciskPrzycisk
Kontrolka przycisku, która obsługuje różne metody wejściowe, w tym przegubową rękę urządzenia HoloLens 2

Kontrolka GraniceKontrolka Granice
Standardowy interfejs użytkownika do manipulowania obiektami w przestrzeni 3D

Manipulator obiektówManipulator obiektów
Skrypt do manipulowania obiektami za pomocą jednej lub dwóch rąk

ŁupekŁupek
Płaszczyzna stylu 2D, która obsługuje przewijanie z przegubowymi danymi wejściowymi

Klawiatura systemowaKlawiatura systemowa
Przykładowy skrypt użycia klawiatury systemowej w a aparatu Unity

Możliwość interakcjiMożliwość interakcji
Skrypt umożliwiający interakcję obiektów ze stanami wizualizacji i obsługą motywów

ZmiennaSolver
Różne zachowania pozycjonowania obiektów, takie jak tag wzdłuż, blokada ciała, stały rozmiar widoku i magnetyzm powierzchni

Kolekcja obiektówKolekcja obiektów
Skrypt do układania tablicy obiektów w kształcie trójwymiarowym

Etykietka narzędziaTooltip
Interfejs użytkownika adnotacji z elastycznym systemem kotwicy/przestawnym, który może służyć do etykietowania kontrolerów ruchu i obiektów

SuwakSlider
Interfejs użytkownika suwaka do dostosowywania wartości obsługujących bezpośrednią interakcję ze śledzeniem rąk

Cieniowania standardowego zestawu narzędzi MRTKCieniowania standardowego zestawu narzędzi MRTK
Cieniowania standardowe zestawu narzędzi MRTK obsługuje różne elementy projektowe Fluent z wydajnością

Menu ręczneMenu ręczne
Interfejs użytkownika zablokowany ręcznie w celu uzyskania szybkiego dostępu przy użyciu narzędzia do rozwiązywania ograniczeń ręcznych

Pasek aplikacjiPasek aplikacji
Interfejs użytkownika ręcznej aktywacji kontrolki Bounds

WskaźnikiWskaźniki
Dowiedz się więcej o różnych typach wskaźników

Wizualizacja etykietki palcaWizualizacja etykietki palca
Wizualna dostępność na palcach, która zwiększa pewność interakcji bezpośredniej

Menu w pobliżuMenu w pobliżu
Przestawny interfejs użytkownika menu dla bliskich interakcji

Wprowadzenie do rozpoznawania przestrzennegoWidok świadomości przestrzennej
Umożliwia interakcję obiektów holograficznych ze środowiskami fizycznymi

Polecenie głosowePolecenie głosowe
Skrypty i przykłady integracji danych wejściowych mowy

Wskaźnik postępuWskaźnik postępu
Wizualny wskaźnik komunikacji z procesem danych lub operacją

DialogDialog
Interfejs użytkownika z prośbą o potwierdzenie lub potwierdzenie użytkownika

Trener ręcznyTrener ręczny
Składnik, który pomaga kierować użytkownika, gdy gest nie został nauczony

Usługa fizyki ręcznejHand Physics Service [Eksperymentalna]
Usługa fizyki dłoni umożliwia sztywne zdarzenia kolizji ciała i interakcje z przegubowymi rękami

Przewijanie kolekcjiPrzewijanie kolekcji
Kolekcja obiektów, która natywnie przewija obiekty 3D

DokDock [Eksperymentalny]
Dock umożliwia przenoszenie obiektów do i z wstępnie określonych pozycji

Śledzenie oczu: wybór docelowyŚledzenie oczu: wybór docelowy
Łączenie oczu, głosu i ręcznego wejścia, aby szybko i bez wysiłku wybierać hologramy w całej scenie

Śledzenie oczu: nawigacjaŚledzenie oczu: nawigacja
Dowiedz się, jak automatycznie przewijać tekst lub płynnie powiększać skoncentrowaną zawartość na podstawie tego, co patrzysz

Śledzenie oczu: Mapa cieplnaŚledzenie oczu: Mapa cieplna
Przykłady rejestrowania, ładowania i wizualizowania elementów, które użytkownicy oglądali w aplikacji

Narzędzia

Optymalizowanie oknaOptymalizowanie okna Okno zależnościOkno zależności Okno kompilacjiOkno kompilacji Nagrywanie danych wejściowychNagrywanie danych wejściowych
Automatyzowanie konfiguracji projektów rzeczywistości mieszanej na potrzeby optymalizacji wydajności Analizowanie zależności między elementami zawartości i identyfikowanie nieużywanych zasobów Konfigurowanie i wykonywanie kompleksowego procesu kompilacji dla aplikacji rzeczywistości mieszanej Rejestrowanie i odtwarzanie przenoszenia głowy i śledzenia rąk w edytorze

Przykładowe sceny

Zestaw narzędzi MRTK zawiera przykładowe sceny, które pokazują, jak używać funkcji zestawu narzędzi MRTK. Przykładowe sceny można znaleźć w folderze Assets/MRTK/Examples/Demos. Przeczytaj stronę Przykładowe sceny, aby dowiedzieć się, jak uzyskiwać i uruchamiać przykładowe sceny. Scena przykładów interakcji z rękami to doskonałe miejsce do rozpoczęcia pracy z blokami konstrukcyjnymi zestawu narzędzi MRTK na potrzeby interakcji i interfejsu użytkownika.

Przykładowa scena 2

Centrum przykładów zestawu narzędzi MRTK

Korzystając z centrum przykładów zestawu narzędzi MRTK, możesz wypróbować różne przykładowe sceny w zestawie narzędzi MRTK bez kompilowania i wdrażania każdej sceny. Wstępnie utworzone pakiety aplikacji dla urządzeń HoloLens(x86), HoloLens 2(ARM) i Windows Mixed Reality i immersywnych zestawów słuchawkowych (x64) można pobrać, wybierając pakiet "Przykłady zestawu narzędzi Mixed Reality Toolkit" w narzędziu funkcji MR. Upewnij się, że używasz portalu urządzeń z systemem Windows do instalowania aplikacji na urządzeniu HoloLens (1. generacji). Na urządzeniu HoloLens 2 możesz pobrać i zainstalować centrum przykładów ZESTAWU narzędzi MRTK za pośrednictwem aplikacji Microsoft Store.

Zobacz stronę README centrum przykładów, aby dowiedzieć się więcej o tworzeniu centrum z wieloma scenami za pomocą systemu sceny i usługi przejścia sceny zestawu narzędzi MRTK.

Przykładowe centrum scen

Przykładowe aplikacje utworzone za pomocą zestawu narzędzi MRTK

Tabela okresowa elementów Galaxy Explorer Przykładowa aplikacja powierzchni
Tabela okresowa elementów to przykładowa aplikacja typu open source, która pokazuje, jak używać systemu wejściowego zestawu narzędzi MRTK i bloków konstrukcyjnych w celu utworzenia środowiska aplikacji dla urządzeń HoloLens i immersywnych zestawów słuchawkowych. Przeczytaj historię przenoszenia: Przenoszenie tabeli okresowej aplikacji Elements do urządzenia HoloLens 2 z zestawem NARZĘDZI MRTK w wersji 2 Galaxy Explorer to przykładowa aplikacja typu open source, która została pierwotnie opracowana w marcu 2016 roku w ramach kampanii HoloLens "Share Your Idea". Galaxy Explorer został zaktualizowany o nowe funkcje dla urządzenia HoloLens 2 przy użyciu zestawu NARZĘDZI MRTK w wersji 2. Przeczytaj historię: Tworzenie Galaxy Explorer dla urządzenia HoloLens 2 Surface to przykładowa aplikacja typu open source dla urządzenia HoloLens 2, która bada, jak możemy utworzyć uczucie dotykowe z wizualnym, audio i w pełni przegubowym śledzeniem ręcznym. Zapoznaj się z sesją Microsoft MR Dev Days Learnings z aplikacji Surface, aby zapoznać się ze szczegółowym opisem projektowania i programowania.

Wideo sesji z Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Samouczek dotyczący tworzenia prostej aplikacji MRTK od początku do końca. Dowiedz się więcej na temat pojęć dotyczących interakcji i funkcji wieloplatformowych zestawu narzędzi MRTK. Szczegółowe informacje na temat bloków konstrukcyjnych środowiska użytkownika zestawu narzędzi MRTK, które ułatwiają tworzenie pięknych środowisk rzeczywistości mieszanej. Wprowadzenie do narzędzi do wydajności, zarówno w zestawie narzędzi MRTK, jak i zewnętrznym, a także omówienie cieniowania standardowego zestawu narzędzi MRTK.

Zobacz Mixed Reality Dev Days , aby zapoznać się z bardziej sesjami wideo.

Kontaktowanie się ze społecznością

W tym projekcie jest używany Kodeks postępowania firmy Microsoft dla oprogramowania typu open source. Aby uzyskać więcej informacji, zobacz Code of Conduct FAQ (Często zadawane pytania dotyczące kodeksu postępowania) lub wyślij wiadomość e-mail na adres opencode@microsoft.com w przypadku jakichkolwiek dodatkowych pytań lub komentarzy.

Przydatne zasoby dotyczące Centrum deweloperów rzeczywistości mieszanej

OdnajdywanieOdkryć ProjektowanieProjekt ProgramowanieRozwijać Rozłóż)Rozdzielać
Dowiedz się, jak tworzyć środowiska rzeczywistości mieszanej dla urządzeń HoloLens i immersywnych zestawów słuchawkowych (VR). Uzyskaj przewodniki projektowe. Tworzenie interfejsu użytkownika. Poznaj interakcje i dane wejściowe. Uzyskaj przewodniki programistyczne. Poznaj technologię. Poznaj naukę. Przygotuj aplikację dla innych osób i rozważ utworzenie modułu uruchamiania 3D.

Przydatne zasoby na platformie Azure

Spatial Anchors
Kotwice przestrzenne
Usługi mowyUsługi rozpoznawania mowy Usługi przetwarzania obrazówUsługi przetwarzania obrazów
Spatial Anchors to usługa międzyplatformowa, która umożliwia tworzenie środowisk rzeczywistości mieszanej przy użyciu obiektów, które utrwalają ich lokalizację na urządzeniach w czasie. Odkryj i zintegruj możliwości mowy obsługiwane przez platformę Azure, takie jak zamiana mowy na tekst, rozpoznawanie osoby mówiącej lub tłumaczenie mowy w aplikacji. Identyfikowanie i analizowanie obrazu lub zawartości wideo przy użyciu usług przetwarzania obrazów, wykrywania twarzy, rozpoznawania emocji lub indeksatora wideo.

Jak dołączyć do grona współautorów

Dowiedz się, jak współtworzyć zestaw narzędzi MRTK na stronie Współtworzenie.

Uzyskiwanie pomocy

Jeśli wystąpią problemy spowodowane przez zestaw narzędzi MRTK lub w inny sposób masz pytania dotyczące tego, jak coś zrobić, istnieje kilka zasobów, które mogą pomóc:

  • W przypadku raportów o usterce zgłoś problem w repozytorium GitHub.
  • W przypadku pytań skontaktuj się z witryną StackOverflow lub kanałem zestawu narzędzi mixed-reality-toolkit w usłudze Slack. Możesz dołączyć do społeczności usługi Slack za pośrednictwem automatycznego nadawcy zaproszeń.