Omówienie nierealnego programowania
Wprowadzenie do to duże zadanie. Nowe koncepcje, platformy i najnowocześniejszy sprzęt mogą wydawać się barierami. Jeśli jednak jesteś deweloperem Unreal, masz szczęście. Unreal Engine 5 ma pełną obsługę Windows Mixed Reality (VR) i HoloLens 2 (AR).
Najnowsze wersje Unreal Engine 4.27+ obejmują:
- wtyczka Windows Mixed Reality (WMR) zastąpiona wtyczką OpenXR i Microsoft OpenXR (Marketplace lub GitHub)
- Biblioteka OpenXR oferuje równoważność funkcji z usługą WMR
- Ujednolicony interfejs API na potrzeby programowania na wielu platformach
- Biblioteka OpenXR dostępna do tworzenia aplikacji w aplikatorze — pełny zestaw funkcji dostępny za pomocą wtyczki Microsoft OpenXR
- Wersja aktualizacji wtyczki OpenXR firmy Microsoft, gdy jest gotowa zamiast aktualizacji w aparatach
- Używanie wtyczki Narzędzi graficznych dla Unreal w celu poprawy wierności wizualnej aplikacji Mixed Reality przy zachowaniu wydajności
- Wtyczka HoloLensAR została usunięta w programie Unreal 5.0
- Obsługa narzędzi world locking Tools (5.0+)
- Obsługa kotwic obiektów platformy Azure (4.27+)
Aby uzyskać więcej informacji o wersji, zobacz informacje o wersji Unreal Engine .
Jeśli dopiero zaczynasz pracować nad programowaniem Unreal, nie skakaj w ciemno. Zapoznaj się z zasobami Unreal i poszukaj zasobów na platformie handlowej Unreal. Pomoc techniczną można również znaleźć na forach rzeczywistości mieszanej i dokumentacji Unreal. Te zasoby są twoimi linkami do społeczności konstruktorów i narzędzi do rozwiązywania problemów na dzisiejszym rynku rzeczywistości mieszanej.
Ważne
Zapoznaj się z naszym przewodnikiem przenoszenia , jeśli masz istniejący projekt Unreal, który chcesz przenieść do immersyjnych zestawów słuchawkowych, takich jak Reverb G2.
Punkty kontrolne programowania
Użyj poniższych punktów kontrolnych, aby przenieść gry i aplikacje Unreal do świata rzeczywistości mieszanej. Jeśli nie znasz przykładowej aplikacji Design Holograms, zalecamy pobranie jej w celu zapoznania się z podstawami środowiska użytkownika Mixed Reality.
1. Wprowadzenie
Najpierw należy zainstalować narzędzia do tworzenia HoloLens 2. Następnie przejdź przez naszą serię samouczków, aby uzyskać podstawową wiedzę na temat zestawu narzędzi Mixed Reality Toolkit, prawidłowo skonfigurowanego środowiska programistycznego dla aplikacji rzeczywistości mieszanej oraz działającego projektu MRTK w Unreal. Od wersji Unreal 4.26 masz również możliwość tworzenia aplikacji OpenXR dla HoloLens 2.
| Punkt kontrolny | Wynik |
|---|---|
| Instalowanie najnowszych narzędzi | Pobierz i zainstaluj najnowszą wersję Unreal Engine i skonfiguruj projekt dla rzeczywistości mieszanej |
| konfigurowanie projektu | Pobieranie najnowszej wersji Unreal Engine i zestawu narzędzi MRTK |
| Tworzenie pierwszej aplikacji HoloLens Unreal | Rozpocznij podróż dewelopera Unreal i HoloLens, tworząc podstawową aplikację Mixed Reality |
| seria samouczków HoloLens 2 | Skonfiguruj programowanie rzeczywistości mieszanej w środowisku Unreal, skompiluj pierwszą aplikację za pomocą zestawu narzędzi MRTK i wdróż aplikację w HoloLens 2 |
| Wprowadzenie do biblioteki OpenXR w systemie Unreal | Zainstaluj i włącz następującą wtyczkę z witryny Unreal Engine Marketplace:Upewnij się, że wtyczka microsoft Windows Mixed Reality jest wyłączona. Poniżej znajduje się pełna lista aktualnie obsługiwanych funkcji w usłudze OpenXR. |
2. Podstawowe bloki konstrukcyjne
Istnieje wiele kluczowych funkcji rzeczywistości mieszanej, których nie obejmuje nasza seria samouczków. Te bloki konstrukcyjne są dostępne jako funkcje autonomiczne i za pośrednictwem zestawu narzędzi Mixed Reality. Być może nie są potrzebne wszystkie z nich naraz, ale zalecamy wczesne eksplorowanie. Po zapoznaniu się z podstawowymi blokami konstrukcyjnymi wymienionymi poniżej będziesz mieć przybornik pełen funkcji, które można zintegrować z projektami Mixed Reality.
Zestaw narzędzi Mixed Reality Toolkit for Unreal to zestaw wtyczek zaprojektowanych do przyspieszenia opracowywania w środowisku Unreal. Każda wtyczka zawiera składniki, przykłady i dokumentację do konfigurowania środowisk immersyjnych.
Narzędzia UX Tools for Unreal to pierwsza wtyczka, która ma zostać wydana i jest obecnie obsługiwana tylko w HoloLens 2. Wtyczka zawiera kod C++, strategie i przykładowe zasoby typowych funkcji środowiska użytkownika na potrzeby symulacji danych wejściowych, interakcji ręcznych, magnetyzmu powierzchniowego i nie tylko.
Graphics Tools for Unreal to wtyczka gier UE z kodem, strategiami i przykładowymi aktywami utworzonymi w celu poprawy wizualnej wierności aplikacji Mixed Reality podczas utrzymania budżetów wydajności.
| Cecha | Możliwości |
|---|---|
| Symulacja danych wejściowych | Używanie danych wejściowych myszy i klawiatury w edytorze do symulowania funkcji Head-Mounted Display (HMD) i śledzenia rąk |
| Interakcja z ręką | Interakcja ze składnikami środowiska użytkownika przy użyciu danych wejściowych rąk artykułowanych |
| Przycisk z możliwością naciśnięcia | Napędzanie stanu strategii przycisków za pomocą składników niskiego poziomu |
| Manipulator | Przenoszenie i obracanie aktora przy użyciu jednego lub dwuręcznych danych wejściowych manipulowania |
| Postępuj zgodnie z zachowaniem | Zachowaj aktora lub składnik w zasięgu wzroku innego składnika |
Uwaga
Aby uzyskać więcej informacji, możesz zapoznać się z repozytorium narzędzia UX Tools for Unreal GitHub .
3. Funkcje zaawansowane
Inne kluczowe funkcje, które odgrywają rolę w aplikacjach rzeczywistości mieszanej, są dostępne bez dodatkowych pakietów ani konfiguracji. Te funkcje można dodać do projektów Unreal z zainstalowanym zestawem MRTK lub bez nich. Po zapoznaniu się z tymi bardziej zaawansowanymi funkcjami będziesz w stanie tworzyć bardziej złożone aplikacje Mixed Reality.
| Cecha | Możliwości |
|---|---|
| Aparat HoloLens | Przechwytywanie Mixed Reality i zawartości wizualnej w świecie rzeczywistym z poziomu aplikacji uruchomionej na urządzeniu HoloLens |
| kody QR | Renderuj kody QR jako hologramy przy użyciu układu współrzędnych w rzeczywistym położeniu każdego kodu |
| WinRT | Tworzenie oddzielnego pliku binarnego z kodem WinRT, który może być używany przez system kompilacji Unreal |
4. Przesyłanie strumieniowe i wdrażanie na urządzeniu
Jeśli chcesz przetestować aplikację na urządzeniu HoloLens w trakcie programowania, możesz przesłać go strumieniowo bezpośrednio z komputera przy użyciu edytora Unreal lub spakowanego pliku wykonywalnego systemu Windows.
Jeśli po raz pierwszy wdrażasz aplikację Unreal w HoloLens 2, musisz pobrać pliki pomocnicze z programu Epic Launcher. Po zainstalowaniu tych plików możesz przystąpić do wdrażania z poziomu edytora Unreal lub Portalu urządzeń.
5. Dodawanie usług
W tym momencie w ramach opracowywania możesz chcieć dodać usługi lub pomóc w wdrażaniu komercyjnym. Integracja usługi Azure Cloud Services może w istotny sposób wyrównać swoje projekty. Skompilowaliśmy kilka punktów początkowych, aby eksplorować i rozszerzać swoją wiedzę na temat Mixed Reality.
Azure Spatial Anchors (ASA) to wieloplatformowa usługa, która umożliwia tworzenie aplikacji rzeczywistości mieszanej z obsługą przestrzenną. Za pomocą usługi Azure Spatial Anchors można mapować, utrwalać i udostępniać zawartość holograficzną na wielu urządzeniach w skali rzeczywistej.
6. Alternatywy dla kodu niskiego poziomu
Przewodniki microsoft Dynamics 365 to aplikacja rzeczywistości mieszanej dla Microsoft HoloLens, która pozwala operatorom uczyć się podczas przepływu pracy, udostępniając instrukcje holograficzne, kiedy i gdzie są potrzebne. Te karty z instrukcjami są wizualnie związane z miejscem, w którym należy wykonać pracę, i mogą zawierać obrazy, wideo i holograficzne modele 3D.
Co dalej?
Zadanie dewelopera nigdy nie jest wykonywane, zwłaszcza w przypadku uczenia się nowego narzędzia lub zestawu SDK. W poniższych sekcjach możesz przejść do obszarów poza już ukończonym materiałem na poziomie początkującym, a także przydatnymi zasobami, jeśli utkniesz. Należy pamiętać, że te tematy i zasoby nie są w żadnej kolejności sekwencyjnej, więc możesz swobodnie poruszać się i eksplorować!
Debugowanie
Jeśli chcesz debugować aplikację, gdy jest ona uruchomiona na urządzeniu z programem Visual Studio, postępuj zgodnie z tymi instrukcjami.
Wydajność
Programowanie dla rzeczywistości mieszanej obejmuje punkty kontrolne wydajności, które zależą od platformy. Aplikacja HoloLens 2 musi działać na 60 ramek na sekundę, aby hologramy wydawały się stabilne i dynamiczne. Na szczęście mamy zalecenia dotyczące wydajności uaktualniania wydajności w aplikacjach Unreal.
Obsługiwane funkcje
| funkcja HoloLens 2 | Najwcześniej obsługiwana wersja Unreal Engine | Obsługiwane w programie OpenXR (4.26+) |
|---|---|---|
| Obsługa usługi ARM64 | 4.23 | ✔️ |
| Przesyłanie strumieniowe z komputera | 4.23 | ✔️ |
| Mapowanie przestrzenne | 4.23 | ✔️ |
| Śledzenie rąk i stawów | 4.23 | ✔️ |
| Śledzenie oczu | 4.23 | ✔️ |
| Wprowadzanie danych przy użyciu głosu | 4.23 | ✔️ |
| Kotwice przestrzenne | 4.23 | ✔️ |
| Dostęp do aparatu | 4.23 | ✔️ |
| kody QR | 4.23 | ✔️ |
| Dźwięk przestrzenny | 4.23 | ✔️ |
| Planar LSR za pośrednictwem przesyłania strumieniowego | 4.24 | |
| Przykładowe aplikacje | 4.24 | ✔️ |
| Multi-View dla urządzeń przenośnych: wydajność osiąga 60 klatek na sekundę | 4.25 | ✔️ |
| Przesyłanie strumieniowe z spakowanej aplikacji klasycznej | 4.25.1 | ✔️ |
| Usługa Azure Spatial Anchors dla HoloLens 2 | 4.25 | ✔️ |
| Obsługa narzędzi środowiska użytkownika platformy Mixed Reality | 4.25 | ✔️ |
| Samouczki dotyczące dokumentacji deweloperów & | 4.25 | ✔️ |
| Klawiatura systemowa | 4.26 | ✔️ |
| Wtyczka urządzenia HoloLens Media Player | 4.26 | ✔️ |
| Usługa Azure Spatial Anchors dla systemów iOS i Android | 4.26 | |
| Wtyczka Microsoft OpenXR z rozszerzeniami OpenXR specyficznymi dla dostawcy firmy Microsoft | 4.26 | ✔️ |
| Przesyłanie strumieniowe z platformy Azure do usługi HoloLens 2 | 4.26 | ✔️ |
| Zgodność zestawu certyfikacji aplikacji systemu Windows dla spakowanych aplikacji | 4.26 | ✔️ |
| Obsługa kontrolera HP Reverb G2 | 4.26 | ✔️ |