Omówienie nierealistycznego programowania
Wprowadzenie do aplikacji rzeczywistości mieszanej jest dużym zadaniem. Nowe koncepcje, platformy i najnowocześniejsze sprzęt mogą wydawać się barierami. Jeśli jednak jesteś deweloperem Unreal, masz szczęście. Aparat Unreal Engine 5 ma pełną obsługę urządzeń z systemem Windows Mixed Reality (VR) i HoloLens 2 (AR).
Najnowsze wersje unreal Engine 4.27+ obejmują:
- Wtyczka Windows Mixed Reality (WMR) została zastąpiona wtyczką OpenXR i Microsoft OpenXR (Marketplace lub GitHub)
- Platforma OpenXR oferuje równoważność funkcji z usługą WMR
- Ujednolicony interfejs API na potrzeby programowania na wielu platformach
- OpenXR dostępny do tworzenia aplikacji w aokresie — pełny zestaw funkcji dostępny za pomocą wtyczki Microsoft OpenXR
- Wersja aktualizacji wtyczki Microsoft OpenXR, gdy będzie gotowa zamiast aktualizacji w apletu
- Użyj wtyczki Narzędzi graficznych dla Unreal , aby zwiększyć wierność wizualną aplikacji rzeczywistości mieszanej przy zachowaniu wydajności
- Wtyczka HoloLensAR została usunięta w programie Unreal 5.0
- Obsługa narzędzi do blokowania świata (5.0+)
- Obsługa kotwic obiektów platformy Azure (wersja 4.27 lub nowsza)
Aby uzyskać więcej informacji, zobacz informacje o wersji aparatu Unreal Engine 5.0.
Jeśli dopiero zaczynasz programować w środowisku Unreal, nie skakaj w ciemno. Zapoznaj się z zasobami Unreal i poszukaj zasobów na platformie handlowej Unreal. Pomoc techniczną można również znaleźć na forach rzeczywistości mieszanej i dokumentacji Unreal. Te zasoby są twoimi linkami do społeczności budowniczych i narzędzi do rozwiązywania problemów na dzisiejszym rynku rzeczywistości mieszanej.
Ważne
Zapoznaj się z naszym przewodnikiem przenoszenia, jeśli masz istniejący projekt Unreal, który chcesz przenieść do immersyjnych zestawów słuchawkowych, takich jak Reverb G2.
Punkty kontrolne programowania
Użyj następujących punktów kontrolnych, aby przenieść swoje gry i aplikacje Unreal do świata rzeczywistości mieszanej. Jeśli nie znasz przykładowej aplikacji Projektowanie Hologramy, zalecamy pobranie jej, aby zapoznać się z podstawami środowiska użytkownika rzeczywistości mieszanej.
1. Wprowadzenie
Najpierw należy zainstalować narzędzia do programowania urządzenia HoloLens 2. Następnie zapoznaj się z naszą serią samouczków, aby uzyskać podstawową wiedzę na temat zestawu narzędzi Mixed Reality Toolkit, prawidłowo skonfigurowanego środowiska programistycznego dla aplikacji rzeczywistości mieszanej oraz działającego projektu zestawu narzędzi MRTK w rozwiązaniu Unreal. Od wersji Unreal 4.26 masz również możliwość tworzenia aplikacji OpenXR dla urządzenia HoloLens 2.
| Punkt kontrolny | Wynik |
|---|---|
| Instalowanie najnowszych narzędzi | Pobierz i zainstaluj najnowszą wersję aparatu Unreal Engine i skonfiguruj projekt dla rzeczywistości mieszanej |
| Konfigurowanie projektu | Pobierz najnowszą wersję aparatu Unreal Engine i zestawu NARZĘDZI MRTK |
| Tworzenie pierwszej aplikacji HoloLens Unreal | Rozpocznij pracę nad opracowywaniem aplikacji Unreal i HoloLens, tworząc podstawową aplikację rzeczywistości mieszanej |
| Seria samouczków holoLens 2 | Konfigurowanie tworzenia rzeczywistości mieszanej w rozwiązaniu Unreal, tworzenie pierwszej aplikacji przy użyciu zestawu narzędzi MRTK i wdrażanie aplikacji na urządzeniu HoloLens 2 |
| Wprowadzenie do platformy OpenXR w rozwiązaniu Unreal | Zainstaluj i włącz następującą wtyczkę z witryny Marketplace unreal Engine:Upewnij się, że wtyczka Microsoft Windows Mixed Reality jest wyłączona. Pełna lista aktualnie obsługiwanych funkcji w programie OpenXR znajduje się poniżej. |
2. Podstawowe bloki konstrukcyjne
Istnieje wiele kluczowych funkcji rzeczywistości mieszanej, których nasza seria samouczków nie obejmuje. Te bloki konstrukcyjne są dostępne jako funkcje autonomiczne i za pośrednictwem zestawu narzędzi Mixed Reality Toolkit. Być może nie potrzebujesz wszystkich z nich jednocześnie, ale zalecamy wcześniejsze eksplorowanie. Po zapoznaniu się z podstawowymi blokami konstrukcyjnymi wymienionymi poniżej będziesz mieć przybornik pełen funkcji, które można zintegrować z projektami rzeczywistości mieszanej.
Zestaw narzędzi Mixed Reality Toolkit for Unreal to zestaw wtyczek przeznaczonych do przyspieszania programowania w rozwiązaniu Unreal . Każda wtyczka zawiera składniki, przykłady i dokumentację na potrzeby konfigurowania środowisk immersyjnych.
Narzędzia UX Tools for Unreal to pierwsza wtyczka, która ma zostać wydana i jest obecnie obsługiwana tylko na urządzeniu HoloLens 2. Wtyczka zawiera kod C++, strategie i przykładowe zasoby typowych funkcji środowiska użytkownika na potrzeby symulacji danych wejściowych, interakcji ręcznych, magnetyzmu powierzchniowego i nie tylko.
Graphics Tools for Unreal to wtyczka do gier UE z kodem, strategiami i przykładowymi elementami utworzonymi w celu poprawy wizualnej wierności aplikacji rzeczywistości mieszanej przy jednoczesnym zachowaniu budżetów wydajności.
| Funkcja | Możliwości |
|---|---|
| Symulacja danych wejściowych | Używanie wprowadzania myszy i klawiatury w edytorze w celu symulowania funkcji wyświetlacza zainstalowanego przez głowę (HMD) i śledzenia rąk |
| Interakcja z ręką | Interakcja ze składnikami środowiska użytkownika przy użyciu przegubowych danych wejściowych rąk |
| Przycisk z możliwością naciśnięcia | Napędzanie stanu strategii przycisków za pomocą składników niskiego poziomu |
| Manipulator | Przenoszenie i obracanie aktora za pomocą jednego lub dwóch danych wejściowych manipulowania |
| Obserwowanie zachowania | Utrzymywanie aktora lub składnika w zasięgu wzroku innego składnika |
Uwaga
Aby uzyskać więcej informacji, możesz zapoznać się z repozytorium UX Tools for Unreal GitHub .
3. Funkcje zaawansowane
Inne kluczowe funkcje, które odgrywają rolę w aplikacjach rzeczywistości mieszanej, są dostępne bez dodatkowych pakietów ani konfiguracji. Te funkcje można dodać do projektów Unreal z zainstalowanym zestawem NARZĘDZI MRTK lub bez nich. Po zapoznaniu się z tymi bardziej zaawansowanymi możliwościami będzie można tworzyć bardziej złożone aplikacje rzeczywistości mieszanej.
| Funkcja | Możliwości |
|---|---|
| Aparat HoloLens | Przechwytywanie rzeczywistości mieszanej i zawartości wizualnej w świecie rzeczywistym z aplikacji uruchomionej na urządzeniu HoloLens |
| Kody QR | Renderowanie kodów QR jako hologramów przy użyciu układu współrzędnych w rzeczywistej pozycji każdego kodu |
| Winrt | Tworzenie oddzielnego pliku binarnego z kodem WinRT, który może być używany przez system kompilacji Unreal |
4. Przesyłanie strumieniowe i wdrażanie na urządzeniu
Jeśli chcesz przetestować aplikację na urządzeniu HoloLens podczas programowania, możesz przesyłać strumieniowo bezpośrednio z komputera przy użyciu edytora Unreal lub spakowanego pliku wykonywalnego systemu Windows.
Jeśli po raz pierwszy wdrażasz aplikację Unreal na urządzeniu HoloLens 2, musisz pobrać pliki pomocnicze z aplikacji Epic Launcher. Po zainstalowaniu tych plików możesz przystąpić do wdrażania z poziomu edytoraUnreal lub Portalu urządzeń.
5. Dodawanie usług
Na tym etapie opracowywania możesz chcieć dodać usługi lub pomóc w wdrożeniu komercyjnym. Integracja usług Azure Cloud Services umożliwia wyrównanie projektów w główny sposób. Skompilowaliśmy kilka punktów wyjścia, aby eksplorować i rozszerzać swoją wiedzę na temat rzeczywistości mieszanej.
Azure Spatial Anchors (ASA) to usługa międzyplatformowa, która umożliwia tworzenie aplikacji rzeczywistości mieszanej z obsługą przestrzenną. Za pomocą usługi Azure Spatial Anchors można mapować, utrwalać i udostępniać zawartość holograficzną na wielu urządzeniach w skali rzeczywistej.
6. Alternatywy z małą ilością kodu
Przewodniki usługi Microsoft Dynamics 365 to aplikacja rzeczywistości mieszanej dla urządzenia Microsoft HoloLens, która pozwala operatorom uczyć się podczas przepływu pracy, udostępniając instrukcje holograficzne, kiedy i gdzie są potrzebne. Te karty z instrukcjami są wizualnie związane z miejscem, w którym należy wykonać pracę, i mogą zawierać obrazy, wideo i holograficzne modele 3D.
Co dalej?
Praca dewelopera nigdy nie jest wykonywana, zwłaszcza w przypadku uczenia się nowego narzędzia lub zestawu SDK. Poniższe sekcje mogą zawierać obszary wykraczające poza już ukończony materiał na poziomie osoby początkującej oraz przydatne zasoby, jeśli utkniesz. Należy pamiętać, że te tematy i zasoby nie są w żadnej kolejności sekwencyjnej, więc możesz swobodnie poruszać się i eksplorować!
Debugowanie
Jeśli chcesz debugować aplikację podczas jej działania na urządzeniu z programem Visual Studio, postępuj zgodnie z tymi instrukcjami.
Wydajność
Programowanie dla rzeczywistości mieszanej obejmuje punkty kontrolne wydajności, które zależą od platformy. Aplikacja HoloLens 2 musi działać z prędkością 60 klatek na sekundę, aby hologramy wydawały się stabilne i dynamiczne. Na szczęście mamy zalecenia dotyczące wydajności uaktualniania wydajności w aplikacjach Unreal.
Obsługiwane funkcje
| Funkcja HoloLens 2 | Najwcześniejsza obsługiwana wersja aparatu nierealnego | Obsługiwane w programie OpenXR (4.26+) |
|---|---|---|
| Obsługa usługi ARM64 | 4.23 | ✔️ |
| Przesyłanie strumieniowe z komputera | 4.23 | ✔️ |
| Mapowanie przestrzenne | 4.23 | ✔️ |
| Śledzenie ręki i stawów | 4.23 | ✔️ |
| Śledzenie oczu | 4.23 | ✔️ |
| Wprowadzanie danych przy użyciu głosu | 4.23 | ✔️ |
| Kotwice przestrzenne | 4.23 | ✔️ |
| Dostęp do aparatu | 4.23 | ✔️ |
| Kody QR | 4.23 | ✔️ |
| Dźwięk przestrzenny | 4.23 | ✔️ |
| Planowanie LSR za pośrednictwem przesyłania strumieniowego | 4.24 | |
| Przykładowe aplikacje | 4.24 | ✔️ |
| Multi-View dla urządzeń przenośnych: wydajność osiąga 60 klatek na sekundę | 4.25 | ✔️ |
| Przesyłanie strumieniowe z spakowanej aplikacji klasycznej | 4.25.1 | ✔️ |
| Usługa Azure Spatial Anchors dla urządzenia HoloLens 2 | 4.25 | ✔️ |
| Obsługa narzędzi UX rzeczywistości mieszanej | 4.25 | ✔️ |
| Dokumentacja i samouczki dla deweloperów | 4.25 | ✔️ |
| Klawiatura systemowa | 4.26 | ✔️ |
| Wtyczka Odtwarzacz multimedialny urządzenia HoloLens | 4.26 | ✔️ |
| Azure Spatial Anchors dla systemów iOS i Android | 4.26 | |
| Wtyczka Microsoft OpenXR z rozszerzeniami OpenXR specyficznymi dla dostawcy firmy Microsoft | 4.26 | ✔️ |
| Przesyłanie strumieniowe z platformy Azure do urządzenia HoloLens 2 | 4.26 | ✔️ |
| Zgodność zestawu certyfikacji aplikacji systemu Windows dla spakowanych aplikacji | 4.26 | ✔️ |
| Obsługa kontrolera HP Reverb G2 | 4.26 | ✔️ |