Panoramica dello sviluppo con Unreal

Logo banner Unreal

Iniziare a usare Realtà mista applicazioni di realtà mista è un'attività importante. Nuovi concetti, nuove piattaforme e hardware all'avanguardia possono sembrare ostacoli difficili da superare. Gli sviluppatori che usano Unreal, però, hanno un asso nella manica. Unreal Engine 5 offre il supporto completo per i dispositivi Windows Mixed Reality Windows Mixed Reality (VR) e HoloLens 2 (AR).

Le versioni più recenti Unreal Engine 4.27+ includono:

  • plug-in Windows Mixed Reality (WMR) sostituito da OpenXR e plug-in Microsoft OpenXR (Marketplace o GitHub)
  • OpenXR offre parità di funzionalità con WMR
  • API unificata per lo sviluppo multipiattaforma
  • OpenXR disponibile per la creazione di applicazioni nel motore : set di funzionalità completo disponibile con il plug-in Microsoft OpenXR
  • Rilascio degli aggiornamenti del plug-in Microsoft OpenXR quando sono pronti invece degli aggiornamenti nel motore
  • Usare il plug-in strumenti grafici per Unreal per migliorare la fedeltà visiva delle applicazioni Realtà mista mantenendo al tempo stesso le prestazioni
  • Il plug-in HoloLensAR viene rimosso in Unreal 5.0
  • Supporto per gli strumenti di blocco globale (5.0+)
  • Supporto per Ancoraggi oggetti di Azure (4.27+)

Per altre informazioni, vedere le note sulla versione di Unreal Engine Unreal Engine .

Se non si ha esperienza di sviluppo con Unreal, non iniziare alla cieca. Esplorare le risorse Unreal e cercare gli asset nel marketplace Unreal. È anche possibile trovare supporto nei forum di realtà mista e nella documentazione di Unreal. Queste risorse consentono di entrare in contatto con la community di sviluppatori e risolutori di problemi che operano oggi sul mercato della realtà mista.

Importante

Se si ha a disposizione un progetto Unreal da trasferire in un visore VR immersive come Reverb G2, consultare la guida per il porting .

Checkpoint di sviluppo

Usare i checkpoint seguenti per portare i giochi e le applicazioni Unreal nel mondo della realtà mista. Se non si è ancora esaminata l'applicazione di esempio Designing Holograms, è consigliabile scaricarla per acquisire familiarità con i concetti di base dell'esperienza utente in realtà mista.

1. Guida introduttiva

Prima di tutto, è necessario installare gli strumenti per lo sviluppo di app per HoloLens 2. Completare quindi la serie di esercitazioni per acquisire una conoscenza di base di Mixed Reality Toolkit, un ambiente di sviluppo appositamente configurato per le app di realtà mista e un progetto MRTK funzionante in Unreal. A partire da Unreal 4.26, è anche possibile sviluppare un'app OpenXR per HoloLens 2.

Checkpoint Risultato
Installare gli ultimi aggiornamenti Scaricare e installare la versione più recente di Unreal Engine e configurare il progetto per la realtà mista
Configurare il progetto Ottenere la versione più recente di Unreal Engine e MRTK
Creazione della prima applicazione HoloLens Unreal Iniziare il percorso di sviluppo di Unreal e HoloLens creando un'applicazione di base Realtà mista
Serie di esercitazioni su HoloLens 2 Acquisire le informazioni necessarie per sviluppare app di realtà mista in Unreal, compilare la prima app con MRTK e distribuire l'app in HoloLens 2
Introduzione a OpenXR in Unreal Installare e abilitare il plug-in seguente da Unreal Engine Marketplace:Verificare che il plug-in Microsoft Windows Mixed Reality sia disabilitato.

L'elenco completo delle funzionalità attualmente supportate in OpenXR è riportato di seguito.

2. Componenti fondamentali

Ci sono diverse funzionalità chiave per la realtà mista che non vengono trattate in questa serie di esercitazioni. Questi blocchi predefiniti sono disponibili come funzionalità autonome e tramite il Mixed Reality Toolkit. Potrebbero non essere tutti necessari nell'immediato, ma è bene esaminarli nella fase iniziale. Dopo avere esaminato i blocchi predefiniti fondamentali indicati di seguito, si avrà a disposizione un insieme completo di funzionalità da integrare nei progetti di realtà mista.

Mixed Reality Toolkit per Unreal è un set di plug-in progettati per accelerare lo sviluppo in Unreal. Ogni plug-in include componenti, esempi e documentazione per la creazione di esperienze immersive.

  • UX Tools for Unreal è il primo plug-in rilasciato ed è attualmente supportato solo su HoloLens 2. Il plug-in include codice C++, progetti e asset di esempio di funzionalità di UX comuni per la simulazione di input, le interazioni con le mani, il magnetismo della superficie e altro ancora.

  • Strumenti grafici per Unreal è un plug-in di gioco UE con codice, progetti e asset di esempio creati per migliorare la fedeltà visiva delle applicazioni Realtà mista rimanendo all'interno dei budget delle prestazioni.

Funzionalità Capabilities
Simulazione di input Usare l'input da mouse e tastiera nell'editor per simulare un casco con visore e le funzionalità di tracciamento della mano
Interazione manuale Interagire con i componenti dell'esperienza utente usando gli input della mano articolata
Pulsante a pressione Determinare lo stato di progetti di pulsanti tramite componenti di basso livello
Manipolatore Spostare e ruotare un attore con l'input di manipolazione con una o due mani
Comportamento a seguire Mantenere un attore o componente nel campo visivo di un altro componente

Nota

Per informazioni dettagliate, esaminare il repository di GitHub su UX Tools per Unreal .

3. Funzionalità avanzate

Altre funzionalità chiave per le applicazioni di realtà mista sono disponibili senza ulteriori pacchetti o configurazioni. Queste funzionalità possono essere aggiunte ai progetti Unreal anche senza avere installato MRTK. Dopo avere esaminato queste funzionalità più avanzate, sarà possibile creare app di realtà mista più complesse.

Funzionalità Capabilities
Fotocamera HoloLens Acquisire contenuti visivi di realtà mista e del mondo reale dall'app in esecuzione su un dispositivo HoloLens
Codici QR Eseguire il rendering di codici a matrice come ologrammi usando un sistema di coordinate nella posizione reale di ogni codice
WinRT Creare un file binario separato con codice WinRT che può essere utilizzato dal sistema di compilazione di Unreal

4. Trasmissione in streaming e distribuzione in un dispositivo

Se si vuole testare l'applicazione in un dispositivo HoloLens mentre è ancora in fase di sviluppo, è possibile trasmetterla in streaming direttamente dal PC usando l'editor Unreal o un eseguibile Windows in pacchetto.

Se è la prima volta che si distribuisce un'app Unreal in HoloLens 2, sarà necessario scaricare i file di supporto dal launcher Epic. Una volta installati i file, è possibile eseguire la distribuzione dall'editor Unreal o dal portale di dispositivi.

5. Aggiunta di servizi

A questo punto del percorso di sviluppo, potrebbe essere necessario aggiungere servizi o ricevere supporto per una distribuzione commerciale. L'integrazione di Azure Servizi cloud può aumentare il livello dei progetti in modo significativo. Abbiamo stilato alcuni punti di partenza per acquisire maggiori competenze sulla realtà mista.

Ancoraggi nello spazio di Azure (ASA) è un servizio multipiattaforma che consente di creare applicazioni di realtà mista con riconoscimento dello spazio. Con Ancoraggi nello spazio di Azure è possibile eseguire il mapping, mantenere in modo permanente e condividere contenuto olografico tra più dispositivi in scala reale.

6. Alternative a basso codice

Microsoft Dynamics 365 Guides è un'applicazione di realtà mista per Microsoft HoloLens che consente agli operatori di apprendere durante il lavoro offrendo istruzioni olografiche quando e dove sono necessarie. Queste schede di istruzioni sono collegate visivamente al luogo in cui deve essere svolto il lavoro e possono includere immagini, video e modelli olografici 3D.

Passaggi successivi

Il lavoro di uno sviluppatore non finisce mai, soprattutto per quanto riguarda l'apprendimento di nuovi strumenti o SDK. Le sezioni seguenti consentono di affrontare aspetti più avanzati rispetto al materiale di livello principiante già completato e di accedere a risorse utili se si rimane bloccati. Questi argomenti e queste risorse non sono presentati in ordine sequenziale, quindi possono essere esplorati liberamente.

Debug

Se si vuole eseguire il debug dell'applicazione in esecuzione sul dispositivo con Visual Studio, seguire queste istruzioni.

Prestazioni

Lo sviluppo per la realtà mista prevede punti di controllo delle prestazioni che dipendono dalla piattaforma. Un'app HoloLens 2 deve essere eseguita a 60 fotogrammi al secondo perché gli ologrammi risultino stabili e reattivi. Nei consigli sulle prestazioni è possibile trovare informazioni su come migliorare le prestazioni nelle applicazioni Unreal.

Funzionalità supportate

Funzionalità di HoloLens 2 Prima versione di Unreal Engine supportata Supportato in OpenXR (4.26+)
Supporto per ARM64 4.23 ✔️
Streaming da un PC 4.23 ✔️
Mapping spaziale 4.23 ✔️
Tracciamento mano e articolazioni 4.23 ✔️
Tracciamento oculare 4.23 ✔️
Input vocale 4.23 ✔️
Ancoraggi nello spazio 4.23 ✔️
Accesso alla fotocamera 4.23 ✔️
Codici QR 4.23 ✔️
Audio spaziale 4.23 ✔️
LSR planare sullo streaming 4.24
App di esempio 4.24 ✔️
Mobile Multi-View: prestazioni fino a 60 fps 4.25 ✔️
Streaming da un'app desktop in pacchetto 4.25.1 ✔️
Ancoraggi nello spazio di Azure per HoloLens 2 4.25 ✔️
Supporto del plug-in UX Tools di Mixed Reality Toolkit 4.25 ✔️
Documentazione ed esercitazioni per sviluppatori 4.25 ✔️
Tastiera di sistema 4.26 ✔️
Plug-in HoloLens Media Player 4.26 ✔️
Ancoraggi nello spazio di Azure per iOS e Android 4.26
Plug-in Microsoft OpenXR con estensioni OpenXR specifiche del fornitore Microsoft 4.26 ✔️
Streaming da Azure a HoloLens 2 4.26 ✔️
Conformità del kit di certificazione app Windows per le app in pacchetto 4.26 ✔️
Supporto del controller HP Reverb G2 4.26 ✔️

Vedere anche