Beispiele und Apps für Mixed Reality-Features
Jede Entwicklungsreise beginnt mit einem Blick zurück auf das, was andere Entwickler erfolgreich erstellt haben – Mixed Reality ist nicht anders. Derzeit sind alle unsere Tutorials und Beispiel-Apps in Unity oder Unreal erstellt. Wenn wir Inhalte für andere Engines und Plattformen entwickeln, finden Sie diese unter der entsprechenden Überschrift im Inhaltsverzeichnis.
Beispielfallstudien für Anwendungen
Die Open-Source-Beispiel-Apps wurden von unseren Teams erstellt, um Ihnen dabei zu helfen, Mixed Reality Entwicklung aus erster Hand in den Griff zu bekommen. Wir haben die Projekte und den vollständigen Quellcode als Lernreferenz bereitgestellt.
HoloLens 2 Open-Source-Beispiel-Apps
Diese Beispiel-Apps werden mit dem Mixed Reality Toolkit für Unity erstellt.
Open-Source-Beispiel-Apps für HoloLens (erste Generation)
Funktionsbeispiele
Für jedes der unten aufgeführten Entwicklerszenarien gibt es Funktionsbeispiele, die bestimmten Implementierungen entsprechen, die in unserer Dokumentation behandelt werden und eine Reihe von Entwicklungsplattformen und Hardwaregeräten abdecken.
| Szenario | Featurebeispiel | Motor | Beschreibung |
|---|---|---|---|
| Erstellen grundlegender Mixed Reality-Szenarien in Unity | Beispiele für OpenXR mit Unity | Unity C# | Erste Schritte mit plattformübergreifenden Entwicklertools mithilfe des neuesten Unity 2020.LTS- und OpenXR-Plug-Ins. |
| Verankerungsstrategien | Lokaler Anker | Speichern und teilen Sie Raumanker über Anwendungssitzungen und geräteübergreifend. Weitere Informationen finden Sie im Artikel Raumanker . | |
| QR-Codes | Unity C# | Erkennen von QR-Codes in der Umgebung. | |
| Zusammenarbeit in Mixed Reality | Benutzeridentität | Unity C# | Richten Sie Ihr HoloLens 2 Gerät mit Azure Active Directory-Anmeldeinformationen (AAD) ein. |
| Räumliche Interaktion | Einfaches Hologrammbeispiel | Windows 10 C++ | Rendern eines sich drehenden Würfels in Windows Mixed Reality. |
| Szenenverständnis | Beispiele für Szenenverständnis | Unity C# | Helfen Sie bei der Entwicklung umweltfreundlicher Mixed Reality-Anwendungen. |
| Kontextbezogene Datenüberlagerungen | QR-Codes | Unity C# | Erkennen von QR-Codes in der Umgebung. |
| Poster-Tracker-Beispiel | Unity C# | Ausrichten eines Hologramms an einem realen Objekt. | |
| Erstellen digitaler Mixed Reality-Zwillinge | Unity C# | Erfahren Sie, wie Sie eine Mixed Reality-Anwendung mit Azure Digital Twins und Unity, einer Echtzeit-3D-Plattform, erstellen. | |
| Erfassen von Kameradaten | Mixed Reality-Aufnahmebeispiel | Windows 10 C++ | Erfassen Sie die First-Person-Erfahrung der Mischung realer und digitaler Welten als Foto oder Video. |
| Beispiele für den Recherchemodus | Windows 10 C++ | Zugriff auf wichtige Sensoren auf einem HoloLens-Gerät für Forschungsanwendungen. | |
| Holografisches Remoting | Holographic Remoting Player | Windows 10 C++ | Stream holografische Inhalte über eine Wi-Fi-Verbindung in Echtzeit von einem PC zu Ihrem Microsoft HoloLens. |
| Beispiele für Azure Remote Rendering | Unity C# | Testen Sie den Azure Remote Rendering-Dienst mithilfe der hier aufgeführten Ressourcen für Beispieldaten. | |
| Aufgabenverwaltung und Anleitungen | Dynamics 365 Remote Assist | Arbeiten Sie effizienter zusammen, indem Sie von verschiedenen Standorten aus mit Dynamics 365 Remote Assist auf HoloLens-, HoloLens 2-, Android- oder iOS-Geräten zusammenarbeiten. | |
| Dynamics 365 Guides | Helfen Sie Bedienern, während des Arbeitsablaufs zu lernen, indem Sie holografische Anweisungen bereitstellen, wann und wo sie benötigt werden. | ||
| Weltsperr-Hologramme | Weltweit gesperrtes Physikbeispiel | Unity C# | Erkunden Sie einige virtuelle Physikerfahrungen, die durch das weltgebundene Koordinatensystem von World Locking Tools ermöglicht werden. |
| Beispiel für leernadeln | Unity C# | Nähern Sie sich dem Inneren einer realen Anwendung, die ein großes Objekt oder objekte an realen Features ausrichten muss. Das Space Pin-Beispiel bietet eine vereinfachte und fokussiertere Ansicht des Space Pin-Features. | |
| Beispiel für Raypins | Unity C# | Veranschaulichen Sie, wie Sie Space Pins einrichten, indem Sie Markerobjekte mithilfe von MRTK-Angeboten manuell in positionieren. | |
| Verwalten von Energie und Wärme | Verwalten von Power & Thermals | Unity C#, Win32 C++ | Wenn die HoloLens 2 in warmen Umgebungen oder mit hohen Leistungsanforderungen (CPU-/GPU-Auslastung, Peripheriegeräteauslastung usw.) ausgeführt wird, kann das PowerThermalNotification SDK verwendet werden, um Benachrichtigungsereignisse zu abonnieren, sodass das Gerät länger arbeiten kann. Weitere Informationen finden Sie in der Referenz zur PowerThermalNotification-API. |
Erstellen grundlegender OpenXR-Szenarien
Wenn Sie noch nicht mit der Erstellung grundlegender Mixed Reality-Szenarien vertraut sind, helfen Ihnen diese Beispiele bei den ersten Schritten.
Für Entwickler, die Unity 2020 zum Erstellen von HoloLens 2- oder Mixed Reality-Anwendungen verwenden möchten, kann das OpenXR-Plug-In anstelle des Windows XR-Plug-Ins verwendet werden, um eine bessere plattformübergreifende Kompatibilität zu erzielen. Das Mixed Reality OpenXR-Plug-In funktioniert auch gut mit der neuesten Version des Mixed Reality Toolkit (2.7.x).
| Beispiel | Referenzartikel | Plattform | Beschreibung |
|---|---|---|---|
| Mixed Reality OpenXR mit Unity-Beispielen | Verwenden des OpenXR-Plug-Ins | Unity C# | In diesen Beispielprojekten wird veranschaulicht, wie Unity-Anwendungen für HoloLens 2 oder Mixed Reality Headsets mithilfe des Mixed Reality OpenXR-Plug-Ins erstellt werden. Die folgenden Beispielszenarien werden behandelt: |
| OpenXR MRTK Base Unity-Projekt | Weitere Informationen finden Sie in der Infodatei. | Unity C# | Dieses Repository enthält ein Unity-Projekt, das mit den Paketen Microsoft Mixed Reality Toolkit Foundations und Standard Assets und dem Microsoft OpenXR-Plug-In-Paket eingerichtet ist. |
| Verwenden von Unity 2020.3 und MRTK 2.7.2 | Was ist MRTK? | Unity C# | MRTK-Unity ist ein von Microsoft gesteuertes Projekt, das eine Reihe von Komponenten und Features bereitstellt, die zur Beschleunigung der plattformübergreifenden MR-App-Entwicklung in Unity verwendet werden. |
| OpenXR Explorer | Weitere Informationen finden Sie in der Infodatei. | C++, Windows, Linux, OpenXR | OpenXR Explorer ist ein praktisches Debugtool für OpenXR-Entwickler. Es ermöglicht einen einfachen Wechsel zwischen OpenXR-Runtimes, zeigt Listen der unterstützten Erweiterungen der Laufzeit an und ermöglicht die Überprüfung allgemeiner Eigenschaften und Enumerationen mit direkten Links zu relevanten Teilen der OpenXR-Spezifikation! |
| OpenXR-Beispiele für Mixed Reality-Entwickler | Was ist OpenXR? | C++ | In diesen OpenXR-Beispielen wird C++17 und Direct3D 11 verwendet. Der gleiche Quellcode funktioniert für UWP-Anwendungen, die auf HoloLens 2 ausgeführt werden, und Win32-Anwendungen, die unter Windows Desktop mit Windows Mixed Reality immersiven Headsets ausgeführt werden. |
Zusammenarbeit in Mixed Reality
In Mixed Reality kommen Menschen virtuell zusammen, um Erfahrungen auszutauschen und zusammenzuarbeiten. Die hier aufgeführten Beispiele veranschaulichen einige Features, die eine solche Zusammenarbeit ermöglichen.
Benutzeridentität
In diesem Beispiel wird Ihr HoloLens 2 Gerät mit Azure Active Directory-Anmeldeinformationen (AAD) eingerichtet und anschließend für die Verwendung der Irisanmeldung konfiguriert.
| Beispiel | Referenzartikel |
|---|---|
| AAD Login on HoloLens 2 | Übersicht über Microsoft Identity Platform |
Räumliche Interaktion – Grundlegendes Hologrammbeispiel
Dieses Beispiel wird auf Windows Mixed Reality ausgeführt und rendert einen sich drehenden Würfel. Sie können mit dem Cube interagieren, indem Sie ihn an einer neuen Position platzieren, und verschiedene Eingabemethoden sind zulässig. Dieses Beispiel funktioniert auf PCs mit angeschlossenen Headset-Geräten sowie auf Microsoft HoloLens.
| Beispiel | Referenzartikel |
|---|---|
| Universelle Windows-Beispiele – Einfaches Hologramm | Weitere Informationen finden Sie in der Infodatei. |
Szenenverständnis
Szenenverständnis bietet Mixed Reality Entwicklern eine strukturierte, allgemeine Umgebungsdarstellung. Szenenverständnis ist für die Entwicklung intuitiver und umweltbewusster Anwendungen konzipiert, indem die Leistungsfähigkeit vorhandener Mixed Reality-Runtimes kombiniert wird. Diese Laufzeiten sind die hochgenaue, aber weniger strukturierte räumliche Zuordnung und neue KI-gesteuerte Runtimes.
| Beispiel | Referenzartikel | Plattform | Beschreibung |
|---|---|---|---|
| beispiele für Mixed Reality Scene Understanding (SU SDK) | Szenenverständnis | Unity C#- und SU SDK | Eine Unity-basierte Beispielanwendung, die Scene Understanding auf HoloLens 2. |
| Scene Understanding-Beispiel (MRTK + SU SDK) | Szenenverständnisbeobachter (MRTK) | Unity C#, MRTK + SU SDK | MRTK + Scene Understanding SDK-Beispiel. |
Kontextbezogene Datenüberlagerungen
Kontextbezogene Daten sind die Hintergrundinformationen, die ein breiteres Verständnis eines Ereignisses, einer Person oder eines Elements bieten. Mit Augmented Reality (AR) können diese Informationen angezeigt und genau an physischen Objekten ausgerichtet werden, um Erkenntnisse, Anweisungen, Dienstdatensätze und andere wichtige Daten zu liefern.
QR-Codes
HoloLens 2 können QR-Codes in der Umgebung um das Headset erkennen und so ein Koordinatensystem an der realen Position jedes Codes einrichten.
| Beispiel | Referenzartikel |
|---|---|
| QR-Codeverfolgung in Unity | QR-Codes |
Poster-Tracker-Beispiel
Es ist oft hilfreich, ein Hologramm an einem realen Objekt auszurichten oder mehrere HoloLens-Geräte an einem gemeinsamen Satz von Weltkoordinaten auszurichten, sodass jeder die gleichen Hologramme an derselben Stelle sieht. Für instance können Sie in Ihrer Unity-Szene ein "Poster" hinzufügen, an dem Sie Ihre Szene verankern möchten (z. B. ein Spielbrett), und dann Hologramme darauf oder um sie herum hinzufügen. Dann können Sie das Poster drucken, es auf einen Tisch legen und das Kalibrierungs-/Ausrichtungstool ausführen, mit dem die holografische Version des Posters so verschoben wird, dass es an der physischen Version des Posters ausgerichtet ist. Dadurch werden alle verknüpften Hologramme auf die richtige Ausrichtung verschoben.
| Beispiel | Referenzartikel |
|---|---|
| Posterkalibrierungsbeispiel | Weitere Informationen finden Sie in der Infodatei. |
Erstellen digitaler Mixed Reality-Zwillinge
In diesem Beispiel erfahren Sie, wie Sie mithilfe von Azure Digital Twins und Unity, einer Echtzeit-3D-Plattform, eine Mixed Reality-HoloLens 2-Anwendung erstellen.
| Beispiel | Referenzartikel |
|---|---|
| Erstellen digitaler Mixed Reality-Zwillinge mit Azure Digital Twins und Unity | Vollständiger Lernpfad |
Kameraaufnahmen
Unstrukturierte Umgebungssensordaten, die Ihr Mixed Reality Gerät erfasst, werden in leistungsstarke abstrakte oder holografische Darstellungen der physischen Welt um uns herum konvertiert.
Holografische Mixed Reality Capture
Mixed Reality Capture (MRC) erfasst die First-Person-Erfahrung der kombinierten realen und digitalen Welt als Foto oder Video und teilt das, was Sie sehen, mit anderen in Echtzeit.
| Beispiel | Referenzartikel |
|---|---|
| Mixed Reality Capture-Beispiele | Mixed Reality Capture |
Forschungsmodus
Der Forschungsmodus wurde in der ersten Generation von HoloLens eingeführt, um Zugriff auf wichtige Sensoren auf dem Gerät zu ermöglichen, insbesondere für Forschungsanwendungen, die nicht für die Bereitstellung vorgesehen sind. Die folgenden Beispielanwendungen sind Beispiele für den Zugriff auf und die Aufzeichnung von Datenströmen im Forschungsmodus sowie für die Verwendung von intrinsischen und extrinsischen Datenströmen.
| Beispielanwendung | Referenzartikel |
|---|---|
| HoloLens (erste Generation) | Forschungsmodus |
| HoloLens 2 | Forschungsmodus |
Holografisches Remoting
Der Holographic Remoting Player ist eine Begleit-App, die eine Verbindung mit PC-Apps und Spielen herstellt, die Holographic Remoting unterstützen. Holographic Remoting streamt holografische Inhalte von einem PC an Ihre Microsoft HoloLens in Echtzeit über eine Wi-Fi-Verbindung und wird auf HoloLens (erste Generation) und HoloLens 2 unterstützt.
| Beispiel | Referenzartikel |
|---|---|
| Holographic Remoting-Beispiele | Übersicht über holographic Remoting |