Beispiele und Apps für Mixed Reality-Features

Abbildung eines Benutzers, der eine HoloLens trägt und ein Hologramm mit Handbewegungen manipuliert.

Jede Entwicklungs-Journey beginnt mit einem Blick zurück auf das, was andere Entwickler erfolgreich aufgebaut haben – Mixed Reality macht da keinen Unterschied. Aktuell sind alle unsere Tutorials und Beispiel-Apps in Unity oder Unreal entwickelt. Wenn wir Inhalte für andere Engines und Plattformen entwickeln, finden Sie diese unter der entsprechenden Überschrift im Inhaltsverzeichnis.

Beispielanwendungs-Fallstudien

Die Open-Source-Beispiel-Apps wurden von unseren Teams erstellt, um Ihnen Hilfe aus erster Hand bei Mixed Reality-Entwicklung zu bieten. Wir haben die Projekte und den vollständigen Quellcode als Lernreferenz bereitgestellt.

HoloLens 2: Open-Source-Beispiel-Apps

Diese Beispiel-Apps werden mit dem Mixed Reality Toolkit für Unity erstellt.

HoloLens (1. Generation): Open-Source-Beispiel-Apps

Featurebeispiele

Für jedes der unten aufgeführten Entwicklerszenarien gibt es Featurebeispiele, die bestimmten Implementierungen entsprechen, die in unserer Dokumentation behandelt werden und eine Reihe von Entwicklungsplattformen und Hardwaregeräten abdecken.

Szenario Featurebeispiel Engine BESCHREIBUNG
Erstellen einfacher Mixed Reality-Szenarien in Unity OpenXR mit Unity-Beispielen Unity C# Erste Schritte mit plattformübergreifenden Entwicklertools mit dem neuesten Unity 2020.LTS- und OpenXR-Plug-In.
Verankerungsstrategien Lokaler Anker Sie können Raumanker auch über App-Sitzungen hinweg und geräteübergreifend beibehalten und teilen. Weitere Informationen finden Sie im Artikel Raumanker.
Azure Spatial Anchors-Beispiele Erstellen Sie mithilfe der grundlegenden Funktionen von Azure Spatial Anchors Mixed Reality-Anwendungen mit Raumerkennung.
QR-Codes Unity C# Erkennen von QR-Codes in der Umgebung.
Zusammenarbeit in Mixed Reality Benutzeridentität Unity C# Richten Sie Ihr HoloLens 2-Gerät mit AAD-Anmeldeinformationen (Azure Active Directory) ein.
Azure Spatial Anchors-Beispiele Erstellen Sie mithilfe der grundlegenden Funktionen von Azure Spatial Anchors Mixed Reality-Anwendungen mit Raumerkennung.
Räumliche Interaktion Einfaches Hologrammbeispiel Windows 10 C++ Rendern eines rotierenden Würfels in Windows Mixed Reality.
Verstehen von Szenen/Objekten Beispiele zum Verständnis von Szenen Unity C# Unterstützung beim Entwerfen von Mixed Reality-Anwendungen mit Umgebungserkennung.
Azure Object Anchors-Beispiele Unity C# Erkennen eines Objekts in der physischen Welt mithilfe eines 3D-Modells und Schätzen seiner räumlichen Lage nach den sechs Freiheitsgraden mit Azure Object Anchors.
Kontextbezogene Datenüberlagerungen QR-Codes Unity C# Erkennen von QR-Codes in der Umgebung.
Poster Tracker-Beispiel Unity C# Ausrichten eines Hologramms an einem Objekt der realen Welt.
Erstellen von digitalen Zwillingen in Mixed Reality Unity C# Hier erfahren Sie, wie Sie eine Mixed Reality-Anwendung mit Azure Digital Twins und Unity, einer Echtzeit-3D-Plattform, erstellen.
Erfassen von Kameradaten Beispiel für Mixed Reality-Aufnahme Windows 10 C++ Festhalten des Erlebnisses der Vermischung von realer und digitaler Welt in einem Foto oder Video aus der Ichperspektive.
Beispiele für den Forschungsmodus Windows 10 C++ Zugriff auf wichtige Sensoren in einem HoloLens-Gerät für Forschungsanwendungen.
Holographic Remoting Holographic Remoting-Player Windows 10 C++ Streamen holografischer Inhalte in Echtzeit von einem PC zu Ihrer Microsoft HoloLens über eine WLAN-Verbindung.
Beispiele für Azure Remote Rendering Unity C# Testen des Azure Remote Rendering-Diensts unter Verwendung der hier aufgelisteten Ressourcen für Beispieldaten.
Aufgabenverwaltung und -anleitung Dynamics 365 Remote Assist Steigern Sie die Effizienz, indem Sie mithilfe von Dynamics 365 Remote Assist von unterschiedlichen Standorten aus auf HoloLens-, HoloLens 2-, Android- oder iOS-Geräten zusammenarbeiten.
Dynamics 365-Leitfäden Helfen Sie Betreibern, während der laufenden Arbeit zu lernen, indem Sie holografische Anweisungen zur Verfügung stellen, wann und wo sie gebraucht werden.
World Locking-Hologramme World locked physics sample (Physikbeispiel für eine gesperrte Welt) Unity C# Erkunden Sie einige virtuelle physikalische Erfahrungen, die durch das weltgesperrte Koordinatensystem der World Locking Tools aktiviert werden.
Beispiel für Anheften im Raum Unity C# Nähern Sie sich den inneren Funktionen einer realen Anwendung, die ein großes Objekt oder Objekte an Merkmalen der realen Welt ausrichten muss. Das Beispiel zum Anheften im Raum bietet eine vereinfachte und konzentrierte Ansicht des Space Pin-Features.
Ray Pins-Beispiel Unity C# Veranschaulichen Sie das Einrichten von Anheftpunkten im Raum (Space Pins) durch manuelles Positionieren von Markerobjekten mithilfe von MRTK-Angeboten.
Beispiel für World Locking Tools mit Azure Spatial Anchors Unity C# Stellen Sie ein stabiles Koordinatensystem zur Verfügung, das sitzungsübergreifend beibehalten und in Ihrer Anwendung geräteübergreifend geteilt werden kann. Dies wird durch die Kombination von World Locking Tools for Unity (WLT) mit Azure Spatial Anchors (ASA) ermöglicht.
Verwalten von Leistung und Wärme Verwalten von Leistung und Wärme Unity C#, Win32 C++ Wenn HoloLens 2 in warmen Umgebungen oder mit hohen Leistungsanforderungen (CPU-/GPU-Nutzung, Peripheriegerätenutzung usw.) eingesetzt wird, kann das PowerThermalNotification SDK zum Abonnieren von Benachrichtigungsereignissen verwendet werden, um das Gerät länger betreiben zu können. Weitere Informationen finden Sie in der Referenz zur PowerThermalNotification-API.

Erstellen einfacher OpenXR-Szenarien

Wenn Sie noch keine Erfahrung im Erstellen einfacher Mixed Reality-Szenarien haben, helfen Ihnen diese Beispiele beim Einstieg.

Entwickler, die für Unity 2020 entwickeln, um HoloLens 2- oder Mixed Reality-Anwendungen zu erstellen, können das OpenXR-Plug-In anstelle des WindowsXR-Plug-Ins verwenden, um eine bessere plattformübergreifende Kompatibilität zu erzielen. Das Mixed Reality OpenXR-Plug-In funktioniert auch gut mit der neuesten Version des Mixed Reality Toolkits (2.7.x).

Beispiel Referenzartikel Plattform Beschreibung
Mixed Reality OpenXR mit Unity-Beispielen Verwenden des OpenXR-Plug-Ins Unity C# In diesen Beispielprojekten wird das Erstellen von Unity-Anwendungen für HoloLens 2 oder Mixed Reality Headsets mithilfe des Mixed Reality OpenXR-Plug-Ins präsentiert.

Es werden die folgenden Beispielszenarien behandelt:
OpenXR MRTK-Basisprojekt für Unity Mehr dazu finden Sie in der Infodatei zum Beispiel Unity C# Dieses Repository enthält ein Unity-Projekt, das mit den Paketen Microsoft Mixed Reality Toolkit Foundations und Standard Assets und dem Microsoft OpenXR-Plug-In-Paket eingerichtet wurde.
Verwenden von Unity 2020.3 und MRTK 2.7.2 Was ist MRTK? Unity C# MRTK-Unity ist ein von Microsoft vorangetriebenes Projekt, das einen Satz von Komponenten und Funktionen bereitstellt, die dazu dienen, die Entwicklung von plattformübergreifenden MR-Apps in Unity zu beschleunigen.
OpenXR-Explorer Mehr dazu finden Sie in der Infodatei zum Beispiel C++, Windows, Linux, OpenXR OpenXR-Explorer ist ein praktisches Debugtool für OpenXR-Entwickler. Es ermöglicht einen einfachen Wechsel zwischen OpenXR-Runtimes, zeigt Listen der unterstützten Erweiterungen der Runtime an und ermöglicht die Überprüfung gängiger Eigenschaften und Enumerationen. Darüber hinaus bietet es direkte Links zu relevanten Teilen der OpenXR-Spezifikation.
OpenXR-Beispiele für Mixed Reality-Entwickler Was ist OpenXR? C++ In diesen OpenXR-Beispielen werden C++17 und Direct3D 11 verwendet. Der gleiche Quellcode funktioniert übergreifend für UWP-Anwendungen, die auf HoloLens 2, und für Win32-Anwendungen, die unter Windows Desktop mit immersiven Windows Mixed Reality-Headsets ausgeführt werden.

Zusammenarbeit in Mixed Reality

In Mixed Reality treffen sich Menschen virtuell, um Erfahrungen auszutauschen und zusammenzuarbeiten. Die hier aufgeführten Beispiele veranschaulichen einige Features, die eine solche Zusammenarbeit ermöglichen.

Benutzeridentität

In diesem Beispiel wird Ihr HoloLens 2-Gerät mit AAD-Anmeldeinformationen (Azure Active Directory) eingerichtet, und anschließend wird das Gerät für die Verwendung der Iris-Anmeldung konfiguriert.

Beispiel Referenzartikel
AAD-Anmeldung bei HoloLens 2 Übersicht der Microsoft Identity Platform

Räumliche Interaktion – einfaches Hologrammbeispiel

Dieses Beispiel wird unter Windows Mixed Reality ausgeführt und rendert einen rotierenden Würfel. Sie können mit dem Würfel interagieren, indem Sie ihn an einer neuen Position platzieren. Verschiedene Eingabemethoden sind zulässig. Dieses Beispiel funktioniert auf PCs mit angeschlossenen Headsetgeräten sowie auf Microsoft HoloLens.

Beispiel Referenzartikel
Windows Universal-Beispiele – einfaches Hologramm Mehr dazu finden Sie in der Infodatei zum Beispiel

Grundlegendes zu Szenen

Szenenverständnis gibt Mixed Reality-Entwicklern eine strukturierte, allgemeine Umgebungsdarstellung an die Hand. Szenenverständnis wurde für die Entwicklung intuitiver Anwendungen mit Umgebungserkennung ausgelegt. Dazu werden die Stärken vorhandener Mixed Reality-Runtimes kombiniert. Bei diesen Runtimes handelt es sich um die Runtime zur hochgenauen, aber weniger stark strukturierten räumlichen Abbildung und die neue KI-gestützte Runtime.

Beispiel Referenzartikel Plattform Beschreibung
Beispiele für Mixed Reality-Szenenverständnis (SU SDK) Grundlegendes zu Szenen Unity C# und SU SDK Eine Unity-basierte Beispielanwendung, die Szenenverständnis auf HoloLens 2 vorstellt.
Beispiel für Szenenverständnis (MRTK + SU SDK) Beobachter für Szenenverständnis (MRTK) Unity C#, MRTK + SU SDK SDK-Beispiel für MRTK +-Szenenverständnis.

Kontextbezogene Datenüberlagerungen

Kontextbezogene Daten sind die Hintergrundinformationen, die ein umfassenderes Verständnis eines Ereignisses, einer Person oder eines Elements ermöglichen. Bei Augmented Reality (AR) können diese Informationen angezeigt und genau an physischen Objekten ausgerichtet werden, um Erkenntnisse, Anweisungen, Dienstdatensätze und andere wichtige Daten bereitzustellen.

QR-Codes

HoloLens 2 kann QR-Codes in der Umgebung um das Headset erkennen und ein Koordinatensystem an der Position jedes Codes in der realen Welt einrichten.

Beispiel Referenzartikel
Nachverfolgen von QR-Codes in Unity QR-Codes

Poster Tracker-Beispiel

Es ist oft nützlich, ein Hologramm an einem realen Objekt ausrichten zu können oder mehrere HoloLens-Geräte an einem gemeinsamen Satz von Weltkoordinaten auszurichten, sodass alle die gleichen Hologramme an derselben Position sehen. Beispielsweise können Sie in Ihrer Unity-Szene ein „Poster“ hinzufügen, an dem Sie Ihre Szene verankern (z. B. ein Spielbrett), und dann weitere Hologramme darauf oder um es herum anordnen. Anschließend können Sie das Poster drucken, es auf einen Tisch legen und das Kalibrierungs-/Ausrichtungstool ausführen, mit dem die holografische Version des Posters so bewegt wird, dass sie sich an der physischen Version des Posters ausrichtet. Dadurch werden alle verknüpften Hologramme in ihre korrekte Ausrichtung gebracht.

Beispiel Referenzartikel
Beispiel für die Posterkalibrierung Mehr dazu finden Sie in der Infodatei zum Beispiel

Erstellen von digitalen Zwillingen in Mixed Reality

In diesem Beispiel erfahren Sie, wie Sie eine Mixed Reality-HoloLens 2-Anwendung mit Azure Digital Twins und Unity erstellen, einer Echtzeit-3D-Plattform.

Beispiel Referenzartikel
Erstellen digitaler Mixed Reality-Zwillinge mit Azure Digital Twins und Unity Vollständiger Lernpfad

Kameraerfassungen

Unstrukturierte Umgebungssensordaten, die von Ihrem Mixed Reality-Gerät erfasst werden, werden in leistungsstarke abstrakte oder holografische Darstellungen der uns umgebenden physischen Welt konvertiert.

Holographische Mixed Reality-Aufnahme

Mit Mixed Reality-Aufnahme (MRC) wird die Ichperspektive der Kombination aus realer und digitaler Welt als Foto oder Video aufgenommen, und Sie können das Gesehene mit anderen in Echtzeit teilen.

Beispiel Referenzartikel
Beispiele für Mixed Reality-Aufnahme Mixed Reality-Aufnahme

Forschungsmodus

Der Forschungsmodus wurde in der HoloLens der ersten Generation eingeführt, um Zugriff auf wesentliche Sensoren des Geräts zu gewähren, insbesondere für Forschungsanwendungen, die nicht für die Bereitstellung vorgesehen sind. Die folgenden Beispielanwendungen demonstrieren den Zugriff auf und die Aufzeichnung von Forschungsmodus-Datenströmen und die Verwendung der intrinsischen und extrinsischen Funktionen.

Beispielanwendung Referenzartikel
HoloLens (1. Generation) Forschungsmodus
HoloLens 2 Forschungsmodus

Holographic Remoting

Der Holographic Remoting-Player ist eine Begleit-App, die sich mit PC-Apps und -Spielen verbindet, die Holographic Remoting unterstützen. Holographic Remoting streamt holographische Inhalte in Echtzeit über eine WLAN-Verbindung von einem PC an Ihre Microsoft HoloLens. Es wird von HoloLens (1. Generation) und HoloLens 2 unterstützt.

Beispiel Referenzartikel
Holographic Remoting-Beispiele Holographic Remoting – Übersicht