Beispiele und Apps für Mixed Reality-Features
Jede Entwicklungs-Journey beginnt mit einem Blick zurück auf das, was andere Entwickler erfolgreich aufgebaut haben – Mixed Reality macht da keinen Unterschied. Aktuell sind alle unsere Tutorials und Beispiel-Apps in Unity oder Unreal entwickelt. Wenn wir Inhalte für andere Engines und Plattformen entwickeln, finden Sie diese unter der entsprechenden Überschrift im Inhaltsverzeichnis.
Beispielanwendungs-Fallstudien
Die Open-Source-Beispiel-Apps wurden von unseren Teams erstellt, um Ihnen Hilfe aus erster Hand bei Mixed Reality-Entwicklung zu bieten. Wir haben die Projekte und den vollständigen Quellcode als Lernreferenz bereitgestellt.
HoloLens 2: Open-Source-Beispiel-Apps
Diese Beispiel-Apps werden mit dem Mixed Reality Toolkit für Unity erstellt.
HoloLens (1. Generation): Open-Source-Beispiel-Apps
Featurebeispiele
Für jedes der unten aufgeführten Entwicklerszenarien gibt es Featurebeispiele, die bestimmten Implementierungen entsprechen, die in unserer Dokumentation behandelt werden und eine Reihe von Entwicklungsplattformen und Hardwaregeräten abdecken.
| Szenario | Featurebeispiel | Engine | Beschreibung |
|---|---|---|---|
| Erstellen einfacher Mixed Reality-Szenarien in Unity | OpenXR mit Unity-Beispielen | Unity C# | Erste Schritte mit plattformübergreifenden Entwicklertools mit dem neuesten Unity 2020.LTS- und OpenXR-Plug-In. |
| Verankerungsstrategien | Lokaler Anker | Sie können Raumanker auch über App-Sitzungen hinweg und geräteübergreifend beibehalten und teilen. Weitere Informationen finden Sie im Artikel Raumanker. | |
| QR-Codes | Unity C# | Erkennen von QR-Codes in der Umgebung. | |
| Zusammenarbeit in Mixed Reality | Benutzeridentität | Unity C# | Richten Sie Ihr HoloLens 2-Gerät mit AAD-Anmeldeinformationen (Azure Active Directory) ein. |
| Räumliche Interaktion | Einfaches Hologrammbeispiel | Windows 10 C++ | Rendern eines rotierenden Würfels in Windows Mixed Reality. |
| Grundlegendes zu Szenen | Beispiele zum Verständnis von Szenen | Unity C# | Unterstützung beim Entwerfen von Mixed Reality-Anwendungen mit Umgebungserkennung. |
| Kontextbezogene Datenüberlagerungen | QR-Codes | Unity C# | Erkennen von QR-Codes in der Umgebung. |
| Poster Tracker-Beispiel | Unity C# | Ausrichten eines Hologramms an einem Objekt der realen Welt. | |
| Erstellen von digitalen Zwillingen in Mixed Reality | Unity C# | Hier erfahren Sie, wie Sie eine Mixed Reality-Anwendung mit Azure Digital Twins und Unity, einer Echtzeit-3D-Plattform, erstellen. | |
| Erfassen von Kameradaten | Beispiel für Mixed Reality-Aufnahme | Windows 10 C++ | Festhalten des Erlebnisses der Vermischung von realer und digitaler Welt in einem Foto oder Video aus der Ichperspektive. |
| Beispiele für den Forschungsmodus | Windows 10 C++ | Zugriff auf wichtige Sensoren in einem HoloLens-Gerät für Forschungsanwendungen. | |
| Holographic Remoting | Holographic Remoting Player | Windows 10 C++ | Streamen holografischer Inhalte in Echtzeit von einem PC zu Ihrer Microsoft HoloLens über eine WLAN-Verbindung. |
| Beispiele für Azure Remote Rendering | Unity C# | Testen des Azure Remote Rendering-Diensts unter Verwendung der hier aufgelisteten Ressourcen für Beispieldaten. | |
| Aufgabenverwaltung und -anleitung | Dynamics 365 Remote Assist | Steigern Sie die Effizienz, indem Sie mithilfe von Dynamics 365 Remote Assist von unterschiedlichen Standorten aus auf HoloLens-, HoloLens 2-, Android- oder iOS-Geräten zusammenarbeiten. | |
| Dynamics 365-Leitfäden | Helfen Sie Betreibern, während der laufenden Arbeit zu lernen, indem Sie holografische Anweisungen zur Verfügung stellen, wann und wo sie gebraucht werden. | ||
| World Locking-Hologramme | World locked physics sample (Physikbeispiel für eine gesperrte Welt) | Unity C# | Erkunden Sie einige virtuelle physikalische Erfahrungen, die durch das weltgesperrte Koordinatensystem der World Locking Tools aktiviert werden. |
| Beispiel für Anheften im Raum | Unity C# | Nähern Sie sich den inneren Funktionen einer realen Anwendung, die ein großes Objekt oder Objekte an Merkmalen der realen Welt ausrichten muss. Das Beispiel zum Anheften im Raum bietet eine vereinfachte und konzentrierte Ansicht des Space Pin-Features. | |
| Ray Pins-Beispiel | Unity C# | Veranschaulichen Sie das Einrichten von Anheftpunkten im Raum (Space Pins) durch manuelles Positionieren von Markerobjekten mithilfe von MRTK-Angeboten. | |
| Verwalten von Leistung und Wärme | Verwalten von Power & Thermals | Unity C#, Win32 C++ | Wenn HoloLens 2 in warmen Umgebungen oder mit hohen Leistungsanforderungen (CPU-/GPU-Nutzung, Peripheriegerätenutzung usw.) eingesetzt wird, kann das PowerThermalNotification SDK zum Abonnieren von Benachrichtigungsereignissen verwendet werden, um das Gerät länger betreiben zu können. Weitere Informationen finden Sie in der Referenz zur PowerThermalNotification-API. |
Erstellen einfacher OpenXR-Szenarien
Wenn Sie noch keine Erfahrung im Erstellen einfacher Mixed Reality-Szenarien haben, helfen Ihnen diese Beispiele beim Einstieg.
Entwickler, die für Unity 2020 entwickeln, um HoloLens 2- oder Mixed Reality-Anwendungen zu erstellen, können das OpenXR-Plug-In anstelle des WindowsXR-Plug-Ins verwenden, um eine bessere plattformübergreifende Kompatibilität zu erzielen. Das Mixed Reality OpenXR-Plug-In funktioniert auch gut mit der neuesten Version des Mixed Reality Toolkits (2.7.x).
| Beispiel | Referenzartikel | Plattform | Beschreibung |
|---|---|---|---|
| Mixed Reality OpenXR mit Unity-Beispielen | Verwenden des OpenXR-Plug-Ins | Unity C# | In diesen Beispielprojekten wird das Erstellen von Unity-Anwendungen für HoloLens 2 oder Mixed Reality Headsets mithilfe des Mixed Reality OpenXR-Plug-Ins präsentiert. Die folgenden Beispielszenarien werden behandelt: |
| OpenXR MRTK-Basisprojekt für Unity | Mehr dazu finden Sie in der Infodatei zum Beispiel | Unity C# | Dieses Repository enthält ein Unity-Projekt, das mit den Paketen Microsoft Mixed Reality Toolkit Foundations und Standard Assets und dem Microsoft OpenXR-Plug-In-Paket eingerichtet wurde. |
| Verwenden von Unity 2020.3 und MRTK 2.7.2 | Was ist MRTK? | Unity C# | MRTK-Unity ist ein von Microsoft vorangetriebenes Projekt, das einen Satz von Komponenten und Funktionen bereitstellt, die dazu dienen, die Entwicklung von plattformübergreifenden MR-Apps in Unity zu beschleunigen. |
| OpenXR-Explorer | Mehr dazu finden Sie in der Infodatei zum Beispiel | C++, Windows, Linux, OpenXR | OpenXR-Explorer ist ein praktisches Debugtool für OpenXR-Entwickler. Es ermöglicht einen einfachen Wechsel zwischen OpenXR-Runtimes, zeigt Listen der unterstützten Erweiterungen der Runtime an und ermöglicht die Überprüfung gängiger Eigenschaften und Enumerationen. Darüber hinaus bietet es direkte Links zu relevanten Teilen der OpenXR-Spezifikation. |
| OpenXR-Beispiele für Mixed Reality-Entwickler | Was ist OpenXR? | C++ | In diesen OpenXR-Beispielen werden C++17 und Direct3D 11 verwendet. Der gleiche Quellcode funktioniert übergreifend für UWP-Anwendungen, die auf HoloLens 2, und für Win32-Anwendungen, die unter Windows Desktop mit immersiven Windows Mixed Reality-Headsets ausgeführt werden. |
Zusammenarbeit in Mixed Reality
In Mixed Reality treffen sich Menschen virtuell, um Erfahrungen auszutauschen und zusammenzuarbeiten. Die hier aufgeführten Beispiele veranschaulichen einige Features, die eine solche Zusammenarbeit ermöglichen.
Benutzeridentität
In diesem Beispiel wird Ihr HoloLens 2-Gerät mit AAD-Anmeldeinformationen (Azure Active Directory) eingerichtet, und anschließend wird das Gerät für die Verwendung der Iris-Anmeldung konfiguriert.
| Beispiel | Referenzartikel |
|---|---|
| AAD-Anmeldung bei HoloLens 2 | Übersicht der Microsoft Identity Platform |
Räumliche Interaktion – einfaches Hologrammbeispiel
Dieses Beispiel wird unter Windows Mixed Reality ausgeführt und rendert einen rotierenden Würfel. Sie können mit dem Würfel interagieren, indem Sie ihn an einer neuen Position platzieren. Verschiedene Eingabemethoden sind zulässig. Dieses Beispiel funktioniert auf PCs mit angeschlossenen Headsetgeräten sowie auf Microsoft HoloLens.
| Beispiel | Referenzartikel |
|---|---|
| Windows Universal-Beispiele – einfaches Hologramm | Mehr dazu finden Sie in der Infodatei zum Beispiel |
Grundlegendes zu Szenen
Szenenverständnis gibt Mixed Reality-Entwicklern eine strukturierte, allgemeine Umgebungsdarstellung an die Hand. Szenenverständnis wurde für die Entwicklung intuitiver Anwendungen mit Umgebungserkennung ausgelegt. Dazu werden die Stärken vorhandener Mixed Reality-Runtimes kombiniert. Bei diesen Runtimes handelt es sich um die Runtime zur hochgenauen, aber weniger stark strukturierten räumlichen Abbildung und die neue KI-gestützte Runtime.
| Beispiel | Referenzartikel | Plattform | Beschreibung |
|---|---|---|---|
| Beispiele für Mixed Reality-Szenenverständnis (SU SDK) | Grundlegendes zu Szenen | Unity C# und SU SDK | Eine Unity-basierte Beispielanwendung, die Szenenverständnis auf HoloLens 2 vorstellt. |
| Beispiel für Szenenverständnis (MRTK + SU SDK) | Beobachter für Szenenverständnis (MRTK) | Unity C#, MRTK + SU SDK | SDK-Beispiel für MRTK +-Szenenverständnis. |
Kontextbezogene Datenüberlagerungen
Kontextbezogene Daten sind die Hintergrundinformationen, die ein umfassenderes Verständnis eines Ereignisses, einer Person oder eines Elements ermöglichen. Bei Augmented Reality (AR) können diese Informationen angezeigt und genau an physischen Objekten ausgerichtet werden, um Erkenntnisse, Anweisungen, Dienstdatensätze und andere wichtige Daten bereitzustellen.
QR-Codes
HoloLens 2 kann QR-Codes in der Umgebung um das Headset erkennen und ein Koordinatensystem an der Position jedes Codes in der realen Welt einrichten.
| Beispiel | Referenzartikel |
|---|---|
| Nachverfolgen von QR-Codes in Unity | QR-Codes |
Poster Tracker-Beispiel
Es ist oft nützlich, ein Hologramm an einem realen Objekt ausrichten zu können oder mehrere HoloLens-Geräte an einem gemeinsamen Satz von Weltkoordinaten auszurichten, sodass alle die gleichen Hologramme an derselben Position sehen. Beispielsweise können Sie in Ihrer Unity-Szene ein „Poster“ hinzufügen, an dem Sie Ihre Szene verankern (z. B. ein Spielbrett), und dann weitere Hologramme darauf oder um es herum anordnen. Anschließend können Sie das Poster drucken, es auf einen Tisch legen und das Kalibrierungs-/Ausrichtungstool ausführen, mit dem die holografische Version des Posters so bewegt wird, dass sie sich an der physischen Version des Posters ausrichtet. Dadurch werden alle verknüpften Hologramme in ihre korrekte Ausrichtung gebracht.
| Beispiel | Referenzartikel |
|---|---|
| Beispiel für die Posterkalibrierung | Mehr dazu finden Sie in der Infodatei zum Beispiel |
Erstellen von digitalen Zwillingen in Mixed Reality
In diesem Beispiel erfahren Sie, wie Sie eine Mixed Reality-HoloLens 2-Anwendung mit Azure Digital Twins und Unity erstellen, einer Echtzeit-3D-Plattform.
| Beispiel | Referenzartikel |
|---|---|
| Erstellen digitaler Mixed Reality-Zwillinge mit Azure Digital Twins und Unity | Vollständiger Lernpfad |
Kameraerfassungen
Unstrukturierte Umgebungssensordaten, die von Ihrem Mixed Reality-Gerät erfasst werden, werden in leistungsstarke abstrakte oder holografische Darstellungen der uns umgebenden physischen Welt konvertiert.
Holographische Mixed Reality-Aufnahme
Mit Mixed Reality-Aufnahme (MRC) wird die Ichperspektive der Kombination aus realer und digitaler Welt als Foto oder Video aufgenommen, und Sie können das Gesehene mit anderen in Echtzeit teilen.
| Beispiel | Referenzartikel |
|---|---|
| Beispiele für Mixed Reality-Aufnahme | Mixed Reality-Aufnahme |
Forschungsmodus
Der Forschungsmodus wurde in der HoloLens der ersten Generation eingeführt, um Zugriff auf wesentliche Sensoren des Geräts zu gewähren, insbesondere für Forschungsanwendungen, die nicht für die Bereitstellung vorgesehen sind. Die folgenden Beispielanwendungen demonstrieren den Zugriff auf und die Aufzeichnung von Forschungsmodus-Datenströmen und die Verwendung der intrinsischen und extrinsischen Funktionen.
| Beispielanwendung | Referenzartikel |
|---|---|
| HoloLens (1. Generation) | Forschungsmodus |
| HoloLens 2 | Forschungsmodus |
Holographic Remoting
Der Holographic Remoting-Player ist eine Begleit-App, die sich mit PC-Apps und -Spielen verbindet, die Holographic Remoting unterstützen. Holographic Remoting streamt holographische Inhalte in Echtzeit über eine WLAN-Verbindung von einem PC an Ihre Microsoft HoloLens. Es wird von HoloLens (1. Generation) und HoloLens 2 unterstützt.
| Beispiel | Referenzartikel |
|---|---|
| Holographic Remoting-Beispiele | Holographic Remoting Übersicht |