Pengalaman bersama dalam realitas campuran
Hologram tidak perlu tetap privat hanya untuk satu pengguna. Aplikasi Holografik dapat berbagi jangkar spasial dari satu perangkat HoloLens, iOS, atau Android ke perangkat lain, memungkinkan pengguna untuk merender hologram di tempat yang sama di dunia nyata di beberapa perangkat.
Enam pertanyaan untuk menentukan skenario bersama
Sebelum Anda mulai merancang untuk pengalaman bersama, penting untuk menentukan skenario target. Skenario ini membantu mengklarifikasi apa yang Anda rancang dan buat kosakata umum untuk membantu membandingkan dan membedakan fitur yang diperlukan dalam pengalaman Anda. Memahami masalah inti, dan berbagai jalan untuk solusi, adalah kunci untuk mengungkap peluang yang melekat dalam media baru ini.
Melalui prototipe internal dan eksplorasi dari agen mitra HoloLens kami, kami membuat enam pertanyaan untuk membantu Anda menentukan skenario bersama. Pertanyaan-pertanyaan ini membentuk kerangka kerja, tidak dimaksudkan untuk melelahkan, untuk membantu menyaring atribut penting dari skenario Anda.
1. Bagaimana mereka berbagi?
Presentasi mungkin dipimpin oleh satu pengguna virtual, sementara beberapa pengguna dapat berkolaborasi, atau guru mungkin memberikan panduan kepada siswa virtual yang bekerja dengan materi virtual—kompleksitas pengalaman meningkat berdasarkan tingkat agensi yang dimiliki atau dapat dimiliki pengguna dalam skenario.
Ada banyak cara untuk dibagikan, tetapi kami telah menemukan bahwa sebagian besar dari mereka termasuk dalam tiga kategori:
- Presentasi: Saat konten yang sama ditampilkan kepada beberapa pengguna. Misalnya: Seorang profesor memberikan kuliah kepada beberapa siswa menggunakan materi holografik yang sama yang disajikan kepada semua orang. Profesor, bagaimanapun, bisa memiliki / nya sendiri petunjuk dan catatan yang mungkin tidak terlihat oleh orang lain.
- Kolaborasi: Ketika orang bekerja sama untuk mencapai beberapa tujuan bersama. Misalnya: Profesor memberi proyek untuk belajar tentang melakukan operasi jantung. Siswa memasangkan dan menciptakan pengalaman lab keterampilan bersama, yang memungkinkan siswa kedokteran untuk berkolaborasi pada model jantung dan belajar.
- Panduan: Ketika satu orang membantu seseorang untuk menyelesaikan masalah dalam interaksi gaya satu-ke-satu lainnya. Misalnya: Profesor memberikan bimbingan kepada siswa ketika dia melakukan lab keterampilan operasi jantung dalam pengalaman bersama.
2. Berapa ukuran grupnya?
Pengalaman berbagi satu-ke-satu dapat memberikan garis besar yang kuat dan idealnya bukti konsep Anda dapat dibuat pada tingkat ini. Tetapi ketahuilah bahwa berbagi dengan kelompok besar (di luar enam orang) dapat menyebabkan kesulitan baik teknis (data dan jaringan) dan sosial (dampak berada di ruangan dengan beberapa avatar). Kompleksitas meningkat secara eksponensial saat Anda pergi dari kelompok kecil ke besar.
Kami telah menemukan bahwa kebutuhan grup dapat termasuk dalam tiga kategori ukuran:
- 1:1
- Kecil < 7
- Besar >= 7
Ukuran grup membuat pertanyaan penting karena memengaruhi:
- Representasi orang di ruang holografik
- Skala objek
- Skala lingkungan
3. Dimana semua orang?
Kekuatan realitas campuran mulai berperan ketika pengalaman bersama dapat berlangsung di lokasi yang sama. Kami menyebutnya kolokasi. Sebaliknya, ketika grup didistribusikan dan setidaknya satu peserta tidak berada di ruang fisik yang sama (seperti yang sering terjadi dengan VR), kami menyebutnya pengalaman jarak jauh. Seringkali, grup Anda memiliki peserta kolokasi dan jarak jauh (misalnya, dua grup di ruang konferensi).
Kategori berikut membantu menyampaikan lokasi pengguna:
- Colocated: Semua pengguna Anda akan berada di ruang fisik yang sama.
- Jarak Jauh: Semua pengguna Anda akan berada di ruang fisik terpisah.
- Keduanya: Pengguna Anda akan menjadi campuran ruang yang dikolokasi dan jarak jauh.
Pertanyaan ini sangat penting karena memengaruhi:
- Bagaimana orang berkomunikasi?
- Misalnya: Apakah mereka harus memiliki avatar?
- Objek apa yang mereka lihat. Apakah semua objek dibagikan?
- Apakah kita perlu beradaptasi dengan lingkungan mereka?
4. Kapan mereka berbagi?
Kami biasanya memikirkan pengalaman sinkron ketika pengalaman bersama teringat: Kita semua melakukannya bersama. Tetapi jika kita menyertakan satu elemen virtual yang ditambahkan oleh orang lain, kita memiliki skenario asinkron . Bayangkan catatan, atau memo suara, ditinggalkan di lingkungan virtual. Bagaimana Anda menangani 100 memo virtual yang tersisa pada desain Anda? Bagaimana jika mereka berasal dari puluhan orang dengan tingkat privasi yang berbeda?
Pertimbangkan pengalaman Anda sebagai salah satu kategori waktu ini:
- Secara sinkron: Berbagi pengalaman holografik secara bersamaan. Misalnya: Dua siswa melakukan lab keterampilan secara bersamaan.
- Secara asinkron: Berbagi pengalaman holografik pada waktu yang berbeda. Misalnya: Dua siswa melakukan lab keterampilan tetapi mengerjakan bagian terpisah pada waktu yang berbeda.
- Keduanya: Pengguna Anda terkadang akan berbagi secara sinkron tetapi di lain waktu secara asinkron. Misalnya: Seorang profesor yang memberi nilai tugas yang dilakukan oleh siswa di lain waktu dan meninggalkan catatan untuk siswa untuk hari berikutnya.
Pertanyaan ini penting karena memengaruhi:
- Persistensi objek dan lingkungan. Misalnya: Menyimpan status sehingga dapat diambil.
- Perspektif pengguna. Misalnya: Mungkin mengingat apa yang dilihat pengguna saat meninggalkan catatan.
5. Seberapa mirip lingkungan fisik mereka?
Kemungkinan dua lingkungan kehidupan nyata yang identik, di luar pengalaman yang dikolokasi, tipis kecuali lingkungan tersebut telah dirancang agar identik. Anda lebih cenderung memiliki lingkungan yang sama . Misalnya, ruang konferensi serupa—biasanya memiliki meja yang terletak di pusat yang dikelilingi oleh kursi. Ruang tamu, di sisi lain, berbeda** dan dapat mencakup sejumlah perabotan dalam berbagai tata letak yang tak terbatas.
Pertimbangkan pengalaman berbagi Anda yang sesuai dengan salah satu dari dua kategori ini:
- Serupa: Lingkungan yang cenderung memiliki furnitur serupa, cahaya sekitar dan suara, ukuran ruangan fisik. Misalnya: Profesor berada di ruang kuliah A dan mahasiswa berada di ruang kuliah B. Ruang kuliah A mungkin memiliki lebih sedikit kursi daripada B tetapi mereka berdua mungkin memiliki meja fisik untuk menempatkan hologram.
- Berbeda: Lingkungan yang berbeda dalam pengaturan furnitur, ukuran ruangan, cahaya, dan pertimbangan suara. Misalnya: Seorang profesor berada di ruang fokus, tetapi siswa berada di ruang kuliah yang besar, diisi dengan siswa dan guru.
Penting untuk memikirkan lingkungan, karena akan memengaruhi:
- Bagaimana orang akan mengalami objek-objek ini. Misalnya: Jika pengalaman Anda bekerja paling baik di atas tabel dan pengguna tidak memiliki tabel? Atau di permukaan lantai datar tetapi pengguna memiliki ruang yang berantakan.
- Skala objek. Misalnya: Menempatkan model manusia enam kaki di atas meja bisa menjadi tantangan tetapi model jantung akan bekerja dengan baik.
6. Perangkat apa yang mereka gunakan?
Saat ini Anda sering kali cenderung melihat pengalaman bersama antara dua perangkat imersif (perangkat tersebut mungkin sedikit berbeda untuk tombol dan kemampuan relatif, tetapi tidak terlalu) atau dua perangkat holografik mengingat solusi yang ditargetkan pada perangkat ini. Tetapi pertimbangkan apakah perangkat 2D (peserta seluler/desktop atau pengamat) akan menjadi pertimbangan yang diperlukan, terutama dalam situasi perangkat 2D dan 3D campuran. Memahami jenis perangkat yang akan digunakan peserta Anda adalah penting, tidak hanya karena mereka datang dengan ketepatan dan ketepatan data dan peluang yang berbeda, tetapi karena pengguna memiliki harapan unik untuk setiap platform.
Menjelajahi potensi pengalaman bersama
Jawaban atas pertanyaan di atas dapat digabungkan untuk lebih memahami skenario bersama Anda, mengkristalkan tantangan saat Anda memperluas pengalaman. Untuk tim di Microsoft, ini membantu membangun peta jalan untuk meningkatkan pengalaman yang kami gunakan saat ini, memahami nuansa masalah kompleks ini dan cara memanfaatkan pengalaman bersama dalam realitas campuran.
Misalnya, pertimbangkan salah satu skenario Skype dari peluncuran HoloLens: pengguna bekerja melalui cara memperbaiki sakelar lampu rusak dengan bantuan dari pakar yang terletak dari jarak jauh.
Seorang ahli memberikan panduan 1:1 dari komputer desktop 2D-nya kepada pengguna perangkat realitas campuran 3D . Panduannyasinkron dan lingkungan fisiknya berbeda.
Pengalaman seperti ini adalah perubahan langkah dari pengalaman kami saat ini—menerapkan paradigma video dan suara ke media baru. Tetapi seperti yang kita lihat ke masa depan, kita harus lebih mendefinisikan peluang skenario kita dan membangun pengalaman yang mencerminkan kekuatan realitas campuran.
Pertimbangkan alat kolaborasi OnSight, yang dikembangkan oleh Jet Propulsion Laboratory NASA. Para ilmuwan yang mengerjakan data dari misi rover Mars dapat berkolaborasi dengan kolega secara real time dalam data dari lanskap Mars.
Seorang ilmuwan mengeksplorasi lingkungan menggunakan perangkat realitas campuran 3D dengan sekelompok kecil kolega jarak jauh menggunakan perangkat 3D dan 2D . Kolaborasi ini sinkron (tetapi dapat ditinjau kembali secara asinkron) dan lingkungan fisiknya mirip (hampir).
Pengalaman seperti OnSight menghadirkan peluang baru untuk berkolaborasi. Dari secara fisik menunjukkan elemen di lingkungan virtual hingga berdiri di samping kolega dan berbagi perspektif mereka saat mereka menjelaskan temuan mereka. OnSight menggunakan lensa perendaman dan kehadiran untuk memikirkan kembali pengalaman berbagi dalam realitas campuran.
Kolaborasi intuitif adalah batuan percakapan, bekerja sama dan memahami bagaimana kita dapat menerapkan intuisi ini pada kompleksitas realitas campuran sangat penting. Jika kita tidak hanya dapat menciptakan kembali pengalaman berbagi dalam realitas campuran tetapi supercharge mereka, itu akan menjadi pergeseran paradigma untuk masa depan pekerjaan. Merancang untuk pengalaman bersama dalam realitas campuran adalah ruang yang baru dan menarik—dan kami hanya berada di awal.
Mulai membangun pengalaman bersama
Tergantung pada aplikasi dan skenario Anda, akan ada berbagai persyaratan untuk mencapai pengalaman yang Anda inginkan. Beberapa di antaranya meliputi:
- Pencocokan: Kemampuan untuk membuat sesi, mengiklankan sesi, menemukan dan mengundang orang tertentu, baik secara lokal maupun jarak jauh untuk bergabung dengan sesi Anda.
- Berbagi jangkar: Kemampuan untuk menyelaraskan koordinat di beberapa perangkat di ruang lokal umum, sehingga hologram muncul di tempat yang sama untuk semua orang.
- Jaringan: Kemampuan untuk memiliki posisi, interaksi, dan gerakan orang dan hologram yang disinkronkan secara real time di semua peserta.
- Penyimpanan status: Kemampuan untuk menyimpan karakteristik dan lokasi hologram di ruang angkasa untuk gabungan pertengahan sesi, pengenalan di lain waktu, dan ketahanan terhadap masalah jaringan.
Kunci untuk pengalaman bersama adalah memiliki beberapa pengguna yang melihat hologram yang sama di dunia di perangkat mereka sendiri, sering dilakukan dengan berbagi jangkar untuk menyelaraskan koordinat di seluruh perangkat.
Untuk berbagi jangkar, gunakan Azure Spatial Anchors:
- Pertama pengguna menempatkan hologram.
- Aplikasi membuat jangkar spasial, untuk menyematkan hologram itu secara tepat di dunia.
- Jangkar dapat dibagikan ke perangkat HoloLens, iOS, dan Android melalui Azure Spatial Anchors.
Dengan jangkar spasial bersama, aplikasi di setiap perangkat sekarang memiliki sistem koordinat umum di mana mereka dapat menempatkan konten. Sekarang aplikasi dapat memastikan untuk memposisikan dan mengarahkan hologram di lokasi yang sama.
Di perangkat HoloLens, Anda juga dapat berbagi jangkar offline dari satu perangkat ke perangkat lainnya. Gunakan tautan di bawah ini untuk memutuskan apa yang terbaik untuk aplikasi Anda.
Mengevaluasi opsi teknologi
Ada berbagai opsi layanan dan teknologi yang tersedia untuk membantu membangun pengalaman realitas campuran multi-pengguna. Mungkin sulit untuk memilih jalur, jadi mengambil perspektif yang berfokus pada skenario, beberapa opsi dirinci di bawah ini.
Hologram statis bersama (tanpa interaksi)
Manfaatkan Azure Spatial Anchors di aplikasi Anda. Mengaktifkan dan berbagi jangkar spasial di seluruh perangkat memungkinkan Anda membuat aplikasi di mana pengguna melihat hologram di tempat yang sama pada saat yang sama. Sinkronisasi tambahan di seluruh perangkat diperlukan untuk memungkinkan pengguna berinteraksi dengan hologram dan melihat gerakan atau pembaruan status hologram.
Bagikan perspektif orang pertama
Manfaatkan dukungan Miracast bawaan untuk pengguna lokal saat Anda memiliki penerima Miracast yang didukung seperti PC atau TV. Tidak diperlukan kode aplikasi tambahan.
Pengalaman kolaboratif multi-pengguna
Mulailah dengan tutorial pembelajaran multi-pengguna kami, yang memanfaatkan Azure Spatial Anchors untuk pengguna lokal dan Photon SDK untuk menyinkronkan konten/status di adegan. Buat aplikasi kolaboratif lokal di mana setiap pengguna memiliki perspektifnya sendiri pada hologram dalam adegan dan masing-masing dapat berinteraksi sepenuhnya dengan hologram. Updates disediakan di semua perangkat dan manajemen konflik interaksi ditangani oleh Photon.
Catatan
Harap dicatat bahwa Photon adalah produk non-Microsoft, sehingga hubungan penagihan dengan Photon mungkin diperlukan untuk mengolah dan menskalakan untuk penggunaan yang lebih tinggi.
Pekerjaan di masa mendatang
Kemampuan dan antarmuka komponen akan membantu dalam memberikan konsistensi umum dan dukungan yang kuat di berbagai skenario dan teknologi yang mendasarinya. Sampai saat itu, pilih jalur terbaik yang selaras dengan skenario yang ingin Anda capai dalam aplikasi Anda.
Skenario atau keinginan yang berbeda untuk menggunakan teknologi/layanan yang berbeda? Berikan umpan balik sebagai masalah GitHub di repositori yang sesuai, di bagian bawah halaman ini, atau hubungi HoloDevelopers kendur.