Mulai cepat: Buat aplikasi HoloLens dengan Azure Object Anchors, di C++/WinRT dan DirectX
Mulai cepat ini mencakup cara membuat aplikasi HoloLens menggunakan Azure Object Anchors di C++/WinRT dan DirectX. Object Anchors adalah layanan cloud terkelola yang mengonversi aset 3D menjadi model AI yang memungkinkan pengalaman realitas campuran sadar objek untuk HoloLens. Setelah selesai, Anda akan memiliki aplikasi HoloLens yang dapat mendeteksi objek dan posenya dalam aplikasi Holographic DirectX 11 (Universal Windows).
Anda akan mempelajari cara:
- Membuat dan memuat sisi aplikasi HoloLens
- Mendeteksi objek dan memvisualisasikan modelnya
Jika Anda tidak memiliki Langganan Azure, buat Akun gratis Azure sebelum memulai.
Prasyarat
Untuk menyelesaikan mulai cepat ini, pastikan Anda memiliki:
- Objek fisik di lingkungan Anda dan model 3D-nya, baik CAD atau dipindai.
- Komputer Windows dengan berikut ini terinstal:
- Git untuk Windows
- Visual Studio 2019 dengan beban kerja Pengembangan Universal Windows Platform dan komponen Windows 10 SDK (10.0.18362.0 atau yang lebih baru)
- Perangkat HoloLens 2 yang terbaru dan mengaktifkan mode pengembang.
- Untuk memperbarui ke rilis terbaru HoloLens, buka aplikasi Pengaturan, buka Pembaruan & Keamanan, lalu pilih Periksa pembaruan.
Buat akun Object Anchors
Pertama, Anda perlu membuat akun dengan layanan Object Anchors.
Pergi ke portal Microsoft Azure dan pilih Buat sumber daya.
Cari Sumber daya Object Anchors.
Cari "Object Anchors".
Pada sumber daya Object Anchors di hasil pencarian, pilih Buat -> Jangkar Objek.
Pada kotak dialog Akun Object Anchors :
- Masukkan nama sumber daya yang unik.
- Pilih langganan yang ingin Anda lampirkan sumber dayanya.
- Buat atau gunakan grup sumber daya yang ada.
- Pilih wilayah tempat Anda ingin sumber daya berada.
Pilih Buat untuk memulai pembuatan sumber daya.
Setelah sumber daya telah dibuat, pilih Pergi ke sumber daya.
Pada halaman ikhtisar:
Perhatikan Akun Domain. Anda akan membutuhkannya nanti.
Perhatikan ID Akun. Anda akan membutuhkannya nanti.
Pergi ke halaman Tombol Akses dan perhatiakan Kunci primer. Anda akan membutuhkannya nanti.
Mengunggah model Anda
Sebelum menjalankan aplikasi, Anda harus membuat model Anda tersedia untuk aplikasi. Jika Anda belum memiliki model Object Anchors, ikuti instruksi dalam Membuat model untuk membuatnya. Kemudian, kembali ke sini.
Dengan HoloLens Anda dinyalakan dan tersambung ke perangkat pengembangan (PC), ikuti langkah-langkah ini untuk mengunggah model ke folder Objek 3D di HoloLens Anda:
Pilih dan salin model yang ingin Anda kerjakan dengan menekan tombol Ctrl dan C bersama-sama (Ctrl + C).
Tekan tombol logo Windows dan E bersama-sama (Win + E) untuk meluncurkan File Explorer. Anda akan melihat HoloLens Anda terdaftar dengan drive dan folder lain di panel kiri.
Ketuk tautan HoloLens untuk memperlihatkan penyimpanan di perangkat HoloLens di panel kanan.
Di File Explorer, buka Objek 3D Penyimpanan > Internal. Sekarang, Anda dapat menempelkan model Anda di folder Objek 3D dengan menekan tombol Ctrl dan V bersamaan (Ctrl + V).
Buka sampel proyek
Kloning repositori sampel dengan menjalankan perintah berikut:
git clone https://github.com/Azure/azure-object-anchors.git
cd ./azure-object-anchors
Buka mulai cepat/aplikasi/directx/DirectXAoaSampleApp.sln di Visual Studio.
Ubah Konfigurasi Solusi untuk Rilis, ubah Platform Solusi ke ARM64, pilih Perangkat dari opsi target penyebaran.
Mengonfigurasi informasi akun
Langkah selanjutnya adalah mengonfigurasi aplikasi untuk menggunakan informasi akun Anda. Anda mencatat nilai Kunci Akun, ID Akun, dan Domain Akun, di bagian "Buat akun Object Anchors".
Buka Aset\ObjectAnchorsConfig.json.
Temukan bidang AccountId dan ganti Set me dengan ID Akun Anda.
Temukan bidang AccountKey dan ganti Set me dengan Kunci Akun Anda.
Temukan bidang AccountDomain dan ganti Set me dengan Domain Akun Anda.
Sekarang, bangun proyek AoaSampleApp dengan mengklik kanan proyek dan memilih Bangun.
Sebarkan aplikasi ke HoloLens
Setelah berhasil mengompilasi proyek sampel, Anda dapat menyebarkan aplikasi ke HoloLens.
Pastikan perangkat HoloLens dinyalakan dan terhubung ke PC melalui kabel USB. Pastikan Perangkat adalah target penyebaran yang dipilih, seperti di atas.
Klik kanan proyek AoaSampleApp, lalu pilih Sebarkan dari menu konteks untuk menginstal aplikasi. Jika tidak ada kesalahan yang muncul di Jendela Output Visual Studio, aplikasi akan dipasang di HoloLens.
Sebelum meluncurkan aplikasi, Anda harus mengunggah model objek, chair.ou misalnya, ke folder Objek 3D di HoloLens Anda. Jika belum, ikuti instruksi di bagian Unggah model Anda.
Untuk meluncurkan dan men-debug aplikasi, pilih Debug>Mulai penelusuran kesalahan.
Menyerap model objek dan mendeteksi instansnya
Aplikasi AoaSampleApp sekarang berjalan di perangkat HoloLens Anda. Berjalanlah dekat, dalam jarak 2 meter, ke objek target (kursi) dan pindai dengan melihatnya dari beberapa perspektif. Anda akan melihat kotak batas merah muda di sekitar objek dengan beberapa titik kuning yang dirender dekat dengan permukaan objek, yang menunjukkan bahwa itu terdeteksi. Anda juga akan melihat kotak kuning yang menunjukkan area pencarian.
Anda dapat menentukan ruang pencarian untuk objek di aplikasi dengan mengklik dengan jari di udara dengan tangan kanan atau kiri Anda. Ruang pencarian akan beralih di antara bola radius 2 meter, kotak batas 4 m^ 3 dan frustum tampilan. Untuk objek yang lebih besar seperti mobil, pilihan terbaik biasanya adalah menggunakan pemilihan frustum tampilan sambil berdiri menghadap sudut objek pada jarak sekitar 2 meter. Setiap kali area pencarian berubah, aplikasi menghapus instans yang saat ini sedang dilacak. Kemudian mencoba menemukannya lagi di area pencarian baru.
Aplikasi ini dapat melacak beberapa objek sekaligus. Untuk melakukannya, unggah beberapa model ke folder Objek 3D perangkat Anda dan atur area pencarian yang mencakup semua objek target. Mungkin perlu waktu lebih lama untuk mendeteksi dan melacak beberapa objek.
Aplikasi ini menyelaraskan model 3D dengan rekan fisiknya dengan cermat. Pengguna dapat mengetuk udara menggunakan tangan kiri mereka untuk menyalakan mode pelacakan presisi tinggi, yang menghitung pose yang lebih akurat. Fitur ini masih bersifat eksperimental. Ini mengonsumsi lebih banyak sumber daya sistem dan dapat mengakibatkan jitter yang lebih tinggi dalam perkiraan pose. Ketuk udara lagi dengan tangan kiri untuk beralih kembali ke mode pelacakan normal.