Mulai cepat: Buat aplikasi HoloLens dengan Azure Object Anchors di Unity dengan MRTK

Dalam panduan memulai ini, Anda akan membuat aplikasi Unity HoloLens yang menggunakan Azure Object Anchors. Azure Object Anchors adalah layanan cloud terkelola yang mengonversi aset 3D menjadi model AI yang mengaktifkan pengalaman realitas campuran sadar objek untuk HoloLens. Setelah Anda selesai, Anda akan memiliki aplikasi HoloLens berbasis Unity yang dapat mendeteksi objek di dunia fisik.

Anda akan mempelajari cara:

• Siapkan pengaturan untuk build Unity.
• Ekspor proyek HoloLens Visual Studio.
• Terapkan aplikasi serta jalankan di perangkat HoloLens 2.

Prasyarat

Untuk menyelesaikan mulai cepat ini, pastikan Anda memiliki:

• Objek fisik di lingkungan Anda dan model 3D-nya (baik CAD atau dipindai).
• Komputer Windows dengan yang terinstal berikut ini:
  • Git untuk Windows
  • Visual Studio 2019 dengan beban kerja Pengembangan Universal Windows Platform dan komponen Windows 10 SDK (10.0.18362.0 atau yang lebih baru)
  • Unity 2019.4
• Perangkat HoloLens 2 yang terbaru dan mengaktifkan mode pengembang.
  • Untuk memperbarui ke rilis terbaru HoloLens, buka aplikasi Pengaturan, buka Pembaruan & Keamanan, lalu pilih Periksa pembaruan.

Buat akun Object Anchors

Pertama, Anda perlu membuat akun dengan layanan Object Anchors.

1. Pergi ke portal Microsoft Azure dan pilih Buat sumber daya.

   

2. Cari Sumber daya Object Anchors.

   Cari "Object Anchors".

   

   Pada sumber daya Object Anchors di hasil pencarian, pilih Buat -> Jangkar Objek.

   

3. Pada kotak dialog Akun Object Anchors :

   • Masukkan nama sumber daya yang unik.
   • Pilih langganan yang ingin Anda lampirkan sumber dayanya.
   • Buat atau gunakan grup sumber daya yang ada.
   • Pilih wilayah tempat Anda ingin sumber daya berada.

   

   Pilih Buat untuk memulai pembuatan sumber daya.

4. Setelah sumber daya telah dibuat, pilih Pergi ke sumber daya.

   

5. Pada halaman ikhtisar:

   Perhatikan Akun Domain. Anda akan membutuhkannya nanti.

   

   Perhatikan ID Akun. Anda akan membutuhkannya nanti.

   

   Pergi ke halaman Tombol Akses dan perhatiakan Kunci primer. Anda akan membutuhkannya nanti.

   

Menyiapkan perangkat Anda

Untuk menyebarkan aplikasi ke HoloLens, Anda harus memasangkan HoloLens dengan komputer.

1. Di HoloLens Anda, navigasikan ke Pengaturan -> Pembaruan & Keamanan -> Untuk Pengembang.
2. Klik Pasangkan, dan biarkan layar terbuka hingga Anda memasukkan PIN ke Visual Studio selama penyebaran pertama Anda.

Mengunggah model Anda

Sebelum menjalankan aplikasi, Anda harus membuat model Anda tersedia untuk aplikasi. Jika Anda belum memiliki model Object Anchors, ikuti instruksi dalam Membuat model untuk membuatnya. Kemudian, kembali ke sini.

Dengan HoloLens Anda dinyalakan dan tersambung ke perangkat pengembangan (PC), ikuti langkah-langkah ini untuk mengunggah model ke folder Objek 3D di HoloLens Anda:

1. Pilih dan salin model yang ingin Anda kerjakan dengan menekan tombol Ctrl dan C bersama-sama (Ctrl + C).

2. Tekan tombol logo Windows dan E bersama-sama (Win + E) untuk meluncurkan File Explorer. Anda akan melihat HoloLens Anda terdaftar dengan drive dan folder lain di panel kiri.

   

3. Ketuk tautan HoloLens untuk memperlihatkan penyimpanan di perangkat HoloLens di panel kanan.

   

4. Di File Explorer, buka Objek 3D Penyimpanan > Internal. Sekarang, Anda dapat menempelkan model Anda di folder Objek 3D dengan menekan tombol Ctrl dan V bersamaan (Ctrl + V).

   

Buka sampel proyek

Kloning repositori sampel dengan menjalankan perintah berikut:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

Langkah selanjutnya adalah pengunduhan paket Azure Object Anchors untuk Unity.

Unduhan web

Temukan paket Azure Object Anchors untuk Unity (com.microsoft.azure.object-anchors.runtime) di sini. Pilih versi yang Anda inginkan serta unduh paket menggunakan tombol Unduh.

Unduhan NPM

Langkah ini mengharuskan NPM diinstal serta tersedia.

Jalankan perintah berikut untuk menggantikan <version_number> dengan versi Azure Object Anchors yang ingin diunduh:

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

Catatan

Untuk menampilkan versi paket Azure Object Anchors yang tersedia, jalankan perintah berikut ini:

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

Paket Azure Object Anchors akan diunduh ke folder tempat perintah dijalankan.

Alat Fitur Mixed Reality (beta)

Lanjutkan ke langkah berikutnya. Anda akan menggunakan Alat Fitur Mixed Reality pada langkah selanjutnya.

Di Unity, buka proyek quickstarts/apps/unity/mrtk.

Unduhan web

Ikuti instruksi di sini untuk mengimpor paket Azure Object Anchors yang Anda unduh ke dalam proyek Unity menggunakan Unity Package Manager.

Unduhan NPM

Ikuti instruksi di sini untuk mengimpor paket Azure Object Anchors yang Anda unduh ke dalam proyek Unity menggunakan Unity Package Manager.

Alat Fitur Mixed Reality (beta)

Langkah ini mengharuskan Alat Fitur Mixed Reality diunduh dan tersedia.

Catatan

Alat Fitur Mixed Reality saat ini hanya mendukung Windows.

1. Ikuti dokumentasi Alat Fitur Mixed Reality untuk menyiapkan alat dan mempelajari cara menggunakannya.
2. Instal paket fitur "Microsoft Azure Object Anchors" ke dalam folder proyek Unity.

Mengonfigurasi informasi akun

Langkah selanjutnya adalah mengonfigurasi aplikasi untuk menggunakan informasi akun Anda. Anda mencatat nilai Kunci Akun, ID Akun, dan Domain Akun, di bagian "Buat akun Object Anchors".

Pada panel Proyek, masuk ke Assets\AzureObjectAnchors.SDK\Resources.

Pilih ObjectAnchorsConfig. Pada panel Inspektur, masukkan Account Key sebagai nilai untuk Kunci Akun Azure Object Anchors, Account ID sebagai nilai untuk Id Akun Azure Object Anchors, dan Account Domain sebagai nilai untuk Domain Akun Azure Object Anchors.

Buat dan jalankan aplikasi

Membuat sampel scene

Di Editor Unity, buka Aset/MixedReality.AzureObjectAnchors/Scenes, dan buka AOASampleScene, dan tambahkan ke daftar build scene.

Saat dialog "TMP Importer" meminta Anda untuk mengimpor sumber daya TextMesh Pro, pilih "Impor Hal Penting TMP" untuk melakukan hal tersebut.

Pilih File -> Membangun Pengaturan. Pilih Universal Windows Platform lalu pilih Switch Platform. Jika Unity Editor meminta Anda mengunduh beberapa komponen terlebih dahulu,maka Anda harus unduh dan instal. Ikuti cuplikan layar dibawah ini untuk mengkonfigurasi pengaturan build. Pastikan bahwa hanyaAOASampleScene yang memiliki tanda centang di sampingnya: semua adegan lain tidak boleh disertakan.

Pilih Susun dan pilih folder output. Anda sekarang dapat membuat proyek VS di folder output.

Membuat dan menyebarkan aplikasi

Buka file .sln yang dihasilkan oleh Unity. Ubah konfigurasi build menjadi berikut ini.

Selanjutnya, Anda harus mengonfigurasi Alamat IP Mesin Jarak Jauh untuk menyebarkan dan men-debug aplikasi.

Klik kanan proyek Anda, dan pilih Properti. Di halaman properti, pilih Properti Konfigurasi -> Penelusuran Kesalahan. Ubah nilai Nama Mesin ke alamat IP perangkat HoloLens Anda dan klik Terapkan.

Tutup halaman properti. Klik Mesin Jarak Jauh. Aplikasi harus mulai membangun dan menyebarkan ke perangkat jarak jauh Anda. Pastikan perangkat Anda aktif.

Setelah layar splash Unity, Anda akan melihat kotak pembatas berwarna putih. Anda dapat menggunakan tangan Anda untuk memindahkan, menskalakan, atau memutar kotak pembatas. Tempatkan kotak untuk menutupi objek yang ingin dideteksi.

Buka menu tangan serta pilih Kunci SearchArea untuk mencegah pergerakan kotak batas lebih lanjut. Pilih Mulai Pencarian untuk memulai proses deteksi objek. Ketika objek terdeteksi, mesh akan dirender di objek. Detail instans yang terdeteksi akan ditampilkan di layar, seperti cap waktu yang diperbarui serta rasio cakupan permukaan. Pilih Hentikan Pencarian untuk menghentikan pelacakan serta semua instans yang terdeteksi akan dihapus.

Menu aplikasi

Anda juga dapat melakukan tindakan lain menggunakan menu tangan.

Menu utama

• Mulai Pencarian / Hentikan Pencarian – Memulai atau menghentikan proses deteksi objek.

• Beralih Pemetaan Spasial – Menampilkan/menyembunyikan rendering pemetaan spasial. Opsi ini dapat digunakan untuk men-debug serta memastikan apakah pemindaian selesai atau tidak.

• Pengaturan Pelacak – Beralih ke aktivasi menu pengaturan pelacak.

• Pengaturan Pelacak – Beralih ke aktivasi menu pengaturan area pencarian.

• Mulai Penelusuran - Menangkap data diagnostik serta menyimpan ke perangkat. Lihat detail selengkapnya pada bagian Masalah Deteksi Debug serta Diagnostik Penangkapan.

• Unggah Pelacakan – Mengunggah data diagnostik ke layanan Object Anchors.

  

Menu pengaturan pelacak

• Akurasi Tinggi - – Fitur eksperimental yang digunakan untuk mendapatkan pose yang lebih akurat. Mengaktifkan opsi ini akan memerlukan lebih banyak sumber daya sistem selama deteksi objek. Jaring objek akan dirender dalam warna merah muda ketika berada dalam mode ini. Pilih tombol ini lagi untuk kembali ke mode pelacakan normal.

• Perataan Vertikal Lepas – Saat diaktifkan pilihan ini memungkinkan objek terdeteksi pada sudut non-vertikal. Berguna untuk mendeteksi objek yang berada di sudut landai.

• Izinkan Perubahan Skala – Memungkinkan pelacak mengubah ukuran objek yang terdeteksi berdasarkan informasi lingkungan.

• Penggeser Rasio Cakupan – Menyesuaikan proporsi titik permukaan yang harus cocok dengan pelacak untuk mendeteksi objek. Nilai yang lebih rendah memungkinkan pelacak untuk mendeteksi objek yang sulit dideteksi sensor HoloLens, seperti objek gelap atau objek yang sangat reflektif. Nilai yang lebih tinggi akan mengurangi deteksi palsu.

  

Menu pengaturan Area Pencarian

• Kunci Area Pencarian – Kotak batas area kunci untuk mencegah gerakan tangan yang tidak disengaja.

• Penyesuaian Area Pencarian Otomatis – Memungkinkan area pencarian untuk memposisikan ulang dirinya sendiri selama proses deteksi objek.

• Jaring Siklus – Berputar melalui visualisasi jaring yang dimuat di dalam area pencarian. Opsi ini dapat membantu pengguna untuk meratakan kotak pencarian agar dapat mendeteksi objek yang sulit dideteksi.

  

Pemecahan Masalah

Tips

Jika objek Anda tidak terdeteksi, Anda bisa mencoba langkah-langkah berikut:

1. Periksa kembali apakah Anda menggunakan model yang benar untuk objek Anda.
2. Visualisasikan area pencarian dan pastikan menutupi objek target.
3. Coba kurangi MinSurfaceCoverage.
4. Di Portal Perangkat Windows, klik Tampilan -> Tampilan 3D, dan verifikasi apakah pemindaian selesai.

Langkah berikutnya

Mulai cepat: Panduan MRTK mendalam

Konsep: Ikhtisar SDK

FAQ

SDK Konversi

Pemecahan masalah deteksi objek