Latihan - Azure Cloud Services untuk HoloLens 2

  • 9 menit

Dengan setiap bab berturut-turut, Anda akan menambahkan layanan Azure Cloud baru untuk memperluas fitur aplikasi dan pengalaman pengguna, sambil mengajari Anda dasar-dasar setiap layanan Azure Cloud.

Catatan

Seri modul ini akan berfokus pada HoloLens 2, tetapi karena sifat Unity yang lintas platform, sebagian besar pelajaran ini juga akan berlaku untuk aplikasi desktop dan seluler.

Tujuan aplikasi

Dalam seri modul ini, Anda akan membuat aplikasi HoloLens 2 yang dapat mendeteksi objek dari gambar dan menemukan lokasi spasialnya. Kita akan menyebut objek ini sebagai Objek Terlacak.

Pengguna dapat membuat Objek Terlacak untuk mengaitkan sekumpulan gambar melalui visi komputer, lokasi spasial, atau keduanya. Semua data harus disimpan ke dalam cloud.

Fitur

  • Pengelolaan dasar data dan gambar
  • Pelatihan dan deteksi gambar
  • Menyimpan lokasi spasial dan panduan untuk itu

Layanan Cloud Azure

Anda akan menggunakan layanan Azure Cloud berikut untuk menerapkan fitur di atas:

Azure Storage

Anda akan menggunakan Azure Storage untuk menyimpan data. Azure Storage memungkinkan Anda menyimpan data dalam tabel dan mengunggah biner besar seperti gambar.

Azure Custom Vision

Dengan Azure AI Custom Vision (bagian dari layanan Azure AI) Anda dapat mengaitkan sekumpulan gambar ke Objek Terlacak, melatih model pembelajaran mesin pada set yang Anda buat, dan mendeteksi Objek Terlacak.

Azure Spatial Anchors

Untuk menyimpan lokasi Objek Terlacak dan memberikan petunjuk arah terpandu untuk menemukannya, Anda akan menggunakan Azure Spatial Anchors.

Membuat dan mempersiapkan proyek Unity

Pada bagian ini, Anda akan membuat proyek Unity baru dan menyiapkannya untuk pengembangan MRTK.

Pertama, ikuti langkah-langkah di jalur pembelajaran HoloLens 2, tidak termasuk instruksi Bangun aplikasi Anda ke perangkat Anda, yang mencakup langkah-langkah berikut:

  1. Membuat proyek Unity dan memberinya nama yang sesuai, misalnya, Tutorial Azure Cloud
  2. Beralih platform build
  3. Mengimpor Sumber Daya Penting TextMeshPro
  4. Mengimpor Mixed Reality Toolkit
  5. Mengonfigurasi proyek Unity
  6. Membuat dan mengonfigurasi adegan dan memberi nama yang sesuai pada adegan, misalnya, AzureCloudServices

Mengimpor aset tutorial

  1. AzurespatialAnchors Tambahkan SDK ke proyek Anda. Untuk menambahkan paket, ikuti tutorial ini.

  2. Unduh dan impor paket kustom Unity berikut dalam urutan yang tercantum:

    Setelah Anda mengimpor aset tutorial, jendela Proyek Anda akan terlihat mirip dengan ini:

    Screenshot of Unity Hierarchy, Scene, and Project windows after importing the tutorial assets.

Menyiapkan scene

Pada bagian ini, Anda akan menyiapkan adegan dengan menambahkan beberapa prefab tutorial.

  1. Di jendela Proyek, buka folder Aset>MRTK.Tutorials.AzureCloudServices>Prefab>Manajer. Sambil menahan tombol CTRL, pilih SceneController, RootMenu dan DataManager untuk memilih tiga prefab:

    Screenshot of Unity with SceneController, RootMenu, and DataManager prefabs selected.

    SceneController (prefab) berisi dua skrip, SceneController (skrip) dan UnityDispatcher (skrip). Komponen skrip SceneController berisi beberapa fungsi UX dan memfasilitasi fungsionalitas pengambilan foto, sedangkan UnityDispatcher adalah kelas pembantu yang memungkinkan tindakan eksekusi pada utas utama Unity.

    RootMenu (prefab) adalah prefab UI utama yang menampung semua jendela UI yang terhubung satu sama lain melalui berbagai komponen skrip kecil dan mengontrol aliran UX umum aplikasi.

    DataManager (prefab) bertanggung jawab untuk berkomunikasi dengan penyimpanan Azure, dan akan dijelaskan lebih lanjut di tutorial berikutnya.

  2. Sekarang, dengan tiga prefab masih dipilih, seret ke jendela Hierarki untuk menambahkannya ke adegan:

    Screenshot of Unity with newly added SceneController, RootMenu and DataManager prefabs still selected.

  3. Untuk fokus pada objek dalam adegan, Anda dapat mengklik dua kali objek RootMenu , lalu memperkecil sedikit lagi. Dengan objek RootMenu masih dipilih, ubah nilainya dalam komponen Transformasi menjadi yang berikut ini:

    Posisi: X = 0,0, Y = 1,6, Z = 0,6

    Screenshot of Unity with RootMenu object selected.

    Tip

    Jika Anda menemukan ikon besar di adegan yang mengganggu (misalnya, ikon 'T' berbingkai besar), Anda dapat menyembunyikannya dengan mengalihkan Gizmos ke posisi nonaktif.

Mengonfigurasi adegan

Di bagian ini, Anda akan menghubungkan SceneManager, DataManager, dan RootMenu bersama-sama untuk memiliki adegan kerja untuk tutorial Mengintegrasikan penyimpanan Azure berikutnya.

Menyambungkan objek

  1. Di jendela Hierarki, pilih objek DataManager:

    Screenshot of Unity with DataManager object selected.

  2. Di jendela Pemeriksa, temukan komponen DataManager (Skrip). Anda akan melihat slot kosong pada peristiwa On Data Manager Ready (). Seret objek SceneController dari jendela Hierarki ke peristiwa On Data Manager Ready ().

    Screenshot of Unity with DataManager event listener added.

  3. Menu drop-down acara sekarang aktif. Pilih menu drop-down, navigasi ke SceneController, dan pilih opsi Init () di submenu.

    Screenshot of Unity with DataManager event action added.

  4. Dari jendela Hierarki, pilih objek SceneController. Anda akan menemukan komponen SceneController (skrip) di Inspektur.

    Screenshot of Unity with SceneController selected.

  5. Sekarang ada beberapa bidang yang kosong; mari kita ubah bidang tersebut. Pindahkan objek DataManager dari Hierarki ke bidang Manajer Data, lalu pindahkan RootMenu>MainMenu GameObject dari Hierarki ke bidang Menu Utama.

    Screenshot of Unity with SceneController configured.

  6. Di jendela Hierarki, pilih objek MRTK XR Rig . Pastikan objek anak UCAPAN MRTK diaktifkan. Ini memungkinkan Anda untuk membuka menu dengan mengatakan "Buka menu."

  7. Sekarang adegan Anda siap untuk tutorial yang akan datang. Jangan lupa untuk menyimpannya ke proyek Anda.

Menyiapkan alur pembangunan proyek

Catatan

Membangun dan menguji di HoloLens 2 tidak wajib. Anda dapat melakukan pengujian di Emulator HoloLens 2 jika tidak memiliki perangkat HoloLens. Anda dapat membeli perangkat di HoloLens.com.

Sebelum kita menyelesaikan adegan, mari kita siapkan proyek untuk membangun HoloLens 2.

1. Tambahkan kemampuan lain yang diperlukan

  1. Di menu Unity, pilih Edit>Proyek Pengaturan... untuk membuka jendela Pengaturan Proyek.

    Screenshot of Unity open Project Settings.

  2. Di jendela Pengaturan Proyek, pilih Pemutar, lalu Terbitkan Pengaturan:

    Screenshot of Unity Publishing Settings.

  3. Di Pengaturan Penerbitan, gulir ke bawah ke bagian Kemampuan dan periksa kembali apakah kemampuan InternetClient, Mikrofon, dan SpatialPerception (yang Anda aktifkan saat Anda membuat proyek di awal tutorial) aktif. Kemudian, aktifkan kemampuan InternetClientServer, PrivateNetworkClientServer, dan Webcam:

    Screenshot of Unity Capabilities

2. Sebarkan aplikasi ke HoloLens 2 Anda

Anda tidak akan dapat menjalankan semua fitur yang akan Anda gunakan dalam seri tutorial ini di dalam editor Unity. Oleh karena itu, Anda harus terbiasa dengan menyebarkan aplikasi ke perangkat atau emulator HoloLens 2 Anda.

Tip

Untuk pengingat tentang cara membangun dan menyebarkan proyek Unity Anda ke HoloLens 2, Anda dapat merujuk ke tutorial Memulai - Membangun dan menyebarkan instruksi aplikasi Anda.

3. Jalankan aplikasi di HoloLens 2 Anda dan ikuti petunjuk dalam aplikasi

Perhatian

Semua Layanan Azure menggunakan internet, jadi pastikan perangkat Anda tersambung ke internet.

Saat aplikasi berjalan di perangkat Anda, berikan akses ke kemampuan yang diminta berikut ini:

  • Mikrofon
  • Kamera

Kemampuan ini diperlukan agar layanan seperti Custom Vision berfungsi dengan baik.