Latihan - Mengintegrasikan Azure Custom Vision

  • 4 menit

Dalam modul ini, Anda akan mempelajari cara menggunakan Azure Custom Vision. Anda akan mengambil serangkaian foto Objek Terlacak, mengunggahnya ke layanan Custom Vision, dan memulai proses pelatihan. Kemudian, Anda akan menggunakan layanan untuk mendeteksi Objek Terlacak dengan mengambil foto dari umpan webcam.

Memahami Visi Kustom Azure AI

Visi Kustom Azure AI adalah bagian dari keluarga Cognitive Services, dan digunakan untuk melatih pengklasifikasi gambar. Pengklasifikasi gambar adalah layanan AI yang menggunakan model terlatih untuk menerapkan tag yang cocok. Aplikasi kami akan menggunakan fitur klasifikasi ini untuk mendeteksi Objek Terlacak.

Pelajari selengkapnya tentang Custom Vision.

Menyiapkan Visi Kustom

Sebelum dapat memulai, Anda perlu membuat proyek Custom Vision. Cara tercepat untuk membuat proyek Custom Vision Anda adalah menggunakan portal Custom Vision.

Ikuti tutorial memulai cepat ini untuk menyiapkan akun dan proyek Anda. Ikuti langkah-langkah hingga ke bagian Unggah dan beri tag gambar. Anda harus membuat satu tag dengan lima gambar.

Peringatan

Untuk melatih model, Anda harus memiliki setidaknya dua tag dan lima gambar per tag. Nantinya, kita akan menambahkan lebih banyak gambar melalui aplikasi. Namun, untuk menggunakan aplikasi ini, Anda setidaknya harus membuat satu tag dengan lima gambar sehingga proses pelatihan tidak akan gagal nanti.

Menyiapkan scene

  1. Di jendela Proyek, buka folder Aset>MRTK.Tutorials.AzureCloudServices>Prefab>Manajer.

    Screenshot of Unity with Project window showing path to ObjectDetectionManager prefab.

  2. Dari sana, seret prefab ObjectDetectionManager ke hierarki adegan.

    Screenshot of Unity with ObjectDetectionManager script component configuration fields shown in Inspector.

  3. Di jendela Hierarki, temukan dan pilih objek ObjectDetectionManager . Prefab ObjectDetectionManager berisi komponen ObjectDetectionManager (skrip) dan, seperti yang dapat Anda lihat dari jendela Pemeriksa, hal ini bergantung pada pengaturan Azure dan pengaturan Proyek.

Mengambil info masuk sumber daya Azure API

Anda dapat mengambil kredensial yang diperlukan untuk pengaturan ObjectDetectionManager (skrip) dari portal Azure dan portal Custom Vision.

Mengambil info masuk pengaturan Azure

Temukan dan temukan sumber daya Custom Vision dari jenis Cognitive Services yang Anda buat di bagian Menyiapkan adegan tutorial ini. Di sana, pilih Ringkasan atau Kunci dan Titik Akhir untuk mengambil kredensial yang diperlukan.

  • Id Langganan Sumber Daya Azure: Gunakan ID Langganan dari bagian Gambaran Umum .
  • Nama Grup Sumber Daya Azure: Gunakan nama grup sumber daya dari bagian Gambaran Umum .

Untuk Nama Grup Cognitive Service, gunakan nama sumber daya Custom Vision yang diikuti oleh -Prediction.

  • Titik Akhir Prediksi Dasar Sumber Daya: Gunakan Titik Akhir dari Kunci dan Titik Akhir di sumber daya Custom Vision -Prediction .
  • Kunci Prediksi Api: Gunakan Kunci 1 dari Kunci dan Titik Akhir di sumber daya Custom Vision -Prediction .

Mengambil info masuk pengaturan proyek

Di dasbor Custom Vision, buka proyek yang Anda buat untuk tutorial ini, lalu pilih ikon Pengaturan (roda gigi) di sudut kanan atas halaman untuk membuka halaman Pengaturan. Anda akan menemukan kredensial yang diperlukan di bagian Sumber Daya di sisi kanan dan bagian Umum di sisi kiri.

  • Titik Akhir Dasar Sumber Daya : Gunakan Titik Akhir dari bagian Sumber Daya . Ini harus cocok dengan titik akhir di bawah Kunci dan Titik Akhir di sumber daya Custom Vision.
  • Kunci Api: Gunakan Kunci dari bagian Sumber Daya . Ini harus cocok dengan kunci di bawah Kunci dan Titik Akhir di sumber daya Custom Vision.
  • Id Proyek: Gunakan Id Proyek dari bagian Umum .

  1. Sekarang, dengan ObjectDetectionManager (skrip) disiapkan dengan benar, temukan objek SceneController di Hierarki adegan Anda dan pilih.

    Screenshot of Unity with SceneController script component configuration fields shown in Inspector.

  2. Bidang Pengelola Deteksi Objek di komponen SceneController kosong. Seret ObjectDetectionManager dari Hierarki ke dalam komponen SceneController dan simpan adegan.

    Screenshot of Unity with SceneController script component configured.

Mengambil dan mengunggah gambar

  1. Jalankan adegan dan pilih Set Object. Masukkan nama untuk salah satu Objek Terlacak yang Anda buat di pelajaran sebelumnya. Pilih tombol Computer Vision di bagian bawah Object Card.

  2. Jendela baru akan terbuka. Anda akan mengambil enam foto untuk melatih model untuk pengenalan gambar. Pilih tombol Kamera dan lakukan AirTap lihat objek yang ingin Anda lacak. Lakukan ini enam kali.

    Tip

    Untuk meningkatkan pelatihan model, cobalah untuk mengambil setiap gambar dari sudut dan kondisi pencahayaan yang berbeda.

  3. Setelah memiliki cukup gambar, pilih tombol Latih untuk memulai proses pelatihan model di cloud. Ini mengunggah semua gambar dan memulai pelatihan. Prosesnya mungkin memakan waktu beberapa menit. Pesan di dalam menu menunjukkan kemajuan saat ini. Setelah pesan menunjukkan proses selesai, Anda dapat menghentikan aplikasi.

    Tip

    ObjectDetectionManager (skrip) langsung mengunggah gambar yang diambil ke layanan Custom Vision. Sebagai alternatif, Custom Vision API menerima URL ke gambar. Sebagai latihan, Anda dapat memodifikasi ObjectDetectionManager (skrip) untuk mengunggah gambar ke penyimpanan Blob sebagai gantinya.

Peringatan

Jika pelatihan gagal, periksa dasbor Custom Vision Anda dan pastikan Anda memiliki setidaknya dua tag dan setiap tag memiliki setidaknya lima gambar.

Mendeteksi objek

Anda sekarang dapat menguji model terlatih. Jalankan aplikasi lagi. Dari menu Utama, pilih Cari Objek dan masukkan nama Objek Terlacak yang dimaksud. Kartu Objek akan muncul. Selanjutnya, pilih tombol Custom Vision. *ObjectDetectionManager akan mulai mengambil pengambilan gambar di latar belakang dari kamera. Menu akan menunjukkan kemajuan aplikasi. Arahkan kamera ke objek yang Anda gunakan untuk melatih model. Segera, ObjectDetectionManager akan mendeteksi objek.