Buat solusi visi tanpa kode di Azure Percept Studio

  • Artikel

Penting

Penghentian Azure Percept DK:

Pembaruan 22 Februari 2023: Pembaruan firmware untuk komponen aksesori Percept DK Vision dan Audio (juga dikenal sebagai Vision dan Audio SOM) sekarang tersedia di sini, dan akan memungkinkan komponen aksesori untuk terus berfungsi di luar tanggal penghentian.

Pratinjau publik Azure Percept akan berkembang untuk mendukung platform perangkat edge baru dan pengalaman pengembang. Sebagai bagian dari evolusi ini, Azure Percept DK dan Aksesori Audio serta layanan Azure pendukung terkait untuk Percept DK akan dihentikan pada 30 Maret 2023.

Mulai 30 Maret 2023, Azure Percept DK dan Aksesori Audio tidak akan lagi didukung oleh layanan Azure apa pun termasuk Azure Percept Studio, pembaruan OS, pembaruan kontainer, melihat aliran web, dan integrasi Custom Vision. Microsoft tidak akan lagi memberikan dukungan keberhasilan pelanggan dan layanan pendukung terkait. Untuk informasi lebih lanjut, silakan kunjungi Posting Blog Pemberitahuan Penghentian.

Azure Percept Studio memungkinkan Anda untuk membangun dan menyebarkan solusi visi komputer kustom, tanpa perlu pengkodean. Dalam artikel ini, Anda akan:

  • Membuat proyek visi di Azure Percept Studio
  • Mengumpulkan gambar pelatihan dengan devkit Anda
  • Memberi label gambar pelatihan Anda dalam Visi Kustom
  • Melatih model klasifikasi atau deteksi objek kustom Anda
  • Menyebarkan model ke devkit Anda
  • Menyempurnakan model Anda dengan menyiapkan pelatihan ulang

Tutorial ini cocok untuk pengembang dengan sedikit atau tanpa pengalaman AI dan mereka yang baru memulai dengan Azure Percept.

Prasyarat

  • Azure Percept DK (devkit)
  • Langganan Azure
  • Pengalaman penyiapan Azure Percept DK: Anda menghubungkan devkit ke jaringan Wi-Fi, membuat IoT Hub, dan menghubungkan devkit ke IoT Hub

Membuat prototipe visual

  1. Mulai browser Anda dan buka Azure Percept Studio.

  2. Pada halaman gambaran umum, klik tab Demo & tutorial . Layar ringkasan Azure Percept Studio.

  3. Pada Tutorial dan demo visi, klik Buat prototipe visi.

    Layar demo dan tutorial Azure Percept Studio.

  4. Pada halaman Prototipe Visi Kustom Azure Percept Baru, lakukan berikut ini:

    1. Dalam kotak Nama proyek, masukkan nama untuk prototipe visi Anda.

    2. Masukkan deskripsi prototipe visi dalam kotak Deskripsi proyek.

    3. Pilih Azure Percept DK di menu drop-downJenis perangkat.

    4. Pilih sumber daya di menu drop-down Sumber daya atau klik Buat sumber daya baru. Jika Anda memilih untuk membuat sumber daya baru, lakukan berikut ini di jendela Buat:

      1. Masukkan nama untuk sumber daya baru Anda.
      2. Pilih langganan Azure Anda.
      3. Pilih grup sumber daya atau buat baru.
      4. Pilih wilayah pilihan Anda.
      5. Pilih tingkat harga Anda (disarankan S0).
      6. Klik Buat di bagian bawah jendela.

      Buat jendela sumber daya.

    5. Untuk Jenis proyek, pilih apakah proyek visi Anda akan melakukan deteksi objek atau klasifikasi gambar. Untuk informasi selengkapnya tentang jenis proyek, klik Bantu saya memilih.

    6. Untuk Pengoptimalan, pilih apakah Anda ingin mengoptimalkan proyek untuk akurasi, latensi jaringan rendah, atau keseimbangan keduanya.

    7. Klik tombol Buat.

      Buat layar prototipe visi kustom.

Menyambungkan perangkat ke proyek Anda dan mengambil gambar

Setelah membuat solusi visi, Anda harus menambahkan devkit dan IoT Hub yang sesuai ke dalamnya.

  1. Nyalakan devkit Anda.

  2. Di menu drop-down IoT Hub, pilih hub IoT yang terhubung dengan devkit Anda selama OOBE.

  3. Di menu dropdown Perangkat, pilih devkit Anda.

Selanjutnya, Anda harus memuat gambar atau mengambil gambar untuk melatih model AI. Sebaiknya unggah setidaknya 30 gambar per jenis tag. Misalnya, jika ingin membangun detektor anjing dan kucing, Anda harus mengunggah setidaknya 30 gambar anjing dan 30 gambar kucing. Untuk mengambil gambar dengan visi SoM dari devkit Anda, lakukan berikut ini:

  1. Di jendela Pengambilan gambar, pilih Lihat streaming perangkat untuk melihat visi streaming video SoM.

  2. Periksa streaming video untuk memastikan bahwa kamera visi SoM Anda disejajarkan dengan benar untuk mengambil gambar latihan. Lakukan penyesuaian seperlunya.

  3. Di jendela Pengambilan gambar, klik Ambil foto.

    Layar pengambilan gambar.

  4. Atau, siapkan pengambilan gambar otomatis untuk mengumpulkan sejumlah besar gambar sekaligus dengan mencentang kotak Pengambilan gambar otomatis. Pilih rasio pencitraan pilihan Anda di Rasio pengambilan dan jumlah total gambar yang ingin Anda kumpulkan di Target. Klik Atur pengambilan otomatis untuk memulai proses pengambilan gambar otomatis.

    Menu dropdown pengambilan gambar otomatis.

Setelah memiliki cukup foto, klik Berikutnya: Memberi tag pada gambar dan pelatihan model di bagian bawah layar. Semua gambar akan disimpan dalam Visual Kustom.

Catatan

Jika Anda memilih untuk mengunggah gambar pelatihan langsung ke Visual Kustom, harap perhatikan bahwa ukuran file gambar tidak boleh melebihi 6MB.

Menandai gambar dan melatih model Anda

Sebelum melatih model, tambahkan label ke gambar Anda.

  1. Pada laman Menandai gambar dan pelatihan model, klik Buka proyek dalam Visual Kustom.

  2. Di sisi kiri halaman Visual Kustom, klik Tidak ditandai pada Tag untuk melihat gambar yang baru saja Anda kumpulkan di langkah sebelumnya. Pilih satu atau beberapa gambar yang belum diberi tag.

  3. Di jendela Detail Gambar, klik gambar untuk mulai memberi tag. Jika Anda memilih deteksi objek sebagai jenis proyek, Anda juga harus menggambar kotak pembatas di sekitar objek tertentu yang ingin diberi tag. Sesuaikan kotak pembatas sesuai kebutuhan. Ketik tag objek Anda dan klik + untuk menerapkan tag. Misalnya, jika Anda membuat solusi visi yang akan memberi tahu saat rak toko perlu diisi ulang, tambahkan tag "Rak Kosong" ke gambar rak kosong, dan tambahkan tag "Rak Penuh" ke gambar rak yang terisi penuh. Ulangi untuk semua gambar yang belum ditandai.

    Layar penandaan gambar dalam Visual Kustom.

  4. Setelah menandai gambar Anda, klik ikon X di sudut kanan atas jendela. Klik Diberi tag di Tag untuk melihat semua gambar yang baru diberi tag.

  5. Setelah gambar diberi label, Anda siap untuk melatih model AI Anda. Untuk melakukannya, klik Latih di dekat bagian atas halaman. Anda harus memiliki setidaknya 15 gambar per jenis tag untuk melatih model Anda (sebaiknya gunakan setidaknya 30). Pelatihan biasanya memakan waktu sekitar 30 menit, tetapi mungkin memakan waktu lebih lama jika kumpulan gambar Anda sangat besar.

    Pemilihan gambar latihan dengan tombol latihan disorot.

  6. Setelah pelatihan selesai, layar Anda akan menampilkan performa model. Untuk informasi selengkapnya tentang mengevaluasi hasil ini, lihat dokumentasi evaluasi model. Setelah pelatihan, Anda mungkin juga ingin menguji model pada gambar tambahan dan melatih ulang seperlunya. Setiap kali Anda melatih model, latihan tersebut akan disimpan sebagai perulangan baru. Rujuk dokumentasi Visual Kustom untuk informasi tambahan tentang cara meningkatkan performa model.

    Hasil pelatihan model.

    Catatan

    Jika memilih untuk menguji model Anda pada gambar tambahan dalam Visual Kustom, harap perhatikan bahwa ukuran file gambar uji tidak boleh melebihi 4MB.

Setelah puas dengan performa model Anda, tutup Visual Kustom dengan menutup tab browser.

Menyebarkan model AI Anda

  1. Kembali ke tab Azure Percept Studio dan klik Berikutnya: Evaluasi dan sebarkan di bagian bawah layar Anda.

  2. Jendela Evaluasi dan sebarkan akan menampilkan performa perulangan model yang Anda pilih. Pilih perulangan yang ingin disebarkan ke devkit Anda pada menu drop-down Perulangan model dan klik Sebarkan model di bagian bawah layar.

    Layar penyebaran model.

  3. Setelah menyebarkan model, lihat streaming video perangkat Anda untuk melihat inferensi model beraksi.

    Streaming perangkat yang menunjukkan aksi detektor headphone.

Setelah menutup jendela ini, Anda dapat kembali dan mengedit proyek visi kapan saja dengan mengeklik Visi pada Proyek AI di beranda Azure Percept Studio lalu memilih nama proyek visi Anda.

Halaman proyek visi.

Menyempurnakan model Anda dengan menyiapkan pelatihan ulang

Setelah melatih model dan menyebarkannya ke perangkat, Anda dapat meningkatkan performa model dengan menyiapkan parameter pelatihan ulang untuk menangkap lebih banyak data pelatihan. Fitur ini digunakan untuk meningkatkan performa model yang dilatih dengan memberi Anda kemampuan untuk menangkap gambar berdasarkan rentang peluang. Misalnya, Anda dapat mengatur perangkat untuk hanya mengambil gambar latihan saat peluangnya rendah. Berikut ini beberapa panduan tambahan tentang menambahkan lebih banyak gambar dan menyeimbangkan data pelatihan.

  1. Untuk menyiapkan pelatihan ulang, kembali ke Proyek Anda, lalu ke Ringkasan Proyek

  2. Di tab Pengambilan gambar, pilih Pengambilan gambar otomatis dan Siapkan pelatihan ulang.

  3. Siapkan pengambilan gambar otomatis untuk mengumpulkan sejumlah besar gambar sekaligus dengan mencentang kotak Pengambilan gambar otomatis.

  4. Pilih rasio pencitraan pilihan Anda di Rasio pengambilan dan jumlah total gambar yang ingin Anda kumpulkan di Target.

  5. Di bagian menyiapkan pelatihan ulang, pilih perulangan yang ingin Anda ambil lebih banyak data pelatihannya, lalu pilih rentang peluang. Hanya gambar yang memenuhi tingkat peluang yang akan diunggah ke proyek Anda.

    pengambilan gambar.

Membersihkan sumber daya

Jika Anda membuat sumber daya Azure baru untuk tutorial ini dan tidak ingin lagi mengembangkan atau menggunakan solusi visi Anda, lakukan langkah-langkah berikut untuk menghapus sumber daya Anda:

  1. Masuk ke Portal Azure.
  2. Klik Semua sumber daya.
  3. Klik kotak centang di samping sumber daya yang dibuat selama tutorial ini. Jenis sumber daya akan terdaftar sebagai Cognitive Services.
  4. Klik ikon Hapus di dekat bagian atas layar.

Panduan video

Untuk panduan visual dari langkah-langkah yang dijelaskan di atas, silakan lihat video berikut:



Langkah berikutnya

Selanjutnya, lihat artikel panduan visi untuk informasi tentang fitur solusi visi tambahan di Azure Percept Studio.