Bagikan melalui

Antarmuka dan skenario pengguna untuk Azure IoT Edge vision AI

  • Artikel

Artikel terakhir dalam seri Azure IoT Edge vision AI ini membahas bagaimana pengguna berinteraksi dengan solusi internet of things (IoT) dan kecerdasan buatan (AI). Artikel ini juga menyajikan dua contoh skenario AI visi IoT Edge.

Antarmuka pengguna

Pengguna berinteraksi dengan sistem komputer melalui antarmuka pengguna (UI). Persyaratan UI bervariasi tergantung pada tujuan keseluruhan. Sistem IoT biasanya memiliki empat jenis UI:

  • UI administrator memungkinkan akses penuh ke provisi perangkat, konfigurasi perangkat dan solusi, dan manajemen pengguna. Fitur-fitur ini dapat menjadi bagian dari satu solusi, atau solusi terpisah.
  • Antarmuka pengguna operator menyediakan akses ke komponen operasional solusi, seperti manajemen perangkat, pemantauan pemberitahuan, dan konfigurasi.
  • UI konsumen hanya berlaku untuk solusi yang menghadap konsumen. UI mirip dengan antarmuka operator, tetapi terbatas pada perangkat yang dimiliki pengguna.
  • UI analitik adalah dasbor interaktif yang menyediakan visualisasi telemetri dan analisis data lainnya.

Pilihan teknologi

Berikut adalah beberapa layanan dan perangkat lunak yang dapat Anda gunakan untuk membuat antarmuka pengguna untuk sistem AI visi IoT Edge:

  • Azure App Service adalah platform bagi pengembang untuk membangun, menyebarkan, dan menskalakan aplikasi web dan seluler dengan cepat. App Service mendukung kerangka kerja seperti .NET, .NET Core, Node.js, Java, PHP, Ruby, atau Python. Aplikasi dapat berada dalam kontainer atau dijalankan pada sistem operasi, perangkat seluler, atau perangkat keras IoT Edge yang didukung. Platform App Service yang dikelola sepenuhnya memenuhi persyaratan performa, keamanan, dan kepatuhan tingkat perusahaan.

  • Azure SignalR Service menambahkan komunikasi dan pelaporan data real time ke aplikasi, tanpa memerlukan keahlian komunikasi real-time yang mendalam. SignalR Service terintegrasi dengan mudah dengan banyak layanan Azure.

  • Azure Peta adalah teknologi untuk visualisasi IoT dan proyek visi komputer. Azure Peta memungkinkan Anda membuat aplikasi web dan seluler yang sadar lokasi dengan menggunakan layanan geospasial, API, dan SDK yang sederhana dan aman. Azure Peta memiliki kecerdasan lokasi bawaan dari mitra teknologi di seluruh dunia. Anda dapat memberikan pengalaman yang mulus berdasarkan data geospasial.

  • MICROSOFT Entra ID menyediakan akses menyeluruh dan autentikasi multifaktor untuk mengamankan aplikasi dan antarmuka pengguna Anda.

  • Power BI adalah sekumpulan layanan analitik, aplikasi, dan konektor yang mengubah data menjadi visualisasi dan dasbor interaktif yang dapat disesuaikan. Power BI tersedia sebagai layanan terkelola atau paket yang dihost sendiri, dan tersambung ke banyak sistem database dan layanan data populer. Dengan Power BI Embedded, Anda dapat membuat laporan dan dasbor yang menghadap pelanggan, dan memberi mereknya sebagai aplikasi Anda sendiri. Power BI dapat menghemat sumber daya pengembang dengan mengotomatiskan pemantauan, manajemen, dan penyebaran analitik.

Skenario pengguna 1: Kontrol kualitas

Contoso Boards memproduksi papan sirkuit berkualitas tinggi yang digunakan di komputer. Produk nomor satu mereka adalah motherboard.

Contoso Boards melihat peningkatan masalah dengan penempatan chip di papan. Investigasi menentukan bahwa papan sirkuit salah ditempatkan di jalur perakitan. Contoso Boards membutuhkan cara untuk mengidentifikasi dan memeriksa penempatan papan sirkuit yang benar.

Ilmuwan data Contoso Boards terbiasa dengan TensorFlow, dan ingin terus menggunakannya sebagai struktur model ML utama mereka. Dewan Contoso juga ingin mempusatkan manajemen beberapa jalur perakitan yang menghasilkan motherboard.

Solusi Contoso Boards berfokus pada deteksi tepi.

Kamera

Pilihan kamera berikut mendukung beban kerja ini:

  • penempatan Kamera: Kamera berada tepat di atas pada 90 derajat dan sekitar 16 inci dari bagian tersebut.
  • jenis Kamera: Karena sistem konveyor bergerak relatif lambat, solusinya dapat menggunakan kamera pemindai area dengan rana global.
  • Kecepatan bingkai: Untuk kasus penggunaan ini, kamera menangkap sekitar 30 bingkai per detik.
  • Resolusi: Rumus untuk resolusi yang diperlukan adalah Res=(object size) / (details to capture). Berdasarkan rumus ini, Res=16"/8" memberikan 2 megapiksel (MP) di x dan 4MP dalam y, sehingga Contoso Boards membutuhkan kamera yang mampu resolusi 4MP.
  • Jenis sensor: Target tidak bergerak cepat, dan hanya memerlukan deteksi tepi, sehingga sensor CMOS berfungsi dengan baik.
  • Pencahayaan: Solusinya menggunakan lampu belakang filter putih yang tersebar. Pencahayaan ini membuat bagian terlihat hampir hitam, dengan kontras tinggi untuk deteksi tepi.
  • Warna: Monokrom menghasilkan tepi tertajam untuk model deteksi AI.

Gambar berikut menunjukkan apa yang diambil kamera dalam skenario ini:

Gambar yang menunjukkan apa yang diambil kamera dalam skenario IoT Edge ini.

Akselerasi perangkat keras

Berdasarkan beban kerja, penggunaan TensorFlow, dan penggunaan pada beberapa jalur perakitan, perangkat keras berbasis GPU adalah pilihan terbaik untuk akselerasi perangkat keras.

Model ML

Ilmuwan data paling akrab dengan TensorFlow, sehingga mempelajari ONNX atau kerangka kerja ML lainnya akan memperlambat pengembangan model. Azure Stack Edge menyediakan solusi tepi yang dikelola secara terpusat untuk semua garis perakitan.

Skenario pengguna 2: Brankas ty

Pengiriman Contoso telah mengalami beberapa kecelakaan pejalan kaki di dermaga pemuatan mereka. Sebagian besar kecelakaan terjadi ketika truk meninggalkan dermaga pemuatan, dan pengemudi tidak melihat pekerja dermaga berjalan di depan truk. Pengiriman Contoso membutuhkan solusi AI visi yang dapat mengawasi orang- orang, memprediksi arah perjalanan mereka, dan memperingatkan pengemudi tentang potensi tabrakan.

Sebagian besar ilmuwan data di Contoso Shipping terbiasa dengan OpenVINO, dan ingin menggunakan kembali model solusi pada perangkat keras di masa depan. Solusi ini juga diperlukan untuk mendukung efisiensi daya, dan menggunakan jumlah kamera sekecil mungkin. Akhirnya, Contoso Shipping ingin mengelola solusi dari jarak jauh untuk pembaruan.

Kamera

Solusinya menggunakan 11 monokrom, kamera CMOS 10MP dengan perumahan IPX67 atau kotak cuaca, dipasang di tiang 17 kaki, 100 kaki dari truk. Bagian berikut menjelaskan bagaimana Pengiriman Contoso menentukan spesifikasi ini.

Penempatan kamera

Kamera harus berjarak 100 kaki dari depan truk. Kamera fokus harus 10 kaki di depan dan di belakang bagian depan truk, memberikan kedalaman fokus 20 kaki. Undang-undang zonasi lokal membatasi tinggi kamera pengawas hingga 20 kaki.

Ilustrasi berikut menunjukkan penempatan kamera untuk skenario ini:

Ilustrasi penempatan kamera untuk skenario AI visi IoT Edge.

Resolusi dan bidang tampilan

Solusinya hanya harus menangkap detail yang cukup untuk mendeteksi seseorang dalam bingkai. Piksel per kaki (PPF) bisa sekitar 15-20, daripada 80 PPF yang dibutuhkan pengenalan wajah.

Rumus untuk bidang tampilan (FOV) adalah FOV=(horizontal resolution) / (PPF). Untuk resolusi, kamera harus menggunakan sensor yang tepat untuk kasus penggunaan.

Solusi ini menggunakan lensa kamera yang memungkinkan FOV 16 kaki. Menggunakan rumus sebelumnya, FOV 16 kaki memberikan sekitar 17,5 PPF, yang termasuk dalam 15-20 PPF yang diperlukan. FOV ini berarti solusinya harus menggunakan kamera 10MP, yang memiliki resolusi horizontal sekitar 5184 piksel.

Karena kamera dapat melihat jalur 16 kaki, dermaga pemuatan sepanjang 165 kaki dibagi dengan FOV 16 kaki memberikan 10,3125 kamera. Jadi solusinya membutuhkan kamera 11, 5184 piksel horizontal atau 10MP.

Jenis sensor

Kamera berada di luar ruangan, sehingga jenis sensor tidak boleh memungkinkan mekar. Mekar adalah ketika cahaya mengenai sensor dan membebani sensor, menyebabkan pemadaman berlebih atau putih. CMOS adalah sensor pilihan.

Warna dan pencahayaan

Pengiriman Contoso beroperasi 24/7, dan juga harus melindungi personel malam hari. Monokrom menangani kondisi cahaya rendah lebih baik daripada warna. Dalam hal ini, informasi warna tidak perlu. Sensor monokrom juga lebih rendah biayanya.

Model ML

Karena ilmuwan data terbiasa dengan OpenVINO, solusi ini membangun model data di ONNX.

Akselerasi perangkat keras

Jarak dari kamera ke server terlalu jauh untuk konektivitas Gigabit Ethernet atau USB, tetapi ada jaringan Wi-Fi jala besar. Perangkat keras harus terhubung melalui Wi-Fi, dan menggunakan daya sesedikit mungkin.

Berdasarkan persyaratan ini, solusinya menggunakan prosesor FPGA. Solusinya juga dapat menggunakan prosesor ASIC, tetapi chip ASIC yang dibuat khusus tidak memenuhi persyaratan untuk kegunaan di masa depan.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya

Serangkaian artikel ini menjelaskan cara membangun beban kerja AI visi dengan Azure IoT Edge. Untuk artikel lain dalam seri ini, lihat:

Untuk mempelajari selengkapnya tentang CNN, visi AI, Azure Pembelajaran Mesin, dan Azure IoT Edge, lihat dokumentasi berikut:

Untuk arsitektur, contoh, dan ide visi komputer lainnya yang menggunakan Azure IoT, lihat artikel berikut ini: