Pemilihan kamera untuk Azure IoT Edge vision AI

Salah satu komponen paling penting dalam sistem visi komputer adalah kamera. Kamera harus menangkap dan menyajikan gambar yang dapat dievaluasi dan diidentifikasi dengan benar oleh model kecerdasan buatan (AI) atau pembelajaran mesin (ML). Artikel ini memberikan pemahaman mendalam tentang berbagai jenis kamera, kemampuan, dan pertimbangan.

Jenis kamera

Jenis kamera termasuk pemindaian area, pemindaian garis, dan kamera pintar yang disematkan. Ada banyak produsen yang berbeda untuk kamera ini. Pilih vendor yang sesuai dengan kebutuhan spesifik Anda.

Kamera pemindai area

Kamera pemindai area menghasilkan gambar kamera tradisional. Kamera ini biasanya memiliki matriks sensor piksel. Kamera mengambil gambar 2D dan mengirimkannya ke perangkat keras Azure IoT Edge untuk evaluasi.

Kamera pemindai area melihat area yang luas, dan baik untuk mendeteksi perubahan. Contoh beban kerja yang dapat menggunakan kamera pemindai area adalah keamanan tempat kerja, atau mendeteksi atau menghitung objek di lingkungan.

Kamera pemindai garis

Kamera pemindaian garis memiliki satu baris sensor piksel linier. Kamera mengambil gambar lebar 1 piksel berturut-turut, menjahitnya bersama-sama ke dalam aliran video, dan mengirim aliran ke perangkat IoT Edge untuk diproses.

Kamera pemindaian garis baik untuk beban kerja penglihatan di mana item bergerak melewati kamera, atau perlu diputar untuk mendeteksi cacat. Kamera pemindaian garis kemudian menghasilkan aliran gambar berkelanjutan untuk evaluasi. Contoh beban kerja yang paling berfungsi dengan kamera pemindaian garis adalah:

• Deteksi cacat item pada bagian yang bergerak pada sabuk konveyor
• Beban kerja yang memerlukan pemutaran untuk melihat objek silindris
• Beban kerja yang memerlukan rotasi

Kamera pintar tersematkan

Kamera pintar yang disematkan adalah sistem mandiri mandiri yang dapat memproses serta memperoleh gambar. Kamera pintar yang disematkan dapat menggunakan pemindaian area atau kamera pemindaian garis untuk menangkap gambar, meskipun kamera pintar pemindaian garis jarang terjadi. Kamera ini biasanya memiliki port output RS232 atau Ethernet, sehingga dapat diintegrasikan langsung ke pengontrol logika (PLC) yang dapat diprogram atau pengontrol IoT industri (IIoT) lainnya.

Fitur kamera

Ada beberapa fitur yang perlu dipertimbangkan saat memilih kamera untuk beban kerja visi. Bagian berikut membahas ukuran, resolusi, dan kecepatan sensor. Fitur kamera lain yang perlu dipertimbangkan meliputi:

• Pemilihan lensa
• Panjang fokus
• Monokrom atau kedalaman warna
• Kedalaman stereo
• Pemicu
• Ukuran fisik
• Dukungan

Produsen kamera dapat membantu Anda memahami fitur spesifik apa yang diperlukan aplikasi Anda.

Ukuran sensor

Ukuran sensor adalah salah satu faktor terpenting untuk dievaluasi dalam kamera. Sensor adalah perangkat keras dalam kamera yang menangkap target dan mengonversinya menjadi sinyal, yang kemudian menghasilkan gambar. Sensor berisi jutaan fotodetektor semikonduktor yang disebut photosites.

Jumlah megapiksel yang lebih tinggi tidak selalu menghasilkan gambar yang lebih baik. Misalnya, kamera dengan 12 juta photosites dan sensor 1 inci menghasilkan gambar yang lebih jelas dan lebih tajam daripada kamera dengan 12 juta photosites dan sensor 1/2 inci. Kamera untuk beban kerja computer vision biasanya memiliki ukuran sensor antara 1/4 inci dan 1 inci. Beberapa kasus mungkin memerlukan sensor yang jauh lebih besar.

Pilih sensor yang lebih besar jika beban kerja visi Anda memiliki:

• Kebutuhan akan pengukuran presisi
• Kondisi cahaya yang lebih rendah
• Waktu pencahayaan yang lebih pendek atau item yang bergerak cepat

Resolusi

Resolusi adalah faktor penting lainnya dalam pemilihan kamera. Anda memerlukan kamera resolusi yang lebih tinggi jika beban kerja Anda:

• Harus mengidentifikasi fitur-fitur halus, seperti penulisan pada chip sirkuit terintegrasi
• Sedang mencoba mendeteksi wajah
• Perlu mengidentifikasi kendaraan dari kejauhan

Gambar berikut menunjukkan masalah dengan menggunakan resolusi yang salah untuk kasus penggunaan tertentu. Kedua gambar diambil 20 kaki dari mobil. Kotak merah kecil mewakili satu piksel.

• Gambar berikut diambil dengan 480 piksel horizontal:

  

• Gambar berikut diambil dengan 5184 piksel horizontal:

  

Kecepatan

Jika beban kerja visi Anda memerlukan pengambilan banyak gambar per detik, dua faktor penting. Faktor pertama adalah kecepatan koneksi antarmuka kamera. Faktor kedua adalah jenis sensor. Sensor hadir dalam dua jenis, perangkat yang digabungkan dengan biaya (CCD) dan sensor piksel aktif (CMOS). Sensor CMOS memiliki pembacaan langsung dari foto-foto, sehingga biasanya menawarkan kecepatan bingkai yang lebih tinggi.

Penempatan kamera

Item yang perlu Anda ambil dalam beban kerja visi Anda menentukan lokasi dan sudut untuk penempatan kamera. Lokasi kamera juga dapat berinteraksi dengan jenis sensor, jenis lensa, dan jenis isi kamera. Dua faktor paling penting untuk menentukan penempatan kamera adalah pencahayaan dan bidang pandang.

Pencahayaan kamera

Dalam beban kerja visi komputer, pencahayaan sangat penting untuk penempatan kamera. Anda dapat menerapkan beberapa kondisi pencahayaan yang berbeda. Kondisi pencahayaan yang berguna untuk beban kerja satu visi mungkin menghasilkan efek yang tidak diinginkan dalam beban kerja yang berbeda.

Ada beberapa jenis pencahayaan umum untuk beban kerja visi komputer:

• Pencahayaan langsung adalah kondisi pencahayaan yang paling umum. Sumber cahaya diproyeksikan pada objek yang akan ditangkap.
• Pencahayaan garis adalah array tunggal lampu yang paling banyak digunakan dengan kamera pemindaian garis. Pencahayaan garis menciptakan satu garis cahaya pada fokus kamera.
• Pencahayaan yang tersebar menerangi objek tetapi mencegah bayangan yang keras. Pencahayaan diffused sebagian besar digunakan di sekitar objek spekular, atau reflektif.
• Pencahayaan tersebar aksial sering digunakan dengan objek yang sangat reflektif, atau untuk mencegah bayangan pada bagian untuk ditangkap.
• Pencahayaan belakang digunakan di belakang objek, menghasilkan siluet objek. Pencahayaan belakang paling berguna untuk pengukuran, deteksi tepi, atau orientasi objek.
• Pencahayaan kisi kustom adalah kondisi pencahayaan terstruktur yang menjabarkan kisi cahaya pada objek. Proyeksi kisi yang diketahui menyediakan pengukuran komponen item, bagian, dan penempatan yang lebih akurat.
• Pencahayaan strobo digunakan untuk bagian bergerak berkecepatan tinggi. Strobe harus sinkron dengan kamera untuk mengambil pembekuan objek untuk evaluasi. Pencahayaan strobe membantu mencegah efek buram gerakan.
• Pencahayaan bidang gelap menggunakan beberapa lampu dengan sudut yang berbeda ke bagian yang akan ditangkap. Misalnya, jika bagian terbaring datar pada sabuk konveyor, lampu berada pada sudut 45 derajat ke sabuk. Pencahayaan bidang gelap paling berguna dengan objek bening yang sangat reflektif, dan umumnya digunakan untuk deteksi goresan lensa.

Gambar berikut menunjukkan penempatan sudut sumber cahaya:

Bidang Pandang

Dalam merencanakan beban kerja visi, Anda perlu tahu tentang bidang tampilan (FOV) objek yang Sedang Anda evaluasi. FOV memainkan peran dalam pemilihan kamera, pemilihan sensor, dan konfigurasi lensa. Komponen FOV meliputi:

• Jarak ke objek. Misalnya, apakah objek dipantau pada sabuk konveyor dengan kamera dua kaki di atasnya, atau di seberang tempat parkir? Sensor kamera dan konfigurasi lensa berbeda untuk jarak yang berbeda.
• Luas cakupan. Apakah area yang dicoba visi komputer untuk memantau kecil atau besar? Faktor ini berkorelasi langsung dengan resolusi kamera, lensa, dan jenis sensor.
• Arah matahari. Jika beban kerja visi komputer berada di luar ruangan, Anda harus mempertimbangkan arah matahari sepanjang hari. Sudut matahari saat bergerak dapat berdampak pada model visi komputer. Jika kamera mendapatkan sinar matahari langsung di lensa, mungkin akan buta hingga sudut matahari berubah. Jika matahari melemparkan bayangan di atas objek yang dipantau, objek mungkin dikaburkan.
• Sudut kamera ke objek. Jika kamera terlalu tinggi atau terlalu rendah, mungkin melewatkan detail yang coba diambil beban kerja.

Antarmuka komunikasi

Dalam merencanakan beban kerja visi komputer, penting untuk memahami bagaimana output kamera berinteraksi dengan sistem lainnya. Ada beberapa cara standar agar kamera berkomunikasi dengan perangkat IoT Edge:

• Real Time Streaming Protocol (RTSP) adalah protokol jaringan tingkat aplikasi yang mengontrol server video streaming. RTSP mentransfer data video real time dari kamera ke titik akhir komputasi IoT Edge melalui koneksi TCP/IP.

• Open Network Video Interface Forum (ONVIF) adalah forum industri terbuka global yang mengembangkan standar terbuka untuk kamera berbasis IP. Standar ini menjelaskan komunikasi antara kamera IP dan sistem hilir, interoperabilitas, dan sumber terbuka.

• Kamera yang terhubung dengan Universal Serial Bus (USB) terhubung melalui port USB langsung ke perangkat komputasi IoT Edge. Koneksi ini kurang kompleks, tetapi membatasi jarak kamera dapat ditemukan dari perangkat IoT Edge.

• Camera Serial Interface (CSI) mencakup beberapa standar dari Aliansi Antarmuka Prosesor Industri Seluler (MIPI). CSI menjelaskan cara berkomunikasi antara kamera dan prosesor host. CSI-2, dirilis pada tahun 2005, memiliki beberapa lapisan:

  • Lapisan fisik (baik C-PHY atau D-PHY)
  • Lapisan penggabungan lane
  • Lapisan protokol tingkat rendah
  • Lapisan konversi piksel ke byte
  • Lapisan aplikasi

  CSI-2 v3.0 menambahkan dukungan untuk kedalaman warna RAW-24, Unified Serial Link, dan Smart Region of Interest.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

• Keith Hill | Manajer PM Senior

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya

Akselerasi perangkat keras di Azure IoT Edge vision AI