Membangun solusi analitik video di IoT Edge
Dalam modul ini, Anda akan mempelajari cara menggunakan kemampuan ekstensibilitas kecerdasan buatan (AI) Analitik Video Langsung di Azure IoT Edge. Anda akan menyebarkan model pada tepi untuk mendeteksi seseorang di kalangan pekerja pabrik. Anda juga akan mempelajari kemampuan Analitik Video Langsung. Anda akan dapat menyebarkan model kustom sebagai kontainer tanpa hambatan di tepi dan menganalisis umpan video langsung yang disimulasikan. Anda akan menggunakan model YOLO yang telah dilatih sebelumnya dan menyebarkan model sebagai kontainer di solusi analitik video Anda.
Anda akan mempelajari cara:
- Menyiapkan sumber daya Azure
- Menyiapkan beban kerja tepi ke perangkat edge
- Membawa dan menyebarkan model YOLO inferensi ke perangkat edge
- Menyebarkan solusi Anda
- Memeriksa dan menginterpretasikan hasil
Anda menggunakan mesin virtual (VM) Azure sebagai perangkat IoT Edge, dan solusi analitik video didasarkan pada sampel di repositori GitHub.
Sampel
Modul ini menggunakan filevideo keamanan karyawan untuk menyimulasikan streaming langsung. Untuk memutar kembali video, Anda dapat menggunakan aplikasi seperti pemutar media VLC. Salin tautan video dan tempelkan. Saat menonton video, Anda akan melihat pergerakan orang dalam video.
Alur kerja solusi
Pertama, dalam modul ini, Anda perlu menyiapkan perangkat edge dengan runtime IoT Edge yang terinstal. Setelah mengonfigurasi perangkat Anda ke IoT Hub, Anda akan mengirimkan manifes penyebaran ke perangkat edge. Setelah manifes penyebaran dikirimkan ke tepi, agen IoT Edge yang berjalan di perangkat edge Anda mendapatkan kontainer baru dari registri kontainer dan memulainya di perangkat edge Anda. Modul berikut akan disebarkan:
Modul Web: Modul Web mewakili aplikasi web terkemuka yang berinteraksi dengan pengguna. Misalnya, saat Anda menambahkan kamera, Modul Web akan mengelola pengaturan kamera ke modul analitik video langsung. Saat disebarkan, berdasarkan pengaturan kami, modul web dapat mengambil gambar secara otomatis dan mengirimkannya untuk dilatih kembali menggunakan antarmuka protokol aplikasi (API) customvision.ai.
Analitik Video Langsung (LVA): Modul ini akan mengurai bingkai dari semua kamera dan mengirimkannya ke Modul Inferensi.
Orkestrator Inferensi: Modul ini mengirim bingkai ke modul Prediksi dan mendapatkan hasil. Modul ini juga melapisi hasil pada umpan kamera dan mengirim aliran video HTTP ke Modul Web, serta mengirim hasil pembelajaran mesin (ML) ke hub Azure IoT.
Modul Prediksi ML: Modul prediksi ML menjalankan model YOLO terlatih menggunakan onnxruntime; dibutuhkan bingkai melalui HTTP atau gRPC dan mengirimkan hasil JSON.
Dengan Live Video Analytics, pengguna juga dapat mengizinkan Modul Web untuk menyimpan video berdasarkan hasil inferensi dan mendorongnya ke akun layanan media yang disediakan di Azure.
Arsitektur
Berikut adalah arsitektur solusi Analitik Video menyeluruh.
Menentukan produk Azure
Anda akan menggunakan komponen berikut dalam desain solusi:
Azure IoT Hub: Azure IoT Hub menyediakan back end solusi yang dihosting cloud untuk menyambungkan sebagian besar perangkat.
Mesin virtual Azure IoT Edge: Runtime menginstal mesin virtual Azure IoT Edge. Dalam modul ini, Anda akan membuka port jaringan 8181 untuk mengaktifkan komunikasi antara mesin virtual dan aplikasi web Anda.
Analitik Video Langsung di IoT Edge:Modul IoT Edge yang memiliki fungsionalitas untuk dikombinasikan dengan modul tepi Azure lainnya seperti Azure Stream Analytics di IoT Edge, layanan Azure AI di IoT Edge dan layanan Azure di cloud seperti Media Services dan Event Hub.
Layanan Visual Kustom: Visual kustom memungkinkan Anda membangun, menyebarkan, dan meningkatkan pengklasifikasi gambar Anda. Pengklasifikasi gambar adalah layanan AI yang menerapkan label (yang mewakili kelas) ke gambar berdasarkan karakteristik visual mereka.
Azure Media Services: Azure Media Services adalah kumpulan layanan alur kerja media tepi dan cloud yang memungkinkan Anda membangun solusi yang memerlukan analitik video langsung dan batch, transcoding, layanan penyediaan multi-perangkat, perlindungan konten, serta siaran acara langsung dalam skala besar.
Langkah-langkah yang harus diikuti
Langkah-langkah modul secara keseluruhan adalah untuk solusi berikut:
- Membuat IoT Hub
- Membuat mesin virtual sebagai perangkat edge
- Mendaftarkan perangkat edge ke IoT Hub
- Menginstal dan menjalankan Penginstal Azure Shell
- Menyiapkan sumber daya Azure untuk Analitik Video Langsung di IoT Edge
- Mengatur beban kerja ke perangkat IoT Edge
- Mengunggah video sampel ke perangkat edge
- Membuat Azure container registry
- Mendapatkan model YOLO yang telah dilatih sebelumnya
- Membangun citra kontainer dengan model YOLO
- Mendorong citra kontainer ke registri kontainer Azure
- Menyebarkan model YOLO ke perangkat edge
- Koneksi aplikasi web
- Menambahkan kamera untuk memberi umpan video sampel
- Menambahkan titik akhir dan label model
- Menyebarkan solusi
- Periksa hasilnya
Kesimpulan
Setelah menyelesaikan modul, solusi visual akan disebarkan ke perangkat edge Anda. Anda akan menjalankan aliran video langsung yang disimulasikan. Solusi akan disebarkan ke perangkat edge untuk mendeteksi orang dalam waktu nyata menggunakan model YOLO dan Analitik Video Langsung.
Tonton video berikut untuk melihat pengantar singkat dan memahami solusi Visual di Edge.