Deteksi objek Azure AI Video Indexer

Artikel
04/10/2024

Azure AI Video Indexer dapat mendeteksi objek dalam video. Wawasan adalah bagian dari preset video standar dan tingkat lanjut. Deteksi objek disertakan dalam wawasan yang merupakan hasil dari permintaan Unggah Video .

Catatan transparansi

Sebelum menggunakan deteksi objek, tinjau gambaran umum catatan transparansi.

Kunci dan definisi JSON

Kunci	Definisi
ID	Jumlah ID bertahas dari objek yang terdeteksi dalam file media
Jenis	Jenis objek, misalnya, Mobil
ThumbnailID	GUID yang mewakili satu deteksi objek
displayName	Nama yang akan ditampilkan dalam pengalaman portal VI
WikiDataID	Pengidentifikasi unik dalam struktur WikiData
Instans	Daftar semua instans yang dilacak
Keyakinan	Skor antara 0-1 menunjukkan keyakinan deteksi objek
adjustedStart	waktu mulai video yang disesuaikan saat menggunakan editor
adjustedEnd	waktu akhir video yang disesuaikan saat menggunakan editor
mulai	waktu objek muncul dalam bingkai
akhir	waktu objek tidak lagi muncul dalam bingkai

Respons JSON

Objek terdeteksi dan terlacak

Objek yang terdeteksi dan terlacak muncul di bawah "Objek yang terdeteksi" dalam file insights.json yang diunduh. Setiap kali objek unik terdeteksi, objek tersebut diberi ID. Objek itu juga dilacak, yang berarti bahwa model mengawasi objek yang terdeteksi untuk kembali ke bingkai. Jika ya, instans lain ditambahkan ke instans untuk objek dengan waktu mulai dan akhir yang berbeda.

Dalam contoh ini, mobil pertama terdeteksi dan diberi ID 1 karena juga merupakan objek pertama yang terdeteksi. Kemudian, mobil yang berbeda terdeteksi dan mobil itu diberi ID 23 karena merupakan objek ke-23 yang terdeteksi. Kemudian, mobil pertama muncul lagi dan instans lain ditambahkan ke JSON. Berikut adalah JSON yang dihasilkan:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Objek yang didukung

airplane
apple
Ransel
pisang
sarung tangan bisbol
Menggunakan tempat tidur
Bangku
Sepeda
Perahu
book
Botol
Mangkuk
Brokoli
bus
Kue

car
Wortel
Ponsel
Kursi
Jam
mouse komputer
Sofa
Cangkir
meja makan
donut
hidran api
fork
frisbee

pengering rambut
Tas
hot dog
Keyboard
Kite
Pisau
laptop
Microwave
Sepeda motor
mouse komputer
Dasi
orange
oven
meter parkir
pizza
tanaman pot

sandwich
Gunting
sink
Skateboard
Ski
Snowboard
Sendok
bola olahraga
hentikan tanda
Koper
papan selancar
beruang teddy

raket tenis
pemanggang roti
Toilet
Sikat gigi
lampu lalu lintas
kereta api
Payung
Vas
senjata, lihat Catatan kelas tertentu untuk kelas senjata
gelas anggur

Batasan

Ada hingga 20 deteksi per bingkai untuk pemrosesan standar dan tingkat lanjut dan 35 trek per kelas.
Ukuran objek tidak boleh lebih besar dari 90 persen dari bingkai. Objek yang sangat besar yang secara konsisten mencakup sebagian besar bingkai mungkin tidak dikenali.
Objek kecil atau buram bisa sulit dideteksi. Mereka dapat dilewatkan atau salah diklasifikasikan (gelas anggur, cangkir).
Objek yang sementara dan muncul dalam sangat sedikit bingkai mungkin tidak dikenali.
Faktor lain yang mungkin memengaruhi akurasi deteksi objek termasuk kondisi cahaya rendah, gerakan kamera, dan oklusi.
Azure AI Video Indexer hanya mendukung objek dunia nyata. Tidak ada dukungan untuk animasi atau CGI. Grafik yang dihasilkan komputer (seperti stiker berita) mungkin menghasilkan hasil yang aneh.
Lihat catatan kelas tertentu.

Catatan kelas tertentu

Materi tertulis terikat

Pengikat, brosur, dan bahan tertulis lainnya cenderung terdeteksi sebagai "buku."

Senjata

Kelas senjata termasuk penampilan pistol tangan dan senapan.
Tangan memegang benda gelap (sebagian besar, tetapi tidak terbatas pada objek kabur) mungkin bingung dengan senjata.
Senjata dengan latar belakang yang sangat gelap bisa dilewatkan.
Video berkualitas rendah (resolusi, kompresi, dll.) dapat memengaruhi kemampuan model untuk mengidentifikasi senjata.
Objek mekanis (termasuk robot) dan mesin yang rumit terkadang dapat dideteksi sebagai senjata.
Untuk tugas berorientasi pengenalan, trek yang difilter tersedia di bawah "filtered_tracks." Trek ini memiliki skor keyakinan keseluruhan yang lebih rendah dan tidak akan muncul di portal Azure AI Video Indexer.

Coba deteksi objek

Anda dapat mencoba deteksi objek dengan portal web atau dengan API.

Web Portal
API

Setelah video diunggah, Anda dapat melihat wawasan. Pada tab wawasan, Anda dapat melihat daftar objek yang terdeteksi dan instans utamanya.

Insights

Pilih tab Insight. Objek berada dalam urutan turun dari jumlah penampilan dalam video.

cuplikan layar antarmuka tab wawasan

Garis Waktu

Pilih tab Garis Waktu.

cuplikan layar antarmuka tab garis waktu

Di bawah tab garis waktu, semua objek yang terdeteksi ditampilkan sesuai dengan waktu penampilan. Saat Anda mengarahkan mouse ke atas deteksi tertentu, itu menunjukkan persentase deteksi kepastian.

Pemutar

Pemutar secara otomatis menandai objek yang terdeteksi dengan kotak pembatas. Objek yang dipilih dari panel wawasan disorot dengan warna biru dengan jenis objek dan nomor seri juga ditampilkan.

Filter kotak pembatas di sekitar objek dengan memilih ikon kotak pembatas pada pemutar.

Kemudian, pilih atau batal pilih kotak centang objek yang terdeteksi.

cuplikan layar objek pemfilteran objek yang terdeteksi di antarmuka pemutar

Unduh wawasan dengan memilih Unduh lalu Wawasan (JSON).