Orang yang diamati melacak dan mencocokkan wajah

Artikel
03/25/2024

Penting

Karena pengumuman penghentian Azure Media Services, Azure AI Video Indexer mengumumkan penyesuaian fitur Azure AI Video Indexer. Lihat Perubahan yang terkait dengan penghentian Azure Media Service (AMS) untuk memahami apa artinya ini untuk akun Azure AI Video Indexer Anda. Lihat panduan Mempersiapkan penghentian AMS: Pembaruan VI dan migrasi.

Penting

Akses fitur identifikasi wajah, kustomisasi, dan pengenalan selebriti dibatasi berdasarkan kriteria kelayakan dan penggunaan untuk mendukung prinsip AI yang Bertanggung Jawab. Fitur identifikasi wajah, kustomisasi, dan pengenalan selebriti hanya tersedia untuk pelanggan dan mitra terkelola Microsoft. Gunakan formulir pengambilan Pengenalan Wajah untuk mengajukan akses.

Orang yang diamati melacak dan mencocokkan wajah adalah fitur Azure AI Video Indexer AI yang secara otomatis mendeteksi dan mencocokkan orang dalam file media. Orang yang diamati melacak dan mencocokkan wajah dapat diatur untuk menampilkan wawasan tentang orang, pakaian mereka, dan jangka waktu penampilan mereka yang tepat.

Wawasan yang dihasilkan ditampilkan dalam daftar yang dikategorikan di tab Insight, tab menyertakan gambar mini setiap orang dan ID mereka. Mengklik gambar mini seseorang menampilkan orang yang cocok (wajah yang sesuai dalam wawasan Orang). Wawasan juga dihasilkan dalam daftar yang dikategorikan dalam file JSON yang menyertakan ID thumbnail orang tersebut, persentase waktu yang muncul dalam file, tautan Wiki (jika mereka adalah selebriti) dan tingkat keyakinan.

Prasyarat

Tinjau gambaran umum catatan transparansi

Prinsip umum

Artikel ini membahas pelacakan orang yang diamati dan wajah yang cocok dan pertimbangan utama untuk memanfaatkan teknologi ini secara bertanggung jawab. Ada banyak hal yang perlu Anda pertimbangkan saat memutuskan cara menggunakan dan mengimplementasikan fitur yang didukung AI:

Apakah fitur ini akan berfungsi dengan baik dalam skenario saya? Sebelum menyebarkan orang yang diamati melacak dan mencocokkan wajah ke dalam skenario Anda, uji performanya menggunakan data kehidupan nyata dan pastikan itu dapat memberikan akurasi yang Anda butuhkan.
Apakah kita diperlengkapi untuk mengidentifikasi dan menanggapi kesalahan? Produk dan fitur yang didukung AI tidak akan 100% akurat, jadi pertimbangkan bagaimana Anda akan mengidentifikasi dan menanggapi kesalahan apa pun yang mungkin terjadi.

Lihat wawasan

Saat mengunggah file media, buka Pengindeksan Video + Audio dan pilih Tingkat Lanjut.

Untuk menampilkan orang yang diamati melacak dan mencocokkan wawasan wajah di situs web, lakukan hal berikut:

Setelah file diindeks, buka Wawasan lalu gulir ke orang yang diamati.

Untuk melihat wawasan dalam file JSON, lakukan hal berikut:

Klik Unduh lalu Wawasan (JSON).

observedPeople Salin teks dan tempelkan ke penampil JSON Anda.

Bagian berikut menunjukkan orang dan pakaian yang diamati. Untuk orang dengan id 4 ("id": 4) juga ada wajah yang cocok.

 "observedPeople": [
   {
     "id": 1,
     "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
           "length": "long"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
           "length": "long"
         }
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:00.0667333",
         "adjustedEnd": "0:00:12.012",
         "start": "0:00:00.0667333",
         "end": "0:00:12.012"
       }
     ]
   },
   {
     "id": 2,
     "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
     "clothing": [
       {
           "id": 1,
           "type": "sleeve",
           "properties": {
               "length": "short"
           }
       }
     ],
     "instances": [
       {
           "adjustedStart": "0:00:23.2565666",
           "adjustedEnd": "0:00:25.4921333",
           "start": "0:00:23.2565666",
           "end": "0:00:25.4921333"
       },
       {
           "adjustedStart": "0:00:25.8925333",
           "adjustedEnd": "0:00:25.9926333",
           "start": "0:00:25.8925333",
           "end": "0:00:25.9926333"
       },
       {
           "adjustedStart": "0:00:26.3930333",
           "adjustedEnd": "0:00:28.5618666",
           "start": "0:00:26.3930333",
           "end": "0:00:28.5618666"
       }
     ]
   },
   {
     "id": 3,
     "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "long"
         }
       },
       {
         "id": 3,
         "type": "skirtAndDress"
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:31.9652666",
         "adjustedEnd": "0:00:34.4010333",
         "start": "0:00:31.9652666",
         "end": "0:00:34.4010333"
       }
     ]
   },
   {
     "id": 4,
     "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "short"
         }
       }
     ],
     "matchingFace": {
       "id": 1310,
       "confidence": 0.3819
     },
     "instances": [
       {
           "adjustedStart": "0:00:34.8681666",
           "adjustedEnd": "0:00:36.0026333",
           "start": "0:00:34.8681666",
           "end": "0:00:36.0026333"
       },
       {
           "adjustedStart": "0:00:36.6699666",
           "adjustedEnd": "0:00:36.7367",
           "start": "0:00:36.6699666",
           "end": "0:00:36.7367"
       },
       {
           "adjustedStart": "0:00:37.2038333",
           "adjustedEnd": "0:00:39.6729666",
           "start": "0:00:37.2038333",
           "end": "0:00:39.6729666"
       }
     ]
   }
 ]

Untuk mengunduh file JSON melalui API, gunakan portal pengembang Azure AI Video Indexer.

Komponen pelacakan orang yang diamati dan wajah yang cocok

Selama prosedur pelacakan orang yang diamati dan wajah yang cocok, gambar dalam file media diproses, sebagai berikut:

Komponen	Definisi
File Sumber	Pengguna mengunggah file sumber untuk pengindeksan.
Detection	File media dilacak untuk mendeteksi orang yang diamati dan pakaian mereka. Misalnya, kemeja dengan lengan panjang, gaun atau celana panjang. Perhatikan bahwa untuk terdeteksi, tubuh atas penuh orang tersebut harus muncul di media.
Pengelompokan lokal	Wajah yang diamati yang diidentifikasi difilter ke dalam grup lokal. Jika seseorang terdeteksi lebih dari sekali, instans wajah tambahan yang diamati dibuat untuk orang ini.
Pencocokan dan Klasifikasi	Instans orang yang diamati cocok dengan wajah. Jika ada selebriti yang dikenal, orang yang diamati akan diberi nama mereka. Sejumlah instans orang yang diamati dapat dicocokkan dengan wajah yang sama.
Nilai keyakinan	Estimasi tingkat keyakinan setiap orang yang diamati dihitung sebagai kisaran 0 hingga 1. Skor keyakinan mewakili kepastian dalam akurasi hasil. Misalnya, kepastian 82% direpresentasikan sebagai skor 0,82.

Contoh kasus penggunaan

Melacak gerakan seseorang, misalnya, dalam penegakan hukum untuk efisiensi yang lebih tinggi saat menganalisis kecelakaan atau kejahatan.
Meningkatkan efisiensi dengan mencari orang yang cocok dalam arsip organisasi untuk wawasan tentang selebriti tertentu, misalnya saat membuat promo dan trailer.
Peningkatan efisiensi saat membuat cerita fitur, misalnya, mencari orang yang mengenakan kemeja merah dalam arsip permainan sepak bola di agensi Berita atau Olahraga.

Pertimbangan dan batasan saat memilih kasus penggunaan

Di bawah ini adalah beberapa pertimbangan yang perlu diingat saat menggunakan orang yang diamati dan wajah yang cocok.

Batasan pelacakan orang yang diamati

Penting untuk dicatat keterbatasan pelacakan orang yang diamati, untuk menghindari atau mengurangi efek negatif palsu (deteksi yang terlewat) dan detail terbatas.

Orang umumnya tidak terdeteksi jika tampak kecil (tinggi orang minimum adalah 100 piksel).
Ukuran bingkai maksimum adalah FHD
Video berkualitas rendah (misalnya, kondisi pencahayaan gelap) dapat memengaruhi hasil deteksi.
Kecepatan bingkai yang direkomendasikan setidaknya 30 FPS.
Input video yang disarankan harus berisi hingga 10 orang dalam satu bingkai. Fitur ini dapat berfungsi dengan lebih banyak orang dalam satu bingkai, tetapi hasil deteksi mengambil hingga 10 orang dalam bingkai dengan keyakinan deteksi tertinggi.
Orang dengan pakaian serupa: (misalnya, orang yang mengenakan seragam, pemain dalam permainan olahraga) dapat dideteksi sebagai orang yang sama dengan nomor ID yang sama.
Halangan – mungkin terdapat kesalahan di mana ada penghalang (adegan/diri sendiri atau penghalang oleh orang lain).
Pose: Jalur mungkin terbagi karena pose yang berbeda (belakang/depan)

Pertimbangan lain

Saat digunakan dengan bertanggung jawab dan hati-hati, Azure AI Video Indexer adalah alat yang berharga untuk banyak industri. Untuk menghormati privasi dan keamanan orang lain, dan untuk mematuhi peraturan lokal dan global, kami merekomendasikan hal-hal berikut:

Selalu hormati hak privasi seseorang, dan hanya serap video untuk tujuan yang sah dan dapat dibenar.
Jangan sengaja mengungkapkan media yang tidak pantas yang menunjukkan anak-anak muda atau anggota keluarga selebriti atau konten lain yang mungkin merugikan atau menimbulkan ancaman bagi kebebasan pribadi individu.
Berkomitmen untuk menghormati dan mempromosikan hak asasi manusia dalam desain dan penyebaran media anda yang dianalisis.
Saat menggunakan materi pihak ke-3, ketahui hak cipta atau izin yang ada yang diperlukan sebelum mendistribusikan konten yang berasal darinya.
Selalu cari saran hukum saat menggunakan media dari sumber yang tidak diketahui.
Selalu dapatkan saran hukum dan profesional yang sesuai untuk memastikan bahwa video yang Anda unggah diamankan dan memiliki kontrol yang memadai untuk mempertahankan integritas konten Anda dan untuk mencegah akses yang tidak sah.
Berikan saluran umpan balik yang memungkinkan pengguna dan individu melaporkan masalah dengan layanan.
Waspadalah terhadap hukum atau peraturan yang berlaku yang ada di wilayah Anda mengenai pemrosesan, analisis, dan berbagi media yang berisi orang-orang.
Menjaga manusia dalam perulangan. Jangan gunakan solusi apa pun sebagai pengganti pengawasan dan pengambilan keputusan manusia.
Periksa sepenuhnya dan tinjau potensi model AI apa pun yang Anda gunakan untuk memahami kemampuan dan batasannya.