Bagikan melalui


Mendapatkan wawasan deteksi wajah

Artikel ini memperlihatkan kepada Anda cara mendapatkan wawasan deteksi wajah Azure AI Video Indexer. Deteksi wajah menemukan wajah dalam file media dan mengelompokkan wajah serupa. Sistem menghasilkan wawasan deteksi wajah sebagai daftar yang dikategorikan dalam file JSON. Setiap entri menyertakan gambar mini dan nama atau ID untuk setiap wajah. Di portal web, saat Anda memilih gambar mini wajah, Anda akan melihat detail seperti nama orang tersebut (jika dikenali), persentase video tempat orang tersebut muncul, dan biografi orang tersebut jika mereka adalah selebriti. Anda dapat menggulir melalui bagian-bagian dalam video di mana orang tersebut muncul.

Model pengenalan selebriti

Model pengenalan selebriti mencakup sekitar 1 juta wajah dan didasarkan pada sumber data yang umum diminta. Wajah yang tidak dikenali oleh Video Indexer sebagai selebriti terdeteksi tetapi tidak diberi nama. Anda dapat membangun model kustom orang Anda sendiri untuk melatih Video Indexer agar dapat mengenali wajah yang tidak terdeteksi secara default.

Penting

Untuk mendukung prinsip Microsoft Responsible AI, akses ke fitur identifikasi wajah, kustomisasi, dan pengenalan selebriti terbatas dan berdasarkan kriteria kelayakan dan penggunaan. Fitur identifikasi wajah, kustomisasi, dan pengenalan selebriti tersedia untuk pelanggan dan mitra terkelola Microsoft. Untuk mengajukan akses, gunakan formulir pendaftaran pengenalan wajah.

Kasus penggunaan deteksi wajah

Daftar berikut ini menjelaskan contoh kasus penggunaan umum untuk deteksi wajah:

  • Ringkas di mana aktor muncul dalam film atau gunakan kembali cuplikan dengan mencari wajah tertentu dalam arsip organisasi untuk wawasan tentang selebriti tertentu.
  • Tingkatkan efisiensi saat Anda membuat liputan khusus di kantor berita atau agen olahraga. Contohnya termasuk pencarian mendalam selebriti atau pemain sepak bola dalam arsip organisasi.
  • Anda dapat menggunakan wajah yang muncul dalam video untuk membuat promo, trailer, atau sorotan. Video Indexer dapat membantu dengan menambahkan keyframe, penanda adegan, stempel waktu, dan pelabelan sehingga editor konten menginvestasikan lebih sedikit waktu untuk meninjau banyak file.

Istilah kunci

Istilah Definisi
Pengenalan wajah Menganalisis gambar untuk mengidentifikasi wajah yang muncul dalam gambar. Proses ini diimplementasikan melalui Azure AI Face API.
Pendaftaran Proses pendaftaran gambar individu untuk pembuatan templat sehingga dapat dikenali. Saat seseorang terdaftar ke sistem verifikasi yang digunakan untuk autentikasi, templat mereka juga dikaitkan dengan pengidentifikasi utama. Pengidentifikasi digunakan untuk menentukan templat mana yang akan dibandingkan dengan templat pemeriksaan. Gambar dan gambar berkualitas tinggi yang mewakili variasi alami dalam tampilan seseorang (misalnya, mengenakan kacamata dan tidak mengenakan kacamata) menghasilkan templat pendaftaran berkualitas tinggi.
Templat Gambar orang yang terdaftar dikonversi ke templat, yang kemudian digunakan untuk pengenalan wajah. Fitur yang dapat ditafsirkan mesin diekstrak dari satu atau beberapa gambar individu untuk membuat templat individu tersebut. Face API tidak menyimpan citra pendaftaran atau pemeriksaan. Gambar asli tidak dapat direkonstruksi berdasarkan templat. Kualitas templat adalah penentu utama untuk akurasi dalam hasil Anda.

Menampilkan insight JSON dengan portal web

Setelah Anda mengunggah dan mengindeks video, unduh wawasan dalam format JSON dari portal web.

  1. Pilih tab Pustaka .
  2. Pilih media yang Anda inginkan.
  3. Pilih Unduh, lalu pilih Insight (JSON). File JSON terbuka di tab browser baru.
  4. Temukan pasangan kunci yang dijelaskan dalam contoh respons.

Gunakan API

  1. Gunakan permintaan Dapatkan Indeks Video . Teruskan &includeSummarizedInsights=false.
  2. Temukan pasangan kunci yang dijelaskan dalam contoh respons.

Penting

Saat meninjau deteksi wajah di UI, Anda mungkin tidak melihat semua wajah yang muncul di video. Kami hanya mengekspos kelompok wajah yang memiliki keyakinan lebih dari 0,5, dan wajah harus muncul selama minimal 4 detik atau 10 persen dari nilai video_duration. Hanya ketika kondisi ini terpenuhi, kita menunjukkan wajah di UI dan dalam file Insights.json . Anda selalu dapat mengambil semua instans wajah dari file artefak wajah dengan memanfaatkan API: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken].

Contoh tanggapan

    "faces": [
        {
        "id": 1785,
        "name": "Emily Tran",
        "confidence": 0.7855,
        "description": null,
        "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
        "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
        "title": null,
        "imageUrl": null,
        "thumbnails": [
            {
            "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
            "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:00",
                "adjustedEnd": "0:00:00.033",
                "start": "0:00:00",
                "end": "0:00:00.033"
                }
            ]
            },
            {
            "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
            "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:05",
                "adjustedEnd": "0:00:05.033",
                "start": "0:00:05",
                "end": "0:00:05.033"
                }
            ]
            },
        ]
        }
    ]

Penting

Baca ringkasan catatan transparansi untuk semua fitur VI. Setiap wawasan juga memiliki catatan transparansinya sendiri.

Catatan deteksi wajah

Deteksi wajah adalah alat untuk banyak industri ketika digunakan dengan bertanggung jawab dan hati-hati. Untuk menghormati privasi dan keamanan orang lain, dan untuk mematuhi peraturan lokal dan global, kami sarankan Anda mengikuti pedoman penggunaan ini:

  • Pertimbangkan dengan cermat akurasi hasilnya. Untuk mempromosikan deteksi yang lebih akurat, periksa kualitas video. Video berkualitas rendah dapat memengaruhi wawasan yang disajikan.
  • Tinjau hasil dengan cermat jika Anda menggunakan deteksi wajah untuk penegak hukum. Orang mungkin tidak terdeteksi jika mereka kecil, duduk, berjongkok, atau terhalang oleh objek atau orang lain. Untuk memastikan keputusan yang adil dan berkualitas tinggi, gabungkan otomatisasi berbasis deteksi wajah dengan pengawasan manusia.
  • Jangan gunakan deteksi wajah untuk keputusan yang mungkin memiliki dampak serius dan merugikan. Keputusan yang didasarkan pada output yang salah dapat memiliki dampak serius dan merugikan. Disarankan untuk menyertakan tinjauan manusia terhadap keputusan yang memiliki potensi dampak serius pada individu.

Komponen deteksi wajah

Tabel berikut ini menjelaskan bagaimana gambar dalam file media diproses selama prosedur deteksi wajah:

Komponen Definisi
File Sumber Pengguna mengunggah file sumber untuk pengindeksan.
Deteksi dan agregasi Pendeteksi wajah mengidentifikasi wajah di setiap bingkai. Wajah kemudian diagregasi dan dikelompokkan.
Pengenalan Model selebriti memproses grup agregat untuk mengenali selebriti. Jika Anda telah membuat model orang Anda sendiri, model tersebut juga memproses grup untuk mengenali orang lain. Jika orang tidak dikenali, mereka diberi label Unknown1, Unknown2, dan sebagainya.
Nilai keyakinan Jika berlaku untuk wajah terkenal atau untuk wajah yang diidentifikasi dalam daftar yang dapat disesuaikan, perkiraan tingkat keyakinan setiap label dihitung sebagai rentang 0 hingga 1. Skor keyakinan mewakili kepastian dalam akurasi hasil. Misalnya, kepastian 82 persen diwakili sebagai skor 0,82.

Sampel Kode

Lihat semua sampel untuk VI