Adegan, bidikan, dan keyframe

Penting

Karena pengumuman penghentian Azure Media Services, Azure AI Video Indexer mengumumkan penyesuaian fitur Azure AI Video Indexer. Lihat Perubahan yang terkait dengan penghentian Azure Media Service (AMS) untuk memahami apa artinya ini untuk akun Azure AI Video Indexer Anda. Lihat panduan Mempersiapkan penghentian AMS: Pembaruan VI dan migrasi.

Azure AI Video Indexer mendukung segmenting video ke dalam unit temporal berdasarkan properti struktural dan semantik. Kemampuan ini memungkinkan pelanggan untuk dengan mudah menelusuri, mengelola, dan mengedit konten video mereka berdasarkan berbagai tingkat perincian. Misalnya, berdasarkan adegan, bidikan, dan keyframe, yang dijelaskan dalam topik ini.

Deteksi adegan

Pengindeks Video Azure AI menentukan kapan adegan berubah dalam video berdasarkan iseng visual. Adegan menggambarkan satu peristiwa dan terdiri dari serangkaian bidikan berturut-turut, yang terkait secara semantik. Gambar kecil adegan adalah keyframe pertama dari bidikan yang mendasarinya. Azure AI Video Indexer membuat segmen video ke dalam adegan berdasarkan koherensi warna di seluruh bidikan berturut-turut dan mengambil waktu awal dan akhir setiap adegan. Deteksi adegan dianggap sebagai tugas yang menantang karena melibatkan kuantifikasi aspek semantik video.

Catatan

Berlaku untuk video yang berisi setidaknya 3 adegan.

Deteksi bidikan

Pengindeks Video Azure AI menentukan kapan bidikan berubah dalam video berdasarkan petunjuk visual, dengan melacak transisi mendadak dan bertahap dalam skema warna bingkai yang berdekatan. Metadata bidikan mencakup waktu mulai dan berakhir, serta daftar keyframe yang disertakan dalam bidikan tersebut. Bidikan adalah bingkai berturut-turut yang diambil dari kamera yang sama pada saat yang bersamaan.

Deteksi keyframe

Pengindeks Video Azure AI memilih bingkai yang paling mewakili setiap bidikan. Keyframes adalah bingkai perwakilan yang dipilih dari seluruh video berdasarkan properti estetika (misalnya, kontras dan kestabilan). Pengindeks Video Azure AI mengambil daftar ID keyframe sebagai bagian dari metadata bidikan, berdasarkan mana pelanggan dapat mengekstrak keyframe sebagai gambar resolusi tinggi.

Mengekstrak Keyframe

Untuk mengekstrak keyframe beresolusi tinggi untuk video, Anda harus terlebih dahulu mengunggah dan mengindeks video.

Dengan situs web Azure AI Video Indexer

Untuk mengekstrak keyframe menggunakan situs web Azure AI Video Indexer, unggah dan indeks video Anda. Setelah pekerjaan pengindeksan selesai, klik tombol Unduh dan pilih Artefak (ZIP). Ini akan mengunduh folder artefak ke komputer Anda (pastikan untuk melihat peringatan mengenai artefak di bawah). Ekstrak dan buka folder tersebut. Pada folder _KeyframeThumbnail, dan Anda akan menemukan semua keyframe yang diekstrak dari video Anda.

Peringatan

Kami tidak menyarankan Anda menggunakan data langsung dari folder artefak untuk tujuan produksi. Artefak adalah output menengah dari proses pengindeksan. Mereka pada dasarnya adalah output mentah dari berbagai mesin AI yang menganalisis video; skema artefak dapat berubah dari waktu ke waktu. Disarankan agar Anda menggunakan Get Video Index API, seperti yang dijelaskan dalam Mendapatkan wawasan dan artefak yang dihasilkan oleh API.

Dengan API Pengindeks Video Azure AI

Untuk mendapatkan keyframe menggunakan API Pengindeks Video, unggah dan indeks video Anda menggunakan panggilan Unggah Video. Setelah tugas pengindeksan selesai, lakukan panggilan Dapatkan Pengindeks Video. Panggilan ini akan memberi Anda semua insight yang diekstrak Pengindeks Video dari konten Anda dalam file JSON.

Anda akan mendapatkan daftar ID keyframe sebagai bagian dari metadata setiap bidikan.

"shots":[  
    {  
      "id":0,
      "keyFrames":[  
          {  
            "id":0,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:00.209",
                  "end":"0:00:00.251",
                  "duration":"0:00:00.042"
                }
            ]
          },
          {  
            "id":1,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:04.755",
                  "end":"0:00:04.797",
                  "duration":"0:00:00.042"
                }
            ]
          }
      ],
      "instances":[  
          {  
            "start":"0:00:00",
            "end":"0:00:06.34",
            "duration":"0:00:06.34"
          }
      ]
    },

]

Anda sekarang perlu menjalankan masing-masing ID keyframe ini pada panggilan Dapatkan Gambar kecil. Proses ini akan mengunduh setiap gambar keyframe ke komputer Anda.

Deteksi jenis bidikan editorial

Keyframe dikaitkan dengan bidikan dalam output JSON.

Jenis bidikan yang terkait dengan bidikan individual dalam insight JSON menggambarkan jenis editorialnya. Anda mungkin menilai karakteristik jenis bidikan ini berguna saat mengedit video ke dalam klip, trailer, atau saat mencari gaya keyframe tertentu untuk tujuan artistik. Jenis yang beragam ditentukan berdasarkan analisis keyframe pertama dari setiap bidikan. Bidikan diidentifikasi berdasarkan skala, ukuran, dan lokasi dari wajah yang muncul pada keyframe pertama mereka.

Ukuran dan skala bidikan ditentukan berdasarkan jarak antara kamera dan wajah yang muncul dalam bingkai. Dengan menggunakan properti ini, Azure AI Video Indexer mendeteksi jenis bidikan berikut:

• Lebar: menunjukkan seluruh bagian tubuh seseorang.
• Medium: menunjukkan tubuh bagian atas dan wajah seseorang.
• Jarak dekat: menampilkan terutama wajah seseorang.
• Jarak dekat ekstrem: menampilkan wajah seseorang yang memenuhi layar.

Jenis bidikan juga dapat ditentukan berdasarkan lokasi karakter subjek sehubungan dengan bagian tengah bingkai. Properti ini menentukan jenis bidikan berikut di Azure AI Video Indexer:

• Wajah kiri: seseorang tampak di sisi kiri bingkai.
• Wajah tengah: seseorang tampak di wilayah tengah bingkai.
• Wajah kanan: seseorang tampak di sisi kanan bingkai.
• Di luar ruangan: seseorang tampak pada suasana luar ruangan.
• Dalam ruangan: seseorang tampak pada suasana dalam ruangan.

Karakteristik tambahan:

• Dua bidikan: menunjukkan wajah dua orang berukuran sedang.
• Beberapa wajah: lebih dari dua orang.