Gambaran umum Model AI Azure AI Video Indexer Bring Your Own (BYO) (Pratinjau)

Artikel ini adalah gambaran umum Azure AI Video Indexer membawa model AI Anda sendiri.

Pengantar

Azure AI Video Indexer menawarkan sekumpulan AI yang dioptimalkan untuk konten video dan audio yang dapat diterapkan ke banyak jenis konten. Anda dapat menggabungkan lebih banyak wawasan dari sumber Microsoft, sumber kustom, atau sumber pihak ketiga dengan wawasan Azure AI Video Indexer bawaan semuanya dalam pengalaman yang mulus.

Kemampuan ini cukup fleksibel untuk mengakomodasi semua bentuk dan jenis wawasan, termasuk AI berorientasi deteksi dan berorientasi klasifikasi. Anda memiliki kebebasan untuk memilih data yang dioperasikan model eksternal Anda, seperti bingkai video, seluruh video, atau hanya trek audio. Anda juga dapat menggunakan wawasan lain yang sudah diproduksi untuk video, seperti objek, wajah, dan label yang terdeteksi. Ini memungkinkan Anda untuk menjalankan analisis eksternal hanya pada bagian terkait dari video, meningkatkan performa dan mengurangi biaya.

Fitur ini tersedia untuk kasus penggunaan cloud dan edge.

PENAFIAN: Kode etik Microsoft untuk Layanan Azure OpenAI berlaku untuk penggunaan fitur Bring Your Own Model oleh Anda, yang mencakup hak Microsoft untuk menghentikan akses dan penggunaan fitur ini untuk ketidakpatuhan.

Harga

Dengan model BYO Video Indexer, pengguna dapat menambahkan wawasan kustom ke objek wawasan video tanpa menimbulkan biaya tambahan di luar biaya yang tercantum dari proses pengindeksan. Namun, biaya apa pun yang terkait dengan lingkungan dan model eksternal tidak boleh dianggap sebagai bagian dari harga penagihan Video Indexer. Kami sangat menyarankan untuk meninjau bagian praktik terbaik kami untuk mengoptimalkan logika eksternal dan mengurangi biaya.

Alur kerja umum

1. Video diunggah dan diindeks dengan Azure AI Video Indexer.
2. Ketika proses pengindeksan selesai, peristiwa dibuat.
3. Kode kustom Anda mendengarkan peristiwa dan memulai proses pasca-pemrosesan video.
   1. Dapatkan wawasan yang diekstrak oleh Video Indexer.
   2. Dapatkan keyframe untuk bagian video.
   3. Kirim keyframe ke model AI kustom.
   4. Patch wawasan kustom kembali ke Video Indexer.

Prasyarat

Sebelum Anda dapat mulai menggunakan fitur model BYO dengan Azure AI Video Indexer, Anda harus:

1. Melatih atau membawa model AI eksternal yang menerima aset video dan mengembalikan wawasan.
2. Buat kode kustom yang:
   1. Mendengarkan peristiwa Azure Event Hubss.
   2. video id Mengekstrak dari peristiwa.
   3. Mengambil aset yang relevan dengan memanggil API VI. Dalam skenario ini, minta Dapatkan Indeks Video dan Dapatkan URL SAS bingkai.
   4. Mengirim aset ke model AI eksternal.
   5. Membuat objek JSON berdasarkan wawasan yang diambil dari model AI kustom.
   6. Permintaan Patch Update Video Index.

Skema

Nilai untuk mengisi data kustom adalah sebagai berikut:

Nama	Keterangan	Diperlukan
nama	Nama model AI eksternal	benar
Displayname	Nama grup wawasan yang akan ditampilkan di Video Indexer	benar
displayType	Menentukan jenis representasi UI untuk grup wawasan khusus ini. Nilai default: Kapsul Jenis yang mungkin: Kapsul – Hanya teks satu tingkat CapsuleAndTags -Dua tingkat teks hanya lebih akan ditambahkan di masa mendatang.	salah
results	Array objek yang mewakili wawasan yang terdeteksi oleh model AI eksternal	benar
results.id	ID yang disediakan pengguna dari objek hasil, harus unik dalam cakupan hasil	benar
results.type	Bidang ini mewakili jenis wawasan yang dikategorikan oleh model AI eksternal. Ini digunakan untuk mewakili kategori wawasan umum, yang berarti bahwa mungkin ada beberapa wawasan dari jenis ini yang diidentifikasi dalam bingkai tertentu. Contoh jenis wawasan meliputi: "bola basket", "crowd clapping", "white shirt".	benar
results.subType	Bidang ini mewakili jenis wawasan yang dikategorikan oleh model AI eksternal. Ini digunakan untuk mewakili kategori wawasan tertentu, yang berarti bahwa hanya ada satu wawasan dari jenis ini yang diidentifikasi dalam bingkai tertentu. Contoh jenis wawasan meliputi: "bola basket #23", "John bertepuk tangan", "kemeja putih Dana".	salah
results.metaData	Lebih banyak data tentang wawasan	salah
results.instances	Array yang mewakili jendela waktu tempat wawasan terdeteksi.	benar
results.instances.confidence	Atur dengan skor keyakinan yang dikembalikan dari model eksternal	salah
results.instances.start	Waktu mulai instans dalam video. Format: hh.mm.ss.ff	salah
results.instances.end	Waktu akhir instans dalam video. Format: hh.mm.ss.ff	salah
results.instances.adjustedStart	Digunakan saat ditampilkan di UI, diatur dengan nilai dari Mulai	salah
results.instances.adjustedEnd	Digunakan saat ditampilkan di UI, diatur dengan nilai dari Akhir	salah

Kecepatan bingkai

Azure AI Video Indexer mendukung satu FPS untuk tingkat video Dasar/Standar dan empat FPS untuk tingkat lanjut. Kecepatan bingkai yang lebih tinggi tidak didukung. Anda dapat mengoptimalkan pengindeksan dengan:

• Memproses hanya segmen tertentu yang menarik seperti bingkai yang menyertakan suara, objek, atau orang yang terdeteksi, atau
• contoh FPS yang lebih rendah, misalnya, setiap 5 detik.

Pemilihan bingkai

Anda dapat menggunakan bingkai lewati dan parameter ukuran halaman untuk pemilihan waktu. Rumus adalah nilai lombah bingkai yang dikalikan dengan FPS ditambah nilai ukuran halaman yang dikalikan dengan FPS dapat digunakan untuk menentukan rentang waktu.

URL:https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/FramesFilePaths[?urlsLifetimeSeconds][&pageSize][&skip][&accessToken]

Parameter:

Nama	Keterangan	Diperlukan
videoId	ID video	benar
urlsLifetimeSeconds	masa pakai url dalam hitungan detik	benar
ukuran halaman	Jumlah maksimum bingkai untuk mengembalikan setiap panggilan	salah
skip	Bingkai yang akan dilewati	salah
accessToken	Harus diberikan sebagai parameter dalam string kueri URL atau di header Otorisasi sebagai token Pembawa. Cakupan token akses harus Akun dan izin harus Pembaca.	benar

ResponsFrameFilePathsResult:

Nama	Keterangan	Diperlukan
results	Daftar FrameUriData	Salah
Halaman Berikutnya	Data halaman (lewati, pageSize, isDone)	Salah

FrameFilePathData

Nama	Keterangan
nama	Nama file bingkai
frameIndex	Indeks bingkai
StartTime	Waktu mulai bingkai dalam video
EndTime	Waktu akhir bingkai dalam video
filePath	Sas URI bingkai di lingkungan cloud atau jalur file di lingkungan tepi

Data sampel yang dikirim dari aplikasi kustom dalam format skema

"customInsights": [
    {
        "Name": "tattoo",  
        "displayName": "Tattoo’s model",
        "displayType": "CapsuleAndTag",
        "Results": [   
            {   
                "id": 1,   
                "Type": "Dragon",   
                "WikiDataId": "57F",   
                "SubType": "Leg tattoo",   
                "Metadata": "",   
                "Instances": [
                    {
                        "Confidence": 0.49,
                        "AdjustedStart": "0:00:32.72", 
                        "AdjustedEnd": "0:00:42.72",
                        "start": "0:00:32.72",
                        "end": "0:00:42.72",
                    }
                ]
            }
        ]
    }... 

Konten terkait

Menggunakan API Pengindeks Video Azure AI