Gambaran umum Azure AI Video Indexer

  • Artikel

Penting

Karena pengumuman penghentian Azure Media Services, Azure AI Video Indexer mengumumkan penyesuaian fitur Azure AI Video Indexer. Lihat Perubahan yang terkait dengan penghentian Azure Media Service (AMS) untuk memahami apa artinya ini untuk akun Azure AI Video Indexer Anda. Lihat panduan Mempersiapkan penghentian AMS: Pembaruan VI dan migrasi.

Azure AI Video Indexer adalah aplikasi cloud, bagian dari layanan Azure AI, dibangun di atas layanan Azure AI (seperti Face, Penerjemah, Azure AI Vision, dan Speech). Ini memungkinkan Anda untuk mengekstrak wawasan dari video Anda menggunakan model video dan audio Azure AI Video Indexer.

Azure AI Video Indexer menganalisis konten video dan audio dengan menjalankan 30+ model AI, menghasilkan wawasan yang kaya. Berikut adalah ilustrasi analisis audio dan video yang dilakukan oleh Azure AI Video Indexer di latar belakang:

Diagram alur Azure AI Video Indexer.

Untuk mulai mengekstrak wawasan dengan Azure AI Video Indexer, lihat bagian bagaimana cara memulai .

Apa yang bisa saya lakukan dengan Azure AI Video Indexer?

Wawasan Azure AI Video Indexer dapat diterapkan ke banyak skenario:

  • Pencarian mendalam: Gunakan wawasan yang diekstrak dari video untuk meningkatkan pengalaman pencarian di seluruh perpustakaan video. Misalnya, mengindeks kata yang diucapkan dan wajah dapat memungkinkan pengalaman pencarian menemukan momen dalam video saat seseorang mengucapkan kata-kata tertentu atau saat dua orang terlihat bersama. Pencarian berdasarkan wawasan tersebut dari video berlaku untuk kantor berita, lembaga pendidikan, penyiar, pemilik konten hiburan, aplikasi LOB perusahaan, dan secara umum untuk industri apa pun yang memiliki perpustakaan video yang perlu dicari pengguna.
  • Pembuatan konten: Membuat trailer, menyoroti gulungan, konten media sosial, atau klip berita berdasarkan wawasan yang diekstrak Azure AI Video Indexer dari konten Anda. Keyframe, penanda adegan, dan tanda waktu tampilan orang dan label membuat proses pembuatan lebih lancar dan lebih mudah, memungkinkan Anda untuk dengan mudah sampai ke bagian video yang Anda butuhkan saat membuat konten.
  • Aksesibilitas: Apakah Anda ingin membuat konten Anda tersedia untuk penyandang disabilitas atau jika Anda ingin konten Anda didistribusikan ke berbagai wilayah menggunakan bahasa yang berbeda, Anda dapat menggunakan transkripsi dan terjemahan yang disediakan oleh Azure AI Video Indexer dalam beberapa bahasa.
  • Monetisasi: Azure AI Video Indexer dapat membantu meningkatkan nilai video. Misalnya, industri yang mengandalkan pendapatan iklan (media berita, media sosial, dan sebagainya) dapat menayangkan iklan yang relevan dengan menggunakan wawasan yang diekstrak sebagai sinyal tambahan ke server iklan.
  • Moderasi konten: Gunakan model moderasi konten tekstual dan visual untuk menjaga pengguna Anda tetap aman dari konten yang tidak pantas dan memvalidasi konten yang Anda terbitkan cocok dengan nilai organisasi Anda. Anda dapat memblokir video tertentu secara otomatis atau memberi tahu pengguna tentang konten tersebut.
  • Rekomendasi: Wawasan video dapat digunakan untuk meningkatkan keterlibatan pengguna dengan menyoroti momen video yang relevan kepada pengguna. Dengan menandai setiap video dengan metadata tambahan, Anda dapat merekomendasikan kepada pengguna video yang paling relevan dan menyoroti bagian video yang sesuai dengan kebutuhan mereka.

Fitur AI video/audio

Daftar berikut menunjukkan wawasan yang dapat Anda ambil dari file video/audio menggunakan fitur AI video dan audio Pengindeks Video Azure AI (model).

Kecuali ditentukan sebaliknya, model umumnya tersedia.

Model video

  • Deteksi wajah: Mendeteksi dan mengelompokkan wajah yang muncul dalam video.

  • Identifikasi selebriti: Mengidentifikasi lebih dari 1 juta selebriti—seperti pemimpin dunia, aktor, seniman, atlet, peneliti, bisnis, dan pemimpin teknologi di seluruh dunia. Data tentang selebriti ini juga dapat ditemukan di berbagai situs web (IMDB, Wikipedia, dan sebagainya).

  • Identifikasi wajah berbasis akun: Melatih model untuk akun tertentu. Kemudian mengenali wajah dalam video berdasarkan model terlatih. Untuk informasi selengkapnya, lihat Mengkustomisasi model Orang dari situs web Azure AI Video Indexer dan Mengkustomisasi model Orang dengan API Pengindeks Video Azure AI.

  • Ekstraksi gambar mini untuk wajah: Mengidentifikasi wajah yang ditangkap terbaik di setiap kelompok wajah (berdasarkan kualitas, ukuran, dan posisi frontal) dan mengekstraknya sebagai aset gambar.

  • Pengenalan karakter optik (OCR): Mengekstrak teks dari gambar seperti gambar, tanda jalan, dan produk dalam file media untuk membuat wawasan.

  • Moderasi konten visual: Mendeteksi visual dewasa dan/atau agak cabul.

  • Identifikasi label: Mengidentifikasi objek visual dan tindakan yang ditampilkan.

  • Segmentasi adegan: Menentukan kapan adegan berubah dalam video berdasarkan isyarat visual. Sebuah adegan menggambarkan satu peristiwa dan disusun oleh serangkaian tangkapan berurutan, yang terkait secara semantik.

  • Deteksi tangkapan: Menentukan kapan bidikan berubah dalam video berdasarkan isyarat visual. Tangkapan adalah serangkaian bingkai yang diambil dari kamera gambar gerakan yang sama. Untuk informasi selengkapnya, lihat Adegan, bidikan, dan keyframes.

  • Deteksi bingkai hitam: Mengidentifikasi bingkai hitam yang ditampilkan dalam video.

  • Ekstraksi keyframe: Mendeteksi keyframe yang stabil dalam video.

  • Kredit bergulir: Mengidentifikasi awal dan akhir dari kredit bergulir di akhir acara TV dan film.

  • Deteksi jenis bidikan editorial: Bidikan tag berdasarkan jenisnya (seperti tembakan lebar, bidikan sedang, close up, close up ekstrem, dua bidikan, beberapa orang, luar ruangan dan dalam ruangan, dan sebagainya). Untuk mengetahui informasi selengkapnya, lihat Deteksi jenis tangkapan editorial.

  • Pelacakan orang yang diamati (pratinjau): Mendeteksi orang yang diamati dalam video dan memberikan informasi seperti lokasi orang dalam bingkai video (menggunakan kotak pembatas) dan tanda waktu yang tepat (mulai, berakhir) dan keyakinan saat seseorang muncul. Untuk mengetahui informasi selengkapnya, lihat Melacak orang yang diamati dalam video.

    • Orang pakaian yang terdeteksi (pratinjau): Mendeteksi jenis pakaian orang yang muncul dalam video dan memberikan informasi seperti lengan panjang atau pendek, celana panjang atau pendek dan rok atau gaun. Pakaian yang terdeteksi dikaitkan dengan orang-orang yang mengenakannya dan tanda waktu yang tepat (mulai, berakhir) bersama dengan tingkat keyakinan untuk deteksi disediakan. Untuk informasi selengkapnya, lihat pakaian yang terdeteksi.
    • Pakaian unggulan (pratinjau): Mengambil gambar pakaian unggulan yang muncul dalam video. Anda dapat meningkatkan iklan yang ditargetkan dengan menggunakan insight pakaian unggulan. Untuk informasi tentang bagaimana gambar pakaian unggulan diberi peringkat dan cara mendapatkan wawasan, lihat pakaian unggulan.

  • Orang yang cocok (pratinjau): Cocok dengan orang yang diamati dalam video dengan wajah yang sesuai terdeteksi. Pencocokan antara orang yang diamati dan wajah mengandung tingkat keyakinan.

  • Deteksi objek Mendeteksi objek unik yang juga dilacak sehingga jika kembali ke bingkai, objek tersebut dikenali. Lihat Deteksi objek Azure AI Video Indexer

  • Deteksi slate (pratinjau): Mengidentifikasi wawasan pasca-produksi film berikut saat mengindeks video menggunakan opsi pengindeksan tingkat lanjut:

    • Deteksi clapperboard dengan ekstraksi metadata.
    • Deteksi pola digital, termasuk bilah warna.
    • Deteksi slate tanpa teks, termasuk pencocokan adegan.

    Untuk detailnya, lihat Deteksi Slate.

  • Deteksi logo tekstual (pratinjau): Cocok dengan teks tertentu yang telah ditentukan sebelumnya menggunakan OCR Pengindeks Video Azure AI. Misalnya, jika pengguna membuat logo tekstual: "Microsoft", penampilan berbeda dari kata Microsoft akan terdeteksi sebagai logo "Microsoft". Untuk informasi selengkapnya, lihat Mendeteksi logo tekstual.

Model audio

  • Transkripsi audio: Mengonversi ucapan ke teks lebih dari 50 bahasa dan mengizinkan ekstensi. Untuk informasi selengkapnya, lihat Dukungan bahasa Pengindeks Video Azure AI.

  • Deteksi bahasa otomatis: Mengidentifikasi bahasa lisan dominan. Untuk informasi selengkapnya, lihat Dukungan bahasa Pengindeks Video Azure AI. Jika bahasa tidak dapat diidentifikasi dengan percaya diri, Azure AI Video Indexer mengasumsikan bahasa lisannya adalah bahasa Inggris. Untuk informasi selengkapnya, lihat Model identifikasi bahasa.

  • Identifikasi dan transkripsi ucapan multibahasa: Mengidentifikasi bahasa lisan dalam segmen yang berbeda dari audio. Setiap segmen file media dikirim untuk ditranskripsikan dan kemudian transkripsi digabungkan kembali menjadi satu kesatuan transkripsi. Untuk informasi selengkapnya, lihat Mengidentifikasi dan mentranskripsi konten multi-bahasa secara otomatis.

  • Teks tertutup: Membuat teks tertutup dalam tiga format: VTT, TTML, SRT.

  • Dua pemrosesan saluran: Otomatis mendeteksi transkrip terpisah dan menggabungkan ke satu garis waktu.

  • Pengurangan kebisingan: Membersihkan audio telefoni atau rekaman bising (berdasarkan filter Skype).

  • Kustomisasi transkrip (CRIS): Melatih model ucapan ke teks kustom untuk membuat transkrip khusus industri. Untuk informasi selengkapnya, lihat Mengkustomisasi model Bahasa dari situs web Azure AI Video Indexer dan Mengkustomisasi model Bahasa dengan API Pengindeks Video Azure AI.

  • Enumerasi pembicara: Memetakan dan memahami pembicara mana yang mengucapkan kata-kata dan kapan. Enam belas pembicara dapat dideteksi dalam satu file audio.

  • Statistik pembicara: Menyediakan statistik untuk rasio ucapan pembicara.

  • Moderasi konten tekstual: Mendeteksi teks eksplisit dalam transkrip audio.

  • Deteksi emosi berbasis teks: Emosi seperti sukacita, kesedihan, amarah, dan ketakutan yang terdeteksi melalui analisis transkrip.

  • Terjemahan: Membuat terjemahan transkrip audio ke berbagai bahasa. Untuk informasi selengkapnya, lihat Dukungan bahasa Pengindeks Video Azure AI.

  • Deteksi efek audio (pratinjau): Mendeteksi efek audio berikut dalam segmen non-ucapan dari konten: alarm atau sirene, gonggongan anjing, reaksi kerumunan (bersorak, bertepuk tangan, dan mencemooh), tembakan atau ledakan, tawa, pecahan kaca, dan keheningan.

    Peristiwa akustik yang terdeteksi ada dalam file teks tertutup. File dapat diunduh dari situs web Azure AI Video Indexer. Untuk mengetahui informasi selengkapnya, lihat Pendeteksi Efek Audio.

    Catatan

    Rangkaian peristiwa lengkap hanya tersedia ketika Anda memilih Analisis Audio Tingkat Lanjut saat mengunggah file, dalam preset unggah. Secara default, hanya keheningan yang terdeteksi.

Model audio dan video (multi-saluran)

Saat mengindeks oleh satu saluran, hasil parsial untuk model tersebut tersedia.

  • Ekstraksi kata kunci: Mengekstrak kata kunci dari teks ucapan dan visual.
  • Ekstraksi entitas bernama: Mengekstrak merek, lokasi, dan orang dari teks ucapan dan visual melalui pemrosesan bahasa alami (NLP).
  • Inferensi topik: Mengekstrak topik berdasarkan berbagai kata kunci (yaitu, kata kunci 'Bursa Efek', 'Wall Street' menghasilkan topik 'Ekonomi'). Model ini menggunakan tiga ontologi yang berbeda (IPTC, Wikipedia, dan Ontologi topik hierarki Video Indexer). Model ini menggunakan transkripsi (kata-kata yang diucapkan), konten OCR (teks visual), dan selebriti yang dikenali dalam video menggunakan model pengenalan wajah Video Indexer.
  • Artefak: Mengekstrak sekumpulan artefak "tingkat detail berikutnya" yang kaya untuk masing-masing model.
  • Analisis sentimen: Mengidentifikasi sentimen positif, negatif, dan netral dari teks ucapan dan visual.

Bagaimana cara memulai Azure AI Video Indexer?

Pelajari cara mulai menggunakan Azure AI Video Indexer.

Setelah Anda menyiapkan, mulai gunakan wawasan dan lihat panduan Cara lainnya.

Kepatuhan, privasi, dan keamanan

Catatan

Pada 11 Juni 2020, Microsoft mengumumkan bahwa mereka tidak akan menjual teknologi pengenalan wajah ke departemen kepolisian di Amerika Serikat sampai peraturan yang kuat, yang didasarkan pada hak asasi manusia, telah diberlakukan. Dengan demikian, pelanggan tidak boleh menggunakan fitur pengenalan wajah atau fungsionalitas yang disertakan dalam layanan Azure AI, seperti Pengindeks Wajah atau Video, jika pelanggan, atau mengizinkan penggunaan layanan tersebut oleh atau untuk, departemen kepolisian di Amerika Serikat.

Catatan

Akses fitur identifikasi wajah, kustomisasi, dan pengenalan selebriti dibatasi berdasarkan kriteria kelayakan dan penggunaan untuk mendukung prinsip AI yang Bertanggung Jawab. Fitur identifikasi wajah, kustomisasi, dan pengenalan selebriti hanya tersedia untuk pelanggan dan mitra terkelola Microsoft. Gunakan formulir pengambilan Pengenalan Wajah untuk mengajukan akses.

Sebagai pengingat penting, Anda harus mematuhi semua hukum yang berlaku dalam penggunaan Pengindeks Video Azure AI, dan Anda tidak boleh menggunakan Pengindeks Video Azure AI atau layanan Azure apa pun dengan cara yang melanggar hak orang lain, atau yang mungkin berbahaya bagi orang lain.

Sebelum mengunggah video/gambar apa pun ke Azure AI Video Indexer, Anda harus memiliki semua hak yang tepat untuk menggunakan video/gambar, termasuk, jika diwajibkan oleh hukum, semua persetujuan yang diperlukan dari individu (jika ada) dalam video/gambar, untuk penggunaan, pemrosesan, dan penyimpanan data mereka di Azure AI Video Indexer dan Azure. Beberapa yurisdiksi dapat memberlakukan persyaratan hukum khusus untuk pengumpulan, pemrosesan online, dan penyimpanan kategori data tertentu, seperti data biometrik. Sebelum menggunakan Azure AI Video Indexer dan Azure untuk pemrosesan dan penyimpanan data apa pun yang tunduk pada persyaratan hukum khusus, Anda harus memastikan kepatuhan terhadap persyaratan hukum tersebut yang mungkin berlaku untuk Anda.

Untuk mempelajari tentang kepatuhan, privasi, dan keamanan di Azure AI Video Indexer, kunjungi Pusat Kepercayaan Microsoft. Untuk kewajiban privasi, penanganan data, dan praktik retensi Microsoft, termasuk cara menghapus data Anda, tinjau Pernyataan Privasi Microsoft, Ketentuan Layanan Online ("OST"), dan Adendum Pemrosesan Data ("DPA"). Dengan menggunakan Azure AI Video Indexer, Anda setuju untuk terikat oleh OST, DPA, dan Pernyataan Privasi.