Pengindeks Video Azure AI dengan perintah LLM

  • Artikel

Gambaran Umum

Pengindeks Video Azure AI terintegrasi dengan Model Bahasa Besar (LLM). LLM adalah model AI bahasa alami yang dapat Anda gunakan untuk mengajukan pertanyaan tentang konten video dan banyak lagi. Ekstrak wawasan Azure AI Video Indexer ke dalam format siap perintah yang dapat dengan mudah digunakan dengan LLM. Tidak perlu mengindeks ulang video untuk membuat format video yang siap diminta.

Kasus Penggunaan

Buat Ringkasan Video: Anda dapat meminta model LLM untuk menghasilkan ringkasan seluruh segmen video atau video. Segmen-segmen tersebut dapat dikombinasikan untuk membuat beberapa jenis ringkasan seperti ringkasan informatif, teaser atau ringkasan lainnya tergantung pada kebutuhan Anda.

Kemampuan pencarian: Dengan mengonversi konten video menjadi format berbasis teks, siap-perintah, Anda dapat melakukan pencarian bahasa alami yang terperinci dalam konten video Anda. Ini dapat secara signifikan meningkatkan kemampuan penemuan dalam pustaka video besar berdasarkan kueri tertentu.

Pembuatan Konten: Anda dapat mengkueri pustaka video untuk momen tertentu dalam video yang terkait dengan emosi atau peristiwa tertentu. Misalnya, Anda dapat mengambil momen 'lucu' atau 'sedih' dari seri video dan menggunakannya untuk membuat promo atau sorotan. Demikian pula, Anda dapat mengambil momen yang terkait dengan peristiwa minat tertentu seperti "gempa bumi masa lalu selama dekade terakhir."

Tujuan Pendidikan: Buat ringkasan dari video kuliah untuk memudahkan siswa meninjau dan memahami materi. Mahasiswa juga dapat mengajukan pertanyaan spesifik terkait materi perkuliahan. Anda dapat merujuk ke bagian yang tepat dari video di mana artikel dibahas membuat pengalaman pembelajaran lebih efisien.

Pengalaman Interaktif: Anda dapat membuat pengalaman interaktif, seperti chatbot berbasis video atau asisten virtual, yang dapat menjawab kueri pengguna berdasarkan konten video.

Cara kerjanya

Agar output siap diminta, video dibagi menjadi bagian koheren yang sesuai dengan esensi video dan ukuran prompt. Bagian dibagi berdasarkan Segmentasi Adegan Pengindeks Video Azure AI dan wawasan lainnya. Hasil konten permintaan dikonsolidasikan dan dihasilkan per segmen secara terpisah. Misalnya:

Wawasan

Tabel berikut berisi wawasan yang digunakan untuk pembuatan perintah.

Wawasan VI Tag dan format
Judul video [Judul video] <judul video>
Deteksi objek [Objek terdeteksi] <objek 1>, <objek 2>, ...
Label [Label visual] <label 1>, <label 2>, ...
OCR [OCR] <ocr cluster1><ocr cluster2> ...
Transkrip dan speaker [Transkrip] <nama> pembicara: <baris> transkrip\n<nama> pembicara: <baris> transkrip\n ...
Wajah [Orang yang dikenal] <wajah 1>, <wajah 2>, ...
Efek audio (AED) [Efek audio] < efek 1>, <efek 2>, ...
Posisi segmen dalam video [Tag] [Awal, Tengah, Akhir, Kredit bergulir]

Membuat konten Prompt untuk video

Gunakan PROMPT Content API pada video terindeks Anda untuk mendapatkan format Prompt-Ready per setiap segmen.

Catatan

Insight konten perintah tunduk pada prasetel tertentu yang digunakan untuk mengindeks video.

Contoh permintaan

Gunakan ID akun AVI dan ID video Anda.

POST https://api.videoindexer.ai/trial/Accounts/{accountId}/Videos/{videoId}/PromptContent

Contoh tanggapan

index
{
  "algoVersion": "2.0.0",
  "schemaVersion": "0.0.1",
  "partition": null,
  "name": "10_best_dressed_grammy",
  "sections": [
    {
      "id": 0,
      "start": "0:00:00",
      "end": "0:00:40.915875",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] necktie\n[Visual labels] human face, clothing, person, woman, suit, wedding dress, dress, indoor, wall, carpet, rug, fashion, lady, long hair, fashion accessory, fashion design\n[OCR] TROPHy, LIFE, SPECIAL, EDITION, news FEED, BY

 CLEVVER, CLEVVER, @NazPerez, BEST DRESSED CELEBS AT 2018 GRAMMYS\n[Transcript] Check out the 10 best dressed celebs from the 2018 Grammy Awards and don't forget to subscribe to our channel to get all the latest celebrity updates.\nFrom white roses to white hot looks, this year's Grammy Awards was a feast of fashion thanks to so many celebs bringing their A game to the show.\nSo let's kick off this list of the best dress from the red carpet, starting with Lady Gaga.\nGaga looked like a gothic Princess in her dramatic all black ball gown.\nThe Armani Preve dress featured A Lacy bodysuit and billowing black skirt with a huge train.\nAga's black heeled boots were also some of the highest we've ever seen, like ever, but we wouldn't expect anything less from Mama Monster.\nAnother look we love from the carpet was Anna Kendrick's sexy suit by Belmont."
    },
    {
      "id": 1,
      "start": "0:00:40.915875",
      "end": "0:01:17.202125",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] remote\n[Visual labels] human face, clothing, person, dress, carpet, rug, fashion, lady, furniture, female person, fashion model, model, haute couture, smile\n[OCR] TROPHy, LIFE, news FEED, BEST DRESSED CELEBS AT 2018 GRAMMYS, D CELEBS AT 2018 GRAMMYS, BEST DRESSED\n[Transcript] Anna gave the structured look a sexy feminine touch by wearing a Lacy strapless top underneath and some pale pink stilettos.\nHer suit may have said business, but her relaxed WAVY hairstyle said I came to get down.\nNext on our list is the literally red hot Camila Cabello.\nCamila was all glitzing glam in her strapless Vivian Westwood gown.\nThat humped her curves perfectly.\nCamila opted to wear her hair up and accessorized with some serious bling, but it's that plunging neckline that has this unable to look away.\nAnother look we loved came courtesy of Miley Cyrus, who absolutely slayed in this black velvet bodysuit.\nMiley looked beyond chic, from her classic Hollywood hairstyle to her glitter heels."
    },
}

Batasan

Fitur prompt dioptimalkan untuk video yang berisi wawasan sebanyak mungkin.