Menggunakan ringkasan tekstual

Artikel ini memperlihatkan kepada Anda cara menggunakan ringkasan tekstual dengan Azure AI Video Indexer. Contoh ini menggunakan penyebaran model Azure OpenAI.

Catatan

Fitur ini hanya berfungsi dengan akun berbayar. Buat akun berbayar.

Prasyarat

Tinjau ikhtisar ringkasan tekstual dan prasyarat berikut.

Awan

• Akun berbayar Azure AI Video Indexer yang tersambung ke akun Azure OpenAI.

• Akses yang diberikan ke Azure OpenAI dalam langganan Azure yang diinginkan. Saat ini, akses ke layanan ini akan diberikan oleh aplikasi. Untuk informasi selengkapnya tentang cara mengajukan permohonan akses ke Azure OpenAI, lihat Akses terbatas untuk Azure OpenAI Service.

• Penyebaran Azure OpenAI GPT-35-Turbo, GPT-4, GPT-4o, atau GPT-4O-mini. Untuk mendapatkan manfaat dari ringkasan berbasis keyframe, Anda harus memilih model Azure OpenAI yang menerima input visual. Untuk informasi selengkapnya, lihat model Azure OpenAI Service.

• Filter Prompt Shields untuk serangan langsung (jailbreak) harus ditambahkan ke dalam penerapan. Baca selengkapnya di sini: Gunakan filter konten (pratinjau) dengan Azure OpenAI Service.

• Kami menyarankan agar Anda mengonfigurasi filter konten berbahaya untuk kategori seperti "Kekerasan," "Kebencian," "Seksual," dan "Bahaya diri sendiri." Meskipun filter ini tidak wajib, Anda harus mengaturnya ke "Sedang" atau "Rendah" untuk memfilter konten setidaknya tingkat bahaya Sedang. Pengaturan ini memastikan bahwa konten dengan peringkat bahaya sedang atau lebih tinggi diblokir. Untuk meningkatkan keamanan, Anda dapat memilih pengaturan yang lebih ketat. Setelah dikonfigurasi, simpan pengaturan filter konten.

• Video yang diunggah ke pustaka Azure AI Video Indexer Anda.

Catatan

Pengindeks Video Azure AI tidak dapat tersambung ke model yang disempurnakan.

Perangkat Edge

Azure AI Video Indexer yang diaktifkan oleh Arc memungkinkan Anda menggunakan Azure AI Video Indexer di perangkat edge. Berikut ini adalah persyaratan teknis untuk kasus penggunaan ini:

• Video Indexer diaktifkan dengan Arc versi 1.1.23 atau yang lebih tinggi.
• Persyaratan perangkat keras: GPU atau CPU Intel. Kami tidak menyarankan untuk berjalan pada CPU karena kecepatan lambat. Sebaiknya gunakan GPU Nvidia V100 atau yang lebih tinggi. Jika ada beberapa simpul GPU, Anda dapat menambahkan pemilih simpul untuk memilih simpul yang diinginkan.
• Menggunakan keyframe sebagai bagian dari ringkasan memerlukan Nvidia A100 atau lebih tinggi.
• Ringkasan Video Tekstual di tepi hanya menggunakan model Phi3.5. Untuk informasi perangkat keras lainnya, lihat informasi rilis resmi Phi 3.5.

Membuka halaman web di browser Anda

Lebih mudah untuk mengikuti instruksi ini jika Anda sudah membuka halaman web yang diperlukan. Salin dan tempel parameter berikut ke editor teks favorit Anda. Berikut adalah daftar untuk memulai:

• ID akun VI:
• ID video file:
• Nama Penyebaran:
• token akses:

1. Buka portal Azure dalam satu tab atau jendela, dan masuk.
   1. Navigasi ke halaman akun Azure AI Video Indexer untuk ID akun.
   2. Menavigasi ke halaman akun Azure OpenAI
      1. Dari menu, pilih Penyebaran model, lalu pilih Kelola penyebaran. Azure OpenAI Studio terbuka. Salin Nama Penyebaran yang ingin Anda gunakan.
2. Buka portal web Azure AI Video Indexer di tab atau jendela lain dan masuk.
   1. Navigasi ke halaman pustaka, pilih video, lalu klik kanan untuk ID file video.
3. Buka AZURE AI Video Indexer API di tab atau jendela lain dan masuk.

Web

Membuat ringkasan teks dengan atau tanpa keyframe

Anda dapat menggunakan portal web Azure AI Video Indexer untuk meringkas teks.

1. Jika Anda belum membuka portal web, buka Azure AI Video Indexer web portal.
2. Unggah file dan tunggu hingga diindeks.
3. Pilih video untuk menavigasi ke halaman media.
4. Jika Anda ingin menggunakan keyframe untuk menghasilkan ringkasan, pilih opsi Sertakan wawasan keyframe visual untuk mendapatkan ringkasan kualitas yang lebih baik .
5. Pilih Hasilkan ringkasan. Ringkasan tekstual dihasilkan.

Catatan

Jika Anda tidak melihat tombol Buat ringkasan, Anda mungkin menggunakan akun uji coba. Untuk menggunakan fitur ini, buat akun standar.

Kustomisasi ringkasan

Setelah ringkasan dibuat, Anda dapat membuat penyesuaian dengan menyesuaikan gaya ringkasan atau mengubah penyebaran model.

Kustomisasi gaya ringkasan

Anda juga dapat menyesuaikan ringkasan dengan memilih ikon Sesuaikan ringkasan . Anda dapat memilih dari panjang ringkasan Pendek, Sedang, atau Panjang , dan Anda dapat memilih Netral, Kasual, atau Formal sebagai gaya ringkasan. Setelah Anda membuat pilihan, pilih Buat lagi.

Mengubah penyebaran model

1. Pilih ikon Sesuaikan ringkasan.
2. Pilih penyebaran model yang ingin Anda gunakan dari daftar dropdown Penyebaran Model.
3. Pilih Buat lagi.

Catatan

Ingatlah bahwa penyebaran model adalah kombinasi dari model dan filter. Selain itu, setiap kali Anda menyesuaikan ringkasan teks, ringkasan tersebut mewakili permintaan API PUT.

API

Membuat ringkasan video

Membuat token akses

Buat token akses di portal Azure:

1. Navigasi ke akun Azure AI Video Indexer Anda.
2. Dari menu, pilih Manajemen lalu Api Manajemen.
3. Dari menu dropdown Jenis izin , pilih Kontributor.
4. Dari menu dropdown Cakupan , pilih Akun.
5. Pilih Hasilkan. Token akses dihasilkan.
6. Salin token akses ke clipboard Anda.

Anda harus memiliki semua parameter yang diperlukan untuk membuat ringkasan video yang siap digunakan di editor teks Anda.

1. Pada halaman AZURE AI Video Indexer API, cari ringkasan.
2. Pilih tombol Coba di samping Buat Ringkasan Video. Jendela parameter API terbuka.
3. Tempelkan token akses di clipboard Anda ke bidang accessToken .
4. Pilih lokasi dari daftar lokasi.
5. Salin dan tempel ID akun VI di bidang accountId .
6. Salin ID file video dan tempelkan ke bidang videoId .
7. Pilih panjang ringkasan dari daftar dropdown panjang, sedang, pendek, atau panjang.
8. Pilih gaya, netral, kasual, atau formal, dari style dropdown list.
9. Pilih Kirim.

Dalam respons, ada ID ringkasan. Salin ID tersebut ke clipboard Anda.

Mengkustomisasi ringkasan video tekstual

Sesuaikan ringkasan tekstual dengan parameter opsional addToEndOfSummaryInstructions ke API Buat Ringkasan Video. Gunakan parameter ini untuk meningkatkan ringkasan tekstual video Anda dengan menyertakan informasi tambahan dalam bahasa alami. Misalnya, Anda dapat menggunakannya untuk menyertakan informasi tentang orang yang muncul, topik umum yang dibahas, dan merek yang disebutkan dalam video.

Menyesuaikan ringkasan Anda memastikan bahwa ringkasan video Anda komprehensif dan disesuaikan dengan kebutuhan Anda.

Untuk mengkustomisasi ringkasan:

1. Akses API Video Indexer. Anda perlu melakukan panggilan POST ke API Buat Ringkasan Video.
2. Tambahkan parameter addToEndOfSummaryInstructions. Sertakan &addToEndOfSummaryInstructions=["Your prompt"] parameter dalam URL saat melakukan panggilan POST. Parameter ini bersifat opsional dan dapat digunakan untuk menambahkan informasi tambahan ke ringkasan. "Perintah Anda" adalah informasi tambahan yang ingin Anda sertakan dalam ringkasan.
3. URL mengodekan parameter. Pastikan informasi tambahan dikodekan URL. Misalnya, jika Anda ingin menambahkan "orang atau selebriti yang dikenal muncul dalam video, topik umum video, dan semua merek yang disebutkan di dalamnya", gunakan: &addToEndOfSummaryInstructions=the+known+people+or+celebrities+appearing+in+the+video+the+general+topics+of+the+video+and+all+of+the+brands+mentioned+in+it.

Berikut adalah contoh cara menggunakan addToEndOfSummaryInstructions parameter:

POST
https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/Summaries/Textual?deploymentName={deploymentName}&includedFrames={None/Keyframes}&addToEndOfSummaryInstructions=the+known+people+or+celebrities+appearing+in+the+video+the+general+topics+of+the+video+and+all+of+the+brands+mentioned+in+it

Contoh panggilan postingan menghasilkan ringkasan yang diakhir dengan konten seperti:

Known people or celebrities appearing in the video: Satya Nadella
General topics: Technology, Microsoft Build Keynotes, AI, GenAI
Brands mentioned: Microsoft, Phi Models.

Mendapatkan ringkasan video

Pertama, periksa status ringkasan. Hingga pekerjaan ringkasan selesai, nilai status menunjukkan "Pemrosesan," tetapi tidak ada ringkasan dalam respons. Ketika pekerjaan merangkum selesai, ringkasan tersebut ditampilkan dalam respons.

1. Pilih DAPATKAN Ringkasan Video.
2. Masukkan ID akun, ID video, ID ringkasan, dan token akses ke bidang yang sesuai.
3. Pilih Kirim.

Catatan

Selalu ada penafian yang tersedia dalam respons tentang ringkasan tersebut. Selain itu, ada tautan ke API status pekerjaan di header Lokasi.

Mencantumkan ringkasan video

Anda dapat mencantumkan ringkasan video menurut halaman. Pilih Dapatkan Daftar Ringkasan Video dan gunakan parameter yang sama yang sudah dijelaskan. Jika ada daftar ringkasan yang besar, gunakan parameter halaman untuk mengembalikan respons di halaman. Gunakan ID ringkasan untuk permintaan GET Video Summary.

Menghapus ringkasan video

Menghapus ringkasan video semampu memilih Del Hapus Ringkasan Video, menggunakan parameter yang sama, dan memilih Kirim.

Kode kesalahan

Permintaan	Kode status	Pesan kesalahan	Jenis Kesalahan	Alasan	Mitigasi
Buat Ringkasan Video	400	Akun tidak tersambung ke Azure OpenAI	MASUKAN_TIDAK_VALID		Buka portal Azure dan sambungkan Akun.
Buat Ringkasan Video	400	Tidak ada deployment yang ditemukan dengan nama ini: {deploymentName}	MASUKAN_TIDAK_VALID		Periksa string nama penyebaran.
Buat Ringkasan Video	400	Model ini tidak mendukung pembuatan ringkasan.	MASUKAN_TIDAK_VALID		Pilih model lain
Buat Ringkasan Video	400	Tidak dapat menghasilkan ringkasan karena model AI harus menambahkan filter konten untuk menghindari menampilkan konten berbahaya. " + $"Tambahkan kebijakan berikut: {string.Join(",", Enum.GetValues<FilterType>().Where(type => type != FilterType.JailBreak))}." + $"Atur AllowedContentLevel ke setidaknya {AllowedContentLevel.Medium} untuk kedua sumber {FilterSource.Prompt} dan {FilterSource.Completion}"	FILTER_RINGKASAN_TIDAK_DITEMUKAN		Lihat pesan kesalahan.
Buat Ringkasan Video	400	Video tak ditemukan	VIDEO_TIDAK_DITEMUKAN
Buat Ringkasan Video	400	Pengindeksan video belum berhasil diselesaikan	VIDEO_SEDANG_BERLANGSUNG
Buat Ringkasan Video	400	Nilai panjang ringkasan '{length}' tidak valid	MASUKAN_TIDAK_VALID
Buat Ringkasan Video	400	Nilai gaya ringkasan '{style} tidak valid	MASUKAN_TIDAK_VALID
Dapatkan-Ringkasan-Video	200	NA	NA
Dapatkan-Ringkasan-Video	404	Ringkasan '{summaryId}' tidak ditemukan untuk video '{videoId}'	TIDAK_DITEMUKAN
Dapatkan-Ringkasan-Video	200	Tidak dapat menghasilkan ringkasan karena konten video ditandai sebagai berbahaya. Untuk detailnya, lihat Filter konten.	NA	Semua bagian dalam video telah memicu filter konten.	Tidak ada solusi untuk video tertentu.
Dapatkan-Ringkasan-Video	200	Informasi tidak cukup untuk menghasilkan ringkasan.	NA	Insight video tidak berisi informasi yang cukup untuk membuat prompt untuk Azure OpenAI.	Jika preset video tidak berisi semua model, maka mengindeksa ulang dengan preset yang lebih canggih yang berisi audio mungkin membantu.
Dapatkan-Ringkasan-Video	200	Tidak dapat memperoleh penyebaran Azure OpenAI untuk sumber daya {_resourceName}
Dapatkan-Ringkasan-Video	200	Penyebaran {DeploymentName} tidak ada
Dapatkan-Ringkasan-Video	200	Azure OpenAI tidak dapat dijangkau. Coba jalankan ringkasan lagi nanti.			Silakan coba pekerjaan peringkasan lagi nanti.
Buat Ringkasan Video				Tidak ada penetapan peran
Dapatkan-Ringkasan-Video				Tidak ada penetapan peran

Pemecahan Masalah

Sebelum mencari solusi tertentu, pastikan Anda membuat sumber daya di bagian Prasyarat dokumen.

Perintah 'Hasilkan Ringkasan' tidak muncul

Akun Azure OpenAI Anda mungkin salah tersambung ke akun Azure AI Video Indexer Anda.

Tidak dapat menghasilkan ringkasan

• Anda perlu menambahkan filter konten ke penyebaran untuk menghindari menampilkan konten berbahaya. Kembali ke studio Azure OpenAI dan tambahkan filter ke penyebaran Anda.
• Anda membuat filter konten permisif untuk konten yang memiliki konten sensitif atau berbahaya. Filter konten harus setidaknya tingkat sedang. Jika Anda mengatur filter konten ke tingkat Sedang dan konten berbahaya tetap ada di video, filter akan dipicu. Dalam hal ini, tidak ada solusi.
• Anda tidak meminta transkrip atau mungkin tidak ada cukup informasi yang dihasilkan selama proses pengindeksan.
• Anda mungkin menggunakan preset tingkat lanjut.
• Video mungkin tidak memiliki cukup audio di dalamnya untuk membuat transformasi.

Tidak dapat menggunakan penyebaran model atau penyebaran model tidak ada

• Anda tidak membuat penyebaran.
• Seseorang mengubah atau menghapus model yang disebarkan.

Pengendalian kecepatan

Mungkin ada terlalu banyak permintaan yang dikirim ke VI. Tunggu beberapa menit dan coba lagi.

Anda menerima kesalahan "filter tidak ditemukan"

Jika Anda mendapatkan kesalahan karena filter tidak ditemukan, Anda akan menerima penjelasan terperinci tentang apa yang hilang. Kesalahan mungkin menyerupai contoh berikut, tetapi mungkin memiliki detail tentang hal-hal lain yang hilang:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Catatan

Filter jailbreak hanya diperlukan saat menggunakan ringkasan berbasis keyframe atau ringkasan reguler, per 1 November 2024.

Untuk mengatasi masalah jailbreak:

1. Pilih Pergi ke Azure Open AI studio.
2. Pilih Penyebaran.
3. Pilih penerapan yang sedang Anda kerjakan.
4. Pilih Edit.
5. Konfigurasikan filter untuk memiliki setidaknya tingkat Sedang untuk setiap kategori.
6. Terapkan pelindung untuk serangan jailbreak.
7. Pilih Buat Filter.

Pertimbangan lain

Sebaiknya buat akun Azure AI Video Indexer dan Azure OpenAI di wilayah yang sama atau Anda mungkin mengalami masalah performa.