Apa itu Azure AI Video Indexer yang diaktifkan oleh Arc?
Azure AI Video Indexer yang diaktifkan oleh Arc adalah layanan yang diaktifkan ekstensi Azure Arc yang menjalankan analisis video dan audio, dan AI generatif di perangkat edge. Solusi ini dirancang untuk berjalan pada Kubernetes dengan dukungan Azure Arc dan mendukung banyak format video, termasuk MP4 dan format umum lainnya. Ini mendukung beberapa bahasa di semua model dasar terkait audio. Ini mengasumsikan bahwa satu sumber daya Video Indexer dipetakan ke satu ekstensi.
Jika Anda belum terbiasa dengan Azure AI Video Indexer, disarankan agar Anda membiaskan diri dengan layanan cloud terlebih dahulu.
Selain itu, sebelum Anda mulai bekerja dengan Azure AI Video Indexer yang diaktifkan oleh Arc, tinjau catatan transparansi untuk memahami pembatasan penggunaan.
Penting
Agar berhasil menyebarkan ekstensi Azure AI Video Indexer, wajib bahwa id langganan Azure Anda disetujui terlebih dahulu. Anda harus terlebih dahulu mendaftar menggunakan formulir ini.
Apa itu Kubernetes dengan dukungan Azure Arc dan Azure Arc?
Azure Arc menyederhanakan tata kelola dan manajemen lingkungan kompleks yang meluas di seluruh pusat data, beberapa cloud, dan tepi dengan memberikan platform manajemen multi-cloud dan lokal yang konsisten.
Kubernetes dengan dukungan Azure Arc memungkinkan Anda untuk melampirkan kluster Kubernetes yang berjalan di mana saja sehingga Anda dapat mengelola dan mengonfigurasinya di Azure. Dengan mengelola semua sumber daya Kubernetes dalam satu sarana kontrol, Anda dapat mengaktifkan pengalaman pengembangan dan operasi yang lebih konsisten untuk menjalankan aplikasi cloud-native di mana saja dan di platform Kubernetes apa pun.
Saat agen Azure Arc disebarkan ke kluster, koneksi keluar ke Azure dimulai, menggunakan SSL standar industri untuk mengamankan data saat transit.
Setelah kluster terhubung ke Azure, kluster tersebut direpresentasikan sebagai sumber daya mereka sendiri di Azure Resource Manager (ARM), dan dapat diatur menggunakan grup sumber daya dan pemberian tag.
Lihat artikel ini untuk memahami selengkapnya tentang Kubernetes dengan dukungan Azure Arc dan Azure Arc.
Apa itu ekstensi Azure Arc?
Ekstensi komputer virtual (VM) adalah aplikasi kecil yang menyediakan konfigurasi pasca penyebaran dan tugas otomatisasi pada VM Azure. Misalnya, jika komputer virtual memerlukan penginstalan perangkat lunak, perlindungan anti-virus, atau untuk menjalankan skrip di dalamnya, ekstensi VM dapat digunakan. Untuk memahami selengkapnya tentang ekstensi, lihat Manajemen ekstensi komputer virtual dengan server dengan dukungan Azure Arc.
Ekstensi Azure AI Video Indexer menginstal dan menyebarkan pengindeks Azure AI Video ke kluster Kubernetes.
Semua Azure AI Video Indexer yang diaktifkan oleh Arc hanya mendukung akun Azure Resource Manager (ARM). Operasi ARM dipisahkan dari operasi wawasan video. Desain ini memungkinkan Anda untuk melakukan analisis pada perangkat edge Anda tanpa perlu mengunggah aset media Anda ke Azure.
Azure AI Video Indexer yang diaktifkan oleh Arc tidak mendukung akun klasik. Untuk informasi selengkapnya tentang penghentian akun klasik, lihat Mempersiapkan penghentian AMS: Panduan migrasi dan pembaruan VI
Ekstensi hanya didukung dalam skenario mode koneksi langsung. Informasi sarana kontrol dikirim ke cloud, misalnya, pemantauan, penggunaan. Versi ekstensi baru diunduh dari cloud. Tidak ada data pelanggan, seperti video apa yang diindeks, dikirim dari lokasi tepi ke cloud.
Model bahasa
Model bahasa Phi 3 disertakan dan secara otomatis terhubung dengan ekstensi VI Anda. Anda dapat segera mulai menggunakannya. Untuk informasi selengkapnya tentang menggunakan model bahasa dengan VI lihat:
- Menggunakan ringkasan tekstual
- Menggunakan Pengindeks Video Azure AI untuk membuat konten perintah
- Gambaran umum model AI Azure AI Video Indexer Bring Your Own (BYO)
Lihat juga catatan transparansi untuk ringkasan tekstual dengan Vi yang diaktifkan oleh Arc untuk persyaratan perangkat keras, batasan, dan masalah yang diketahui.
Kasus penggunaan
- Tata kelola data – Anda dapat membawa AI ke konten, bukan sebaliknya. Gunakan Pengindeks Video Azure AI yang diaktifkan oleh Arc saat Anda tidak dapat memindahkan konten terindeks dari lokal ke cloud karena:
- peraturan.
- keputusan arsitektur.
- penyimpanan data terlalu besar, membuat lift dan menggeser upaya yang signifikan.
- Alur kerja lokal – Proses pengindeksan Anda adalah bagian dari alur kerja lokal, dan Anda ingin menurunkan latensi durasi pengindeksan yang memengaruhi alur.
- Pra-pengindeksan – Anda ingin mengindeks sebelum mengunggah konten ke cloud. Untuk membuat kejelasan, Anda dapat mempertahankan arsip video dan/atau audio lokal Anda, lalu hanya mengunggahnya untuk pengindeksan standar dan/atau tingkat lanjut di cloud.
Contoh penyebaran
Diagram blok berikut menunjukkan ekstensi Azure AI Video Indexer yang berjalan di Azure Arc. Ada tiga jenis:
- Simpan tipe A menggunakan preset visi dan audio.
- Jenis penyimpanan B hanya menggunakan prasetel penglihatan. Ini juga memiliki model kustom. Untuk informasi selengkapnya tentang menggunakan model kustom dengan Azure AI Video Indexer yang diaktifkan oleh Arc, lihat Membawa model AI Anda Sendiri.
- Store C hanya menggunakan preset audio.
Ekstensi disimpan di setiap perangkat edge dan setiap perangkat dikaitkan dengan satu akun Azure AI Video Indexer yang berinteraksi dengan Azure Arc dan cloud.
Preset AI yang didukung
Azure AI Video Indexer yang diaktifkan oleh Arc mendukung prasetel pengindeksan berikut:
| Model | Video Dasar | Audio Dasar | Video & Audio Dasar |
|---|---|---|---|
| Transkripsi | ✔️ | ✔️ | |
| Terjemahan | ✔️ | ✔️ | |
| Captioning | ✔️ | ✔️ | |
| Deteksi bingkai kunci | ✔️ | ✔️ | |
| OCR | ✔️ | ✔️ | |
| Deteksi objek | ✔️ | ✔️ | |
| Deteksi adegan | ✔️ | ✔️ | |
| Deteksi bidikan | ✔️ | ✔️ | |
| Ringkasan | ✔️ | ✔️ |
Persyaratan perangkat keras minimum
Video Indexer yang diaktifkan oleh Arc dirancang untuk berjalan pada lingkungan Kubernetes yang diaktifkan Arc.
Daftar berikut adalah persyaratan minimum dan yang direkomendasikan jika ekstensi berisi dukungan bahasa tunggal. Jika Anda menginstal beberapa kontainer ucapan dan terjemahan dengan beberapa bahasa, tingkatkan persyaratan perangkat keras yang sesuai.
Catatan
Ini adalah persyaratan minimum untuk lingkungan produksi . Setidaknya kluster 2-node direkomendasikan untuk ketersediaan dan skalabilitas tinggi. Pengaturan yang direkomendasikan mengacu pada pengaturan lebar kluster, jadi misalnya, jika Anda memiliki 2 simpul, setiap simpul harus memiliki 16 core dan RAM 32 GB. Sebaiknya buat kumpulan simpul khusus / grup penskalakan otomatis untuk menghosting Solusi VI.
| Konfigurasi | Jumlah VM | Jumlah Inti CPU Simpul | Ram Simpul | Penyimpanan Simpul | Keterangan |
|---|---|---|---|---|---|
| Minimum | 1 | 32 Core | 64 GB | 50 GB | Penyimpanan perlu mendukung ReadWriteMany Kelas Penyimpanan |
| Direkomendasikan | 2 | 48-64 Cores | 256 GB | 100 GB | Penyimpanan perlu mendukung ReadWriteMany Kelas Penyimpanan |
Persyaratan perangkat lunak minimum
| Komponen | Persyaratan minimum |
|---|---|
| Sistem Operasi | Ubuntu 22.04 LTS atau OS kompatibel Linux apa pun |
| Kubernetes | 1,26 |
| Azure CLI | 2.48.0 |
Format input dan codec yang didukung
Format video
- AVI (.avi)
- FLV (dengan codec H.264 dan AAC) (.flv)
- ISMV (.isma, .ismv)
- Matroska/WebM (.mkv)
- MP4 (.mp4, .m4a, .m4v)
- MXF (.mxf)
- MPEG2-TS
- QuickTime (.mov)
- WAVE/WAV (.wav)
- Webm
- Windows Media Video (WMV)/ASF (.wmv, .asf)
Codec video
Berikut adalah daftar alfabet Anda:
- AVC 8-bit/10-bit, hingga 4:2:2, termasuk AVCIntra
- Video digital (DV) (dalam file AVI)
- DVCPro/DVCProHD (dalam kontainer MXF)
- HEVC/H.265
- MPEG-1
- MPEG-2 (hingga 422 Profil dan Tingkat Tinggi; termasuk varian seperti XDCAM, XDCAM HD, XDCAM IMX, CableLabs®, dan D10)
- MPEG-4 Bagian 2
- VC-1/WMV9
Codec audio hingga dua trek
- AAC (AAC-LC, AAC-HE, dan AAC-HEv2)
- FLAC
- MPEG Layer 2
- MP3 (MPEG-1 Audio Layer 3)
- VORBIS
- WAV/PCM
- Windows Media Audio
Bahasa yang didukung
- Arab (Arab Saudi)
- Arab Mesir
- Tionghoa (Aksara Sederhana)
- Inggris (US)
- Prancis
- Jerman
- Italia
- Spanyol
Bawa model Anda sendiri
Azure AI Video Indexer yang diaktifkan oleh Arc juga mendukung menghadirkan model Anda sendiri. Lihat artikel Bring Your Own Model (BYO) untuk detailnya.
Batasan
- Ukuran file yang didukung untuk pengindeksan hingga 2 GB.
- Meningkatkan ekstensi:
- Dukungan ekstensi hanya berlaku untuk versi terbaru.
- Sebaiknya atur properti tersebut
auto-upgradeketrue. Pengaturan ini terus memperbarui ekstensi. - Jika pengaturan peningkatan otomatis diatur ke false, peningkatan versi harus dilakukan secara bertahap. Melompat antar versi dapat menyebabkan proses pengindeksan gagal.
- Setelah penginstalan atau peningkatan ekstensi, harapkan durasi proses indeks\terjemahan pertama menjadi lebih lama. Durasi yang lebih lama disebabkan oleh unduhan gambar model AI. Durasi bervariasi tergantung pada kecepatan jaringan.
- Hanya satu ekstensi Video Indexer yang dapat disebarkan per kluster Kubernetes dengan dukungan Arc.
- Performa volume kluster (berdasarkan kelas penyimpanan) memiliki pengaruh signifikan pada durasi turnover pekerjaan pengindeksan terutama karena ekstraksi bingkai menulis semua bingkai ke dalam volume).
- Anda hanya dapat menggunakan token akses akun cloud yang diperoleh melalui portal Azure. Token akses video cloud tidak didukung, tetapi dengan API, token akses ekstensi tersedia dan kami mendukung semua jenis.
- Pesan kesalahan video tidak disimpan karena keterbatasan memori.