Bagikan melalui

Azure AI Video Indexer diaktifkan oleh Arc

Azure AI Video Indexer yang diaktifkan oleh Arc adalah layanan yang diaktifkan ekstensi Azure Arc yang menjalankan analisis video dan audio dan AI generatif di perangkat edge. Solusi ini berjalan pada Azure Arc yang diaktifkan pada Kubernetes, mendukung banyak format video, dan mengasumsikan bahwa satu sumber daya Video Indexer sesuai dengan satu ekstensi. Ini mentranskripsikan konten lisan dalam lebih dari 35 bahasa sumber dan menerjemahkannya ke bahasa Inggris. Untuk daftar lengkap bahasa yang didukung, lihat Bahasa yang didukung per skenario.

Jika Anda belum terbiasa dengan Azure AI Video Indexer, kami sarankan Anda membiaskan diri dengan layanan cloud terlebih dahulu.

Selain itu, sebelum Anda mulai bekerja dengan Azure AI Video Indexer yang diaktifkan oleh Arc, tinjaulah catatan transparansi untuk memahami batasan penggunaan.

Penting

Agar berhasil menyebarkan ekstensi Azure AI Video Indexer, anda harus menyetujui ID langganan Azure Anda terlebih dahulu. Anda harus terlebih dahulu mendaftar menggunakan formulir di Aplikasi untuk layanan yang terjaga.

Apa itu Azure Arc dan Kubernetes yang didukung Azure Arc?

Azure Arc menyederhanakan tata kelola dan pengelolaan lingkungan kompleks yang mencakup pusat data, berbagai cloud, dan edge dengan menghadirkan platform manajemen multicloud dan on-premise yang konsisten.

Azure Arc-enabled Kubernetes memungkinkan Anda untuk menautkan kluster Kubernetes yang berjalan di mana saja sehingga Anda dapat mengelola dan mengonfigurasinya di Azure. Dengan mengelola semua sumber daya Kubernetes dalam satu sarana kontrol, Anda dapat mengaktifkan pengalaman pengembangan dan operasi yang lebih konsisten untuk menjalankan aplikasi cloud-native di mana saja dan di platform Kubernetes apa pun.

Ketika agen Azure Arc diterapkan ke kluster, koneksi keluar ke Azure diinisiasi, menggunakan SSL standar industri untuk mengamankan data saat transmisi.

Setelah klaster terhubung ke Azure, mereka ditampilkan sebagai sumber daya sendiri di Azure Resource Manager (ARM), dan dapat diatur menggunakan grup sumber daya dan penandaan.

Untuk informasi selengkapnya tentang Kubernetes dengan dukungan Azure Arc dan Arc, lihat Gambaran umum Azure Arc dan Apa itu Kubernetes dengan dukungan Azure Arc?

Apa itu ekstensi Azure Arc?

Ekstensi mesin virtual (VM) adalah aplikasi kecil yang menyediakan konfigurasi pasca-penyebaran dan tugas otomatisasi pada VM Azure. Sebagai contoh, jika sebuah mesin virtual memerlukan instalasi perangkat lunak, perlindungan anti-virus, atau untuk menjalankan skrip di dalamnya, ekstensi VM dapat digunakan. Untuk informasi selengkapnya tentang ekstensi, lihat Manajemen ekstensi komputer virtual dengan server dengan dukungan Azure Arc.

Ekstensi Azure AI Video Indexer menginstal dan menerapkan Azure AI Video indexer ke klaster Kubernetes.

Azure AI Video Indexer yang diaktifkan oleh Arc hanya mendukung akun Azure Resource Manager. Operasi Manajer Sumber Daya dipisahkan dari operasi wawasan video. Desain ini memungkinkan Anda melakukan analisis pada perangkat edge Anda tanpa perlu mengunggah aset media ke Azure.

Ekstensi hanya didukung dalam skenario mode koneksi langsung . Meskipun semua pemrosesan dilakukan di lingkungan edge, informasi plane kontrol dikirim ke cloud untuk keperluan penagihan dan pemantauan. Versi ekstensi baru diunduh dari cloud. Tidak ada data pelanggan, seperti video apa yang diindeks atau wawasan yang diindeks, yang dikirim dari lokasi edge ke cloud.

Model bahasa

Model bahasa Phi sudah termasuk dan otomatis terhubung dengan ekstensi VI Anda. Anda dapat mulai menggunakannya segera. Untuk informasi lebih lanjut tentang penggunaan model bahasa dengan VI, lihat:

Lihat juga catatan transparansi untuk merangkum teks dengan VI yang diaktifkan oleh Arc mengenai persyaratan perangkat keras, batasan, dan masalah yang diketahui.

Kasus penggunaan

  • Tata kelola data – Anda dapat membawa AI ke konten, bukan sebaliknya. Gunakan Pengindeks Video Azure AI yang diaktifkan oleh Arc saat Anda tidak dapat memindahkan konten terindeks dari lokal ke cloud karena:
    • Peraturan
    • Keputusan arsitektur
    • Karena penyimpanan data terlalu besar, memindahkan dan menyesuaikan menjadi upaya yang signifikan.
  • Alur kerja lokal – Proses pengindeksan Anda adalah bagian dari alur kerja lokal, dan Anda ingin menurunkan latensi durasi pengindeksan yang memengaruhi alur.
  • Pra-pengindeksan – Anda ingin mengindeks sebelum mengunggah konten ke cloud. Untuk menciptakan kejelasan, Anda dapat melakukan prapenyusunan arsip video atau audio di tempat Anda terlebih dahulu, dan kemudian hanya mengunggahnya untuk pengindeksan standar atau lanjutan di cloud.

Contoh penerapan

Diagram berikut menunjukkan ekstensi Azure AI Video Indexer yang berjalan pada Azure Arc. Ada tiga jenis:

  1. Toko tipe A menggunakan baik preset visual maupun audio.
  2. Toko tipe B hanya menggunakan preset visi. Ini juga memiliki model kustom. Untuk informasi selengkapnya tentang menggunakan model kustom dengan Azure AI Video Indexer yang diaktifkan oleh Arc, lihat Membawa model AI Anda Sendiri.
  3. Toko C hanya menggunakan preset audio.

Ekstensi disimpan pada setiap perangkat edge dan setiap perangkat terkait dengan satu akun Azure AI Video Indexer yang berinteraksi dengan Azure Arc dan cloud.

Diagram memperlihatkan ekstensi VI Arc yang berjalan di Azure arc.

Prasetel AI yang Didukung

Azure AI Video Indexer yang diaktifkan oleh Arc mendukung preset pengindeksan berikut:

Modél Video Dasar Audio dasar Video dan audio dasar
Transkripsi ✔ ✔
Terjemahan ✔ ✔
Captioning ✔ ✔
Deteksi bingkai kunci ✔ ✔
Deteksi objek ✔ ✔
Deteksi adegan ✔ ✔
Deteksi bidikan ✔ ✔
Ringkasan ✔ ✔ ✔

Persyaratan perangkat keras minimum

Video Indexer yang diaktifkan oleh Arc dirancang untuk berjalan pada lingkungan Kubernetes yang diaktifkan Arc.

Catatan

Tabel berikut mencakup persyaratan minimum untuk lingkungan produksi. Kami merekomendasikan setidaknya kluster dua node untuk ketersediaan tinggi dan skalabilitas. Pengaturan yang direkomendasikan merujuk pada pengaturan seluruh kluster. Jadi, misalnya, jika Anda memiliki dua node, setiap node harus memiliki 16 inti dan 32 GB RAM. Kami merekomendasikan untuk membuat kolam node khusus atau kelompok penyesuaian otomatis untuk menampung solusi VI.

Konfigurasi Jumlah mesin virtual Jumlah inti CPU Node RAM Node Penyimpanan node Catatan
Sekurang-kurangnya Satu 32 Core 64 GB 50 GB Kebutuhan penyimpanan perlu mendukung ReadWriteMany Storage Class
Direkomendasikan Dua 48-64 Cores 256 GB 100 GB Kebutuhan penyimpanan perlu mendukung ReadWriteMany Storage Class

Persyaratan perangkat lunak minimum

Komponen Persyaratan minimum
Sistem operasi Ubuntu 22.04 LTS atau Sistem Operasi yang Kompatibel dengan Linux
Kubernetes 1.29
Azure CLI (antarmuka baris perintah Azure) 2.64.0

Persyaratan jaringan

Gunakan informasi berikut untuk mengonfigurasi pengaturan firewall.

Persyaratan firewall

Ikuti petunjuk di persyaratan jaringan Kubernetes dengan dukungan Azure Arc.

Selain itu, tambahkan *.azureedge.net dan *.data.microsoft.com.

Untuk Video Indexer yang diaktifkan oleh ekstensi Arc, tambahkan titik akhir ini:

Titik akhir (DNS) Deskripsi
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Digunakan untuk registri kontainer untuk kontainer telemetri
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Digunakan untuk telemetri
api.videoindexer.ai Digunakan untuk validasi token akses

Ringkasan titik akhir dan port yang diperlukan

Aktifkan titik akhir dan port berikut.

Azure Arc Services (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Layanan OBO Azure Arc (port HTTPS kustom)

  • *.obo.arc.azure.com:8084

Azure File Storage (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Catatan

Saat Anda menggunakan AKS dengan driver Azure Files CSI untuk memasang share sebagai volume persisten, buka port 139 dan 445 untuk berbagi file tertentu.

Telemetri (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Format dan codec input yang didukung

Bagian berikut mencantumkan format masukan dan codec yang didukung untuk Azure AI Video Indexer yang diaktifkan oleh Arc.

Format video

  • AVI (.avi)
  • FLV (dengan kodek H.264 dan AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (format berkas .wav)
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Codec Video

  • AVC 8-bit/10-bit, hingga 4:2:2, termasuk AVCIntra
  • Digital video (DV) (dalam berkas AVI)
  • DVCPro/DVCProHD (dalam wadah MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (hingga Profil 422 dan Tingkat Tinggi; termasuk varian seperti Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs®, dan D10)
  • MPEG-4 Bagian 2
  • VC-1/WMV9

Codec audio hingga dua jalur

  • AAC (AAC-LC, AAC-HE, dan AAC-HEv2)
  • FLAC
  • Lapisan MPEG 2
  • MP3 (Lapisan Audio MPEG-1 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Bawa model Anda sendiri

Azure AI Video Indexer yang didukung oleh Arc juga mendukung penggunaan model Anda sendiri. Untuk informasi selengkapnya, lihat artikel Bring Your Own Model (BYO).

Keterbatasan

  • Ukuran file yang didukung untuk pengindeksan adalah hingga 2 GB.
  • Azure AI Video Indexer yang diaktifkan oleh Arc tidak mendukung pengunggahan dan pengindeksan video dengan resolusi 1920x1080 atau lebih tinggi.
  • Tingkatkan ekstensi:
    • Dukungan untuk ekstensi hanya berlaku untuk versi terbaru.
    • Kami merekomendasikan untuk mengatur properti auto-upgrade menjadi true. Pengaturan ini memastikan ekstensi tetap diperbarui.
    • Jika pengaturan peningkatan otomatis diatur ke false, Anda harus meningkatkan versinya secara bertahap. Melompat antar versi dapat menyebabkan proses pengindeksan gagal.
  • Setelah penginstalan atau peningkatan ekstensi, harapkan durasi proses terjemahan indeks \pertama lebih lama dari biasanya. Durasi yang lebih lama disebabkan oleh pengunduhan gambar model AI. Durasi bervariasi tergantung pada kecepatan jaringan.
  • Hanya satu ekstensi Video Indexer yang dapat disebarkan per kluster Kubernetes dengan dukungan Arc.
  • Kinerja volume kluster (berdasarkan kelas penyimpanan) memiliki pengaruh signifikan terhadap durasi perputaran pekerjaan pengindeksan, terutama karena ekstraksi bingkai menulis semua bingkai ke dalam volume.
  • Hanya token akses ekstensi yang didukung. Anda dapat memperoleh token akses ekstensi dari API/CLI. Untuk contoh mendapatkan token akses, lihat Cara mengakses ekstensi.
  • Pesan kesalahan video tidak disimpan karena batasan memori.

Penyimpanan Kontainer Azure didukung oleh Arc

Kami merekomendasikan agar Anda menggunakan Azure Container Storage yang diaktifkan oleh Azure Arc untuk penyimpanan. Untuk informasi lebih lanjut, baca artikel berikut:

Konten terkait