Megosztás a következőn keresztül:

Az Arc által engedélyezett Azure AI Video Indexer

Az Arc által engedélyezett Azure AI Video Indexer egy Azure Arc-bővítményt engedélyező szolgáltatás, amely video- és hangelemzést és generatív AI-t futtat peremeszközökön. A megoldás az Azure Arc-kompatibilis Kubernetesen fut, számos videoformátumot támogat, és feltételezi, hogy egy Video Indexer-erőforrás egy bővítményre van leképezve. Több mint 35 forrásnyelven átírja a beszélt tartalmakat, és lefordítja őket angolra. A támogatott nyelvek teljes listáját forgatókönyvenként a Támogatott nyelvek című témakörben találja.

Ha még nem ismeri az Azure AI Video Indexert, javasoljuk, hogy először ismerkedjen meg a felhőszolgáltatással.

Mielőtt elkezdené használni az Arc által engedélyezett Azure AI Video Indexert, tekintse át az átláthatósági megjegyzést a használati korlátozások megértéséhez.

Fontos

Az Azure AI Video Indexer bővítmény sikeres üzembe helyezéséhez kötelező előzetesen jóváhagyni az Azure-előfizetés azonosítóját. Először regisztrálnia kell az Alkalmazás a korlátozott szolgáltatásokhoz űrlap használatával.

Mi az Az Azure Arc és az Azure Arc-kompatibilis Kubernetes?

Az Azure Arc egy egységes többfelhős és helyszíni felügyeleti platform biztosításával leegyszerűsíti az adatközpontokra, több felhőre és peremhálózatra kiterjedő összetett környezetek szabályozását és kezelését.

Az Azure Arc-kompatibilis Kubernetes lehetővé teszi, hogy bárhová tartozó Kubernetes-fürtöket csatoljon, így kezelheti és konfigurálhatja őket az Azure-ban. Ha az összes Kubernetes-erőforrást egyetlen vezérlősíkon kezeli, konzisztensebb fejlesztési és üzemeltetési élményt biztosít a natív felhőbeli alkalmazások bárhol és bármely Kubernetes-platformon való futtatásához.

Amikor az Azure Arc-ügynököket a fürtre telepítik, kimenő kapcsolat jön létre az Azure-ral, az adatok átvitel közbeni védelmére iparági szabványos SSL-t használva.

Miután a fürtök csatlakoztak az Azure-hoz, saját erőforrásként jelennek meg az Azure Resource Managerben (ARM), és erőforráscsoportok és címkézés használatával rendszerezhetők.

Az Azure Arc és az Arc-kompatibilis Kubernetes szolgáltatással kapcsolatos további információkért tekintse meg az Azure Arc áttekintését és az Azure Arc-kompatibilis Kubernetes használatát?

Mi az Az Azure Arc-bővítmény?

A virtuálisgép-bővítmények kis alkalmazások, amelyek üzembe helyezés utáni konfigurációs és automatizálási feladatokat biztosítanak az Azure-beli virtuális gépeken. Ha például egy virtuális géphez szoftvertelepítésre, vírusvédelemre vagy szkript futtatására van szükség, virtuálisgép-bővítmény használható. További információ a bővítményekről: Virtuálisgép-bővítmények kezelése Azure Arc-kompatibilis kiszolgálókkal.

Az Azure AI Video Indexer bővítmény telepíti és telepíti az Azure AI Video Indexert a Kubernetes-fürtön.

Az Arc által engedélyezett Azure AI Video Indexer csak az Azure Resource Manager-fiókokat támogatja. A Resource Manager-műveletek elválasztva vannak a videóelemzési műveletektől. Ez a kialakítás lehetővé teszi, hogy elemzést végezzen a peremeszközökön anélkül, hogy fel kellene töltenie a médiaeszközöket az Azure-ba.

A bővítmény csak közvetlen kapcsolati módban támogatott. Bár minden feldolgozás a peremkörnyezetben történik, a rendszer számlázási és monitorozási célból elküldi a vezérlősík adatait a felhőnek. Az új bővítményverziók a felhőből töltődnek le. A rendszer nem küld ügyféladatokat, például az indexelt videókat vagy az indexelt elemzéseket a peremhálózati helyről a felhőbe.

Nyelvi modellek

A Phi nyelvi modell szerepel a csomagban, és automatikusan csatlakozik a VI-bővítményhez. Azonnal megkezdheti a használatát. További információ a nyelvi modellek VI-val való használatáról:

Lásd még az Arc által engedélyezett VI-val történő szöveges összegzésre vonatkozó átláthatósági megjegyzést a hardverkövetelményekről, korlátozásokról és ismert problémákról.

Használati esetek

  • Adatszabályozás – Az AI-t a tartalomhoz viheti, nem pedig fordítva. Használja az Arc által engedélyezett Azure AI Video Indexert, ha nem tudja áthelyezni az indexelt tartalmakat a helyszínről a felhőbe az alábbiak miatt:
    • Előírások.
    • Architektúra-döntések.
    • Az adattár túl nagy, így a helyváltoztatás és áthelyezés jelentős erőfeszítést igényel.
  • Helyszíni munkafolyamat – Az indexelési folyamat egy helyszíni munkafolyamat része, és csökkenteni szeretné a folyamatot befolyásoló indexelési időtartam késését.
  • Előzetes indexelés – Indexelni szeretne, mielőtt feltöltené a tartalmat a felhőbe. Az egyértelműség érdekében előre rendezheti a helyszíni video- vagy hangarchívumot, majd csak normál vagy speciális indexelés céljából töltheti fel a felhőbe.

Példa üzembe helyezésre

Az alábbi ábrán az Azure Arcon futó Azure AI Video Indexer bővítmény látható. Három típus létezik:

  1. Az "A" tárolótípus vizuális és hangbeállításokat is használ.
  2. A B tárolótípus csak látási beállításokat használ. Emellett egyéni modellel is rendelkezik. Az egyéni modell Arc által engedélyezett Azure AI Video Indexerrel való használatáról további információt a Saját AI-modell használata című témakörben talál.
  3. A C tároló csak hangbeállításokat használ.

A bővítményt minden peremeszköz tárolja, és minden eszköz egyetlen Azure AI Video Indexer-fiókkal van társítva, amely az Azure Archoz és a felhőhöz kapcsolódik.

Az Azure Arcon futó VI Arc-bővítményt bemutató ábra.

Támogatott AI-készletek

Az Arc által engedélyezett Azure AI Video Indexer a következő indexelési beállításokat támogatja:

Modell Alapszintű videó Alapszintű hang Alapszintű videó és hang
Transzkripció ✔ ✔
Fordítás ✔ ✔
Képszöveg ✔ ✔
Kulcskeretek észlelése ✔ ✔
Objektumészlelés ✔ ✔
Jelenetészlelés ✔ ✔
Felvételészlelés ✔ ✔
Összefoglaló ✔ ✔ ✔

Minimális hardverkövetelmények

Az Arc által engedélyezett Video Indexer bármilyen Arc-kompatibilis Kubernetes-környezetben futtatható.

Feljegyzés

Az alábbi táblázat az éles környezet minimális követelményeit ismerteti. Javasoljuk, hogy legalább kétcsomópontos fürtöt biztosítsunk a magas rendelkezésre állás és a méretezhetőség érdekében. Az ajánlott beállítások a fürtszintű beállításokra vonatkoznak. Így például ha két csomópontja van, minden csomópontnak 16 maggal és 32 GB RAM-mal kell rendelkeznie. Javasoljuk, hogy hozzon létre egy dedikált csomópontkészletet vagy automatikus skálázási csoportokat a VI-megoldás üzemeltetéséhez.

Konfiguráció Virtuális gépek száma Csomópont CPU-magok száma Csomópont RAM Csomópont tárolás Megjegyzések
Legkevesebb Egy 32 mag 64 GB 50 GB A Tárolónak támogatnia ReadWriteMany kell a tárolási osztályt
Ajánlott Kettő 48-64 mag 256 GB 100 GB A Tárolónak támogatnia ReadWriteMany kell a tárolási osztályt

Minimális szoftverkövetelmények

Összetevő Minimális követelmények
Operációs rendszer Ubuntu 22.04 LTS vagy bármely Linux-kompatibilis operációs rendszer
Kubernetes 1,29
Azure CLI (Az Azure parancssori felülete) 2.64.0

Hálózati követelmények

A tűzfalbeállítások konfigurálásához használja az alábbi információkat.

Tűzfalkövetelmények

Kövesse az Azure Arc-kompatibilis Kubernetes hálózati követelményeit.

Ezenkívül adja hozzá a *.azureedge.net és a *.data.microsoft.com.

Az Arc-bővítmény által engedélyezett Video Indexerhez adja hozzá az alábbi végpontokat:

Végpont (DNS) Leírás
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Használatos a konténerregiszterhez a telemetriai konténerek esetében
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Telemetria esetén használatos
api.videoindexer.ai Hozzáférési jogkivonat érvényesítéséhez használatos

A szükséges végpontok és portok összegzése

Engedélyezze a következő végpontokat és portokat.

Azure Arc Services (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Azure Arc OBO Services (egyéni HTTPS-port)

  • *.obo.arc.azure.com:8084

Azure File Storage (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Feljegyzés

Ha az AKS-t az Azure Files CSI-illesztőprogrammal használja, hogy megosztásokat csatoljon állandó kötetként, nyissa meg a 139-es és 445-ös portot az adott állomány-megosztáshoz.

Telemetria (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Támogatott bemeneti formátumok és kodekek

Az alábbi szakasz az Arc által engedélyezett Azure AI Video Indexer támogatott bemeneti formátumát és kodekit sorolja fel.

Videóformátumok

  • AVI (.avi)
  • FLV (H.264 és AAC kodekekkel) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav) fájlformátum
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Videó-kodekek

  • AVC 8 bites/10 bites, legfeljebb 4:2:2, beleértve az AVCIntrát
  • Digitális videó (DV) (AVI-fájlokban)
  • DVCPro/DVCProHD (MXF-tárolóban)
  • HEVC/H.265 (videó tömörítési szabvány rövidítése)
  • MPEG-1
  • MPEG-2 (legfeljebb 422 profil és magas szintű; beleértve az olyan változatokat, mint a Sony XDCAM, a Sony XDCAM HD, a Sony XDCAM IMX, a CableLabs® és a D10)
  • MPEG-4 2. rész
  • VC-1/WMV9

Hangkódok legfeljebb két zeneszámig

  • AAC (AAC-LC, AAC-HE és AAC-HEv2)
  • FLAC
  • MPEG 2. réteg
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio formátum

Saját modell használata

Az Arc által engedélyezett Azure AI Video Indexer a saját modell használatát is támogatja. További információt a Saját modell (BYO) című cikkben talál.

Korlátozások

  • Az indexelés támogatott fájlmérete legfeljebb 2 GB lehet.
  • Az Arc által engedélyezett Azure AI Video Indexer nem támogatja a videók feltöltését és indexelését 1920x1080 vagy újabb felbontással.
  • A bővítmény frissítése:
    • A bővítménytámogatás csak a legújabb verzióra vonatkozik.
    • Javasoljuk, hogy a auto-upgrade tulajdonságot állítsa be a true értékre. A beállítás naprakészen tartja a bővítményt.
    • Ha az automatikus frissítés beállítása hamis, növekményesen frissítse a verziót. A verziók közötti váltás az indexelési folyamatok sikertelenségéhez vezethet.
  • A bővítmény telepítése vagy frissítése után az első index\fordítási folyamat időtartama a szokásosnál hosszabb lesz. A hosszabb időtartam az AI-modell képének letöltésének köszönhető. Az időtartam a hálózati sebességtől függően változik.
  • Arc-kompatibilis Kubernetes-fürtönként csak egy Video Indexer-bővítmény helyezhető üzembe.
  • A fürt kötet teljesítménye (a tárolási osztály alapján) jelentős hatással van az indexelési feladat futási idejére, különösen azért, mert a képkocka kinyerése az összes képkockát a kötetbe írja.
  • Csak a bővítmény-hozzáférési jogkivonatok támogatottak. A bővítmény-hozzáférési jogkivonatokat az API/CLI-ből szerezheti be. A hozzáférési jogkivonat lekéréséhez szükséges mintákért lásd : Hogyan érheti el a bővítményt.
  • A videós hibaüzenetek memóriakorlátozások miatt nem lesznek tárolva.

Az Arc által engedélyezett Azure Container Storage

Javasoljuk, hogy az Azure Arc által engedélyezett Azure Container Storage-t használja a tároláshoz. További információkért lásd a következő cikkeket:

Kapcsolódó tartalom