Freigeben über

Von Arc aktivierter Azure AI-Videoindexer

Der von Arc aktivierte Azure AI Video Indexer ist ein von Arc aktivierter Azure Arc-Erweiterungsdienst, der Video- und Audioanalyse und generative KI auf Edgegeräten ausführt. Die Lösung wird auf Azure Arc aktiviert Kubernetes ausgeführt, unterstützt viele Videoformate und geht davon aus, dass eine Videoindexer-Ressource einer Erweiterung zugeordnet ist. Er transkribiert gesprochene Inhalte in mehr als 35 Quellsprachen und übersetzt sie in Englisch. Eine vollständige Liste der unterstützten Sprachen finden Sie unter "Unterstützte Sprachen pro Szenario".

Wenn Sie noch nicht mit azure AI Video Indexer vertraut sind, empfehlen wir Ihnen, sich zuerst mit dem Clouddienst vertraut zu machen.

Bevor Sie mit dem von Arc aktivierten Azure AI Video Indexer zu arbeiten beginnen, lesen Sie außerdem die Transparenzhinweise, um Nutzungseinschränkungen zu verstehen.

Wichtig

Um die Azure AI Video Indexer-Erweiterung erfolgreich bereitzustellen, ist es obligatorisch , dass Ihre Azure-Abonnement-ID im Voraus genehmigt wird. Sie müssen sich zuerst mit dem Formular bei Application for gated services registrieren.

Was ist Azure Arc und Azure Arc-fähige Kubernetes?

Azure Arc vereinfacht die Governance und Verwaltung komplexer Umgebungen, die sich über Rechenzentren, mehrere Clouds und Edge erstrecken, indem eine konsistente Multicloud- und lokale Verwaltungsplattform bereitgestellt wird.

Mit Azure Arc-aktiviertem Kubernetes können Sie Kubernetes-Cluster anfügen, die überall ausgeführt werden, sodass Sie diese in Azure verwalten und konfigurieren können. Durch die Verwaltung aller Kubernetes-Ressourcen in einer einzigen Steuerungsebene können Sie eine konsistentere Entwicklungs- und Betriebserfahrung ermöglichen, cloudeigene Apps überall und auf jeder Kubernetes-Plattform auszuführen.

Wenn die Azure Arc-Agents im Cluster bereitgestellt werden, wird eine ausgehende Verbindung mit Azure initiiert, wobei Branchenstandard-SSL zum Sichern von Daten bei der Übertragung verwendet wird.

Sobald Cluster mit Azure verbunden sind, werden sie als eigene Ressourcen im Azure Resource Manager (ARM) dargestellt und können mithilfe von Ressourcengruppen und Tagging organisiert werden.

Weitere Informationen zu Azure Arc und Arc-fähigen Kubernetes finden Sie in der Azure Arc-Übersicht und was ist Azure Arc-fähige Kubernetes?

Was ist eine Azure Arc-Erweiterung?

Erweiterungen für virtuelle Computer sind kleine Anwendungen, die Konfigurations- und Automatisierungsaufgaben auf virtuellen Azure-Computern nach der Bereitstellung ermöglichen. Wenn z. B. Software auf einer VM installiert werden muss, Virenschutz oder die Ausführung eines Skripts erforderlich ist, kann eine VM-Erweiterung verwendet werden. Weitere Informationen zu Erweiterungen finden Sie unter Verwaltung virtueller Computererweiterungen mit Azure Arc-fähigen Servern.

Die Azure AI Video Indexer-Erweiterung installiert und stellt azure AI Video Indexer im Kubernetes-Cluster bereit.

Azure AI Video Indexer, der von Arc aktiviert ist, unterstützt nur Azure Resource Manager-Konten. Vorgänge des Ressourcen-Managers sind von Vorgängen der Videoanalyse entkoppelt. Mit diesem Design können Sie Analysen auf Ihren Edgegeräten durchführen, ohne Ihre Medienressourcen in Azure hochladen zu müssen.

Die Erweiterung wird nur in Szenarien im direkten Verbindungsmodus unterstützt. Während die gesamte Verarbeitung in der Edgeumgebung ausgeführt wird, werden Steuerebeneninformationen für Abrechnungs- und Überwachungszwecke an die Cloud gesendet. Neue Erweiterungsversionen werden aus der Cloud heruntergeladen. Keine Kundendaten, wie z. B. welche Videos indiziert wurden oder indizierte Erkenntnisse, werden vom Edge-Standort an die Cloud gesendet.

Sprachmodelle

Das Phi-Sprachmodell ist enthalten und automatisch mit Ihrer VI-Erweiterung verbunden. Sie können sofort damit beginnen, es zu verwenden. Weitere Informationen zur Verwendung von Sprachmodellen mit VI finden Sie unter:

Siehe auch den Transparenzhinweis für die textuelle Zusammenfassung mit von Arc aktivierter VI bezüglich Hardwareanforderungen, Einschränkungen und bekannter Probleme.

Anwendungsfälle

  • Datenverwaltung – Sie können die KI zum Inhalt bringen, anstatt den Inhalt zur KI zu bringen. Verwenden Sie azure AI Video Indexer, der von Arc aktiviert ist, wenn Sie indizierte Inhalte nicht aus der lokalen Umgebung in die Cloud verschieben können, weil:
    • Vorschriften.
    • Architekturentscheidungen.
    • Der Datenspeicher ist zu groß, was die Migration zu einem erheblichen Aufwand macht.
  • Lokaler Workflow – Ihr Indizierungsprozess ist Teil eines lokalen Workflows, und Sie möchten die Latenz der Indizierungsdauer verringern, die sich auf den Fluss auswirkt.
  • Vorindizierung – Sie möchten indizieren , bevor Sie den Inhalt in die Cloud hochladen. Um Klarheit zu schaffen, können Sie Ihr lokales Video- oder Audioarchiv vorabsortieren und dann nur für die Standardindizierung oder erweiterte Indizierung in der Cloud hochladen.

Beispielbereitstellung

Das folgende Diagramm zeigt die Azure AI Video Indexer-Erweiterung, die auf Azure Arc ausgeführt wird. Es gibt drei Typen:

  1. Speichertyp A verwendet sowohl visuelle als auch akustische Voreinstellungen.
  2. Speichertyp B verwendet nur Vision-Voreinstellungen. Außerdem verfügt es über ein benutzerdefiniertes Modell. Weitere Informationen zur Verwendung eines benutzerdefinierten Modells mit von Arc aktivierten Azure AI Video Indexer finden Sie unter Bring Your Own AI model.
  3. Store C verwendet nur Audiovoreinstellungen.

Die Erweiterung wird auf jedem Edgegerät gespeichert, und jedes Gerät ist einem einzigen Azure AI Video Indexer-Konto zugeordnet, das mit Azure Arc und der Cloud verknüpft ist.

Diagramm mit der VI Arc-Erweiterung, die auf Azure Arc ausgeführt wird.

Unterstützte KI-Voreinstellungen

Von Arc aktivierter Azure AI Video Indexer unterstützt die folgenden Indizierungsvoreinstellungen:

Modell Einfaches Video Grundlegendes Audio Einfaches Video und Audio
Transkription ✔ ✔
Übersetzung ✔ ✔
Untertitel ✔ ✔
Keyframe-Erkennung ✔ ✔
Objekterkennung ✔ ✔
Szenenerkennung ✔ ✔
Aufnahmenerkennung ✔ ✔
Zusammenfassung ✔ ✔ ✔

Hardwaremindestanforderungen

Der von Arc aktivierte Videoindexer wurde für die Ausführung in einer beliebigen Arc-fähigen Kubernetes-Umgebung entwickelt.

Hinweis

Die folgende Tabelle enthält Mindestanforderungen für eine Produktionsumgebung . Wir empfehlen mindestens einen Zwei-Knoten-Cluster für hohe Verfügbarkeit und Skalierbarkeit. Die empfohlenen Einstellungen beziehen sich auf clusterweite Einstellungen. Wenn Sie beispielsweise zwei Knoten haben, sollte jeder Knoten 16 Kerne und 32 GB RAM aufweisen. Es wird empfohlen, einen dedizierten Knotenpool oder automatische Skalierungsgruppen zum Hosten der VI-Lösung zu erstellen.

Konfiguration Anzahl virtueller Computer Anzahl der Knoten-CPU-Kerne Knoten-RAM Knotenspeicher Hinweise
Mindestwert Eins 32 Kerne 64 GB 50 GB Speicher muss die Speicherklasse unterstützen ReadWriteMany .
Empfohlen Zwei 48-64 Kerne 256 GB 100 GB Speicher muss die Speicherklasse unterstützen ReadWriteMany .

Mindestanforderungen an die Software

Komponente Mindestanforderungen
Betriebssystem Ubuntu 22.04 LTS oder ein linuxkompatibles Betriebssystem
Kubernetes 1.29
Azure CLI 2.64.0

Netzwerkanforderungen

Verwenden Sie die folgenden Informationen, um Firewalleinstellungen zu konfigurieren.

Firewallanforderungen

Befolgen Sie die Anweisungen unter den Azure Arc-fähigen Kubernetes-Netzwerkanforderungen.

Fügen Sie außerdem *.azureedge.net und *.data.microsoft.com hinzu.

Fügen Sie für den von der Arc-Erweiterung aktivierten Videoindexer die folgenden Endpunkte hinzu:

Endpunkt (DNS) BESCHREIBUNG
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Wird für die Containerregistrierung für Telemetriecontainer verwendet
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Wird für Telemetrie verwendet
api.videoindexer.ai Wird für die Überprüfung von Zugriffstoken verwendet

Zusammenfassung der erforderlichen Endpunkte und Ports

Aktivieren Sie die folgenden Endpunkte und Ports.

Azure Arc Services (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Azure Arc OBO Services (benutzerdefinierter HTTPS-Port)

  • *.obo.arc.azure.com:8084

Azure File Storage (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Hinweis

Wenn Sie AKS mit dem Azure Files CSI-Treiber verwenden, um Freigaben als persistente Volumes bereitzustellen, öffnen Sie die Ports 139 und 445 für die spezifische Dateifreigabe.

Telemetrie (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Unterstützte Eingabeformate und Codecs

Im folgenden Abschnitt werden die unterstützten Eingabeformate und Codecs für azure AI Video Indexer aufgeführt, die von Arc aktiviert sind.

Videoformate

  • AVI (.avi)
  • FLV (mit H.264- und AAC-Codecs) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav-Dateiformat)
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Videocodecs

  • AVC 8-Bit/10-Bit, bis zu 4:2:2, einschließlich AVCIntra
  • Digitales Video (DV) (in AVI-Dateien)
  • DVCPro/DVCProHD (im MXF-Container)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (bis zu 422 Profile und High Level; Varianten wie Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® und D10 eingeschlossen)
  • MPEG-4 Teil 2
  • VC-1/WMV9

Audiocodecs bis zu zwei Titel

  • AAC (AAC-LC, AAC-HE und AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Bringen Sie Ihr eigenes Modell mit

Azure AI Video Indexer, der von Arc aktiviert wurde, unterstützt auch das Bereitstellen Ihres eigenen Modells. Weitere Informationen finden Sie im Artikel "Bring Your Own Model (BYO) ".

Begrenzungen

  • Die unterstützte Dateigröße für die Indizierung beträgt bis zu 2 GB.
  • Upgrade der Erweiterung:
    • Die Erweiterungsunterstützung gilt nur für die neueste Version.
    • Es wird empfohlen, die Eigenschaft auto-upgrade auf true zu setzen. Die Einstellung hält die Erweiterung auf dem neuesten Stand.
    • Wenn die Einstellung für das automatische Upgrade auf "false" festgelegt ist, sollten Sie die Version inkrementell aktualisieren. Das Springen zwischen Versionen kann dazu führen, dass Indizierungsprozesse fehlschlagen.
  • Erwarten Sie nach der Erweiterungsinstallation oder dem Upgrade, dass die Dauer des ersten Index\Übersetzungsprozesses länger als normal ist. Die längere Dauer ist auf den Download von KI-Modellbildern zurückzuführen. Die Dauer variiert je nach Netzwerkgeschwindigkeit.
  • Pro Arc-aktivierten Kubernetes-Cluster kann nur eine Videoindexererweiterung bereitgestellt werden.
  • Die Volumenleistung des Clusters (basierend auf der Speicherklasse) hat erheblichen Einfluss auf die Umsatzdauer des Indizierungsauftrags, insbesondere da die Frameextraktion alle Frames in das Volume schreibt.
  • Nur Erweiterungszugriffstoken werden unterstützt. Sie können Erweiterungszugriffstoken über API/CLI abrufen. Beispiele für Zugriffstoken finden Sie unter "Wie man auf die Erweiterung zugreift".
  • Videofehlermeldungen werden aufgrund von Speicherbeschränkungen nicht gespeichert.

Azure Container Storage aktiviert von Arc

Sie sollten für den Speicher von Azure Arc aktivierte Azure Container Storage verwenden. Weitere Informationen finden Sie in den folgenden Artikeln:

Verwandte Inhalte