Co to jest usługa Azure AI Video Indexer włączona przez usługę Arc? (wersja zapoznawcza)

Usługa Azure AI Video Indexer włączona przez usługę Arc to usługa z obsługą rozszerzeń usługi Azure Arc, która uruchamia analizę wideo i audio na urządzeniach brzegowych. Rozwiązanie jest przeznaczone do uruchamiania na platformie Kubernetes z obsługą usługi Azure Arc i obsługuje wiele formatów wideo, w tym MP4 i innych typowych formatów. Obsługuje kilka języków we wszystkich podstawowych modelach związanych z dźwiękiem. Przyjęto założenie, że jedno konto usługi Video Indexer jest mapowane na jedno rozszerzenie.

Jeśli nie znasz jeszcze usługi Azure AI Video Indexer, zalecamy zapoznanie się najpierw z usługą w chmurze.

Ponadto przed rozpoczęciem pracy z usługą Azure AI Video Indexer włączoną przez usługę Arc zapoznaj się z notatką o przejrzystości, aby zrozumieć ograniczenia użycia.

Ważne

Aby pomyślnie wdrożyć rozszerzenie usługi Azure AI Video Indexer, wymagane jest wcześniejsze zatwierdzenie identyfikatora subskrypcji platformy Azure. Musisz najpierw zarejestrować się przy użyciu tego formularza.

Co to jest usługa Azure Arc i platforma Kubernetes z obsługą usługi Azure Arc?

Usługa Azure Arc upraszcza zarządzanie złożonymi środowiskami, które rozszerzają centra danych, wiele chmur i krawędzi, zapewniając spójną platformę zarządzania w wielu chmurach i lokalnych.

Platforma Kubernetes z obsługą usługi Azure Arc umożliwia dołączanie klastrów Kubernetes działających w dowolnym miejscu, dzięki czemu można nimi zarządzać i konfigurować na platformie Azure. Zarządzając wszystkimi zasobami Platformy Kubernetes w jednej płaszczyźnie sterowania, możesz włączyć bardziej spójne środowisko programowania i operacji, aby uruchamiać aplikacje natywne dla chmury w dowolnym miejscu i na dowolnej platformie Kubernetes.

Po wdrożeniu agentów usługi Azure Arc w klastrze inicjowane jest połączenie wychodzące z platformą Azure przy użyciu standardowego protokołu SSL w celu zabezpieczenia danych przesyłanych.

Gdy klastry są połączone z platformą Azure, są reprezentowane jako własne zasoby w usłudze Azure Resource Manager (ARM) i mogą być zorganizowane przy użyciu grup zasobów i tagowania.

Zobacz te artykuły, aby dowiedzieć się więcej na temat usług Azure Arc i Kubernetes z obsługą usługi Azure Arc.

Co to jest rozszerzenie usługi Azure Arc?

Rozszerzenia maszyn wirtualnych to małe aplikacje, które zapewniają konfigurację po wdrożeniu i zadania automatyzacji na maszynach wirtualnych platformy Azure. Jeśli na przykład maszyna wirtualna wymaga instalacji oprogramowania, ochrony przed wirusami lub uruchomienia skryptu, można użyć rozszerzenia maszyny wirtualnej. Aby dowiedzieć się więcej na temat rozszerzeń, zobacz Zarządzanie rozszerzeniami maszyn wirtualnych za pomocą serwerów z obsługą usługi Azure Arc.

Rozszerzenie azure AI Video Indexer instaluje i wdraża indeksator wideo usługi Azure AI w klastrze Kubernetes.

Wszystkie usługi Azure AI Video Indexer włączone przez usługę Arc obsługują tylko konta usługi Azure Resource Manager (ARM). Operacje arm są oddzielone od operacji szczegółowych informacji wideo. Ten projekt umożliwia przeprowadzanie analizy na urządzeniach brzegowych bez konieczności przekazywania zasobów multimedialnych na platformę Azure.

Usługa Azure AI Video Indexer włączona przez usługę Arc nie obsługuje kont klasycznych. Aby uzyskać więcej informacji na temat wycofywania kont klasycznych, zobacz Przygotowanie do wycofania usługi AMS: migracja VI i przewodnik aktualizacji

Rozszerzenie jest obsługiwane tylko w scenariuszach trybu bezpośredniego połączenia. Informacje o płaszczyźnie sterowania są wysyłane do chmury, na przykład monitorowanie, użycie. Nowe wersje rozszerzeń są pobierane z chmury. Żadne dane klienta, takie jak indeksowane filmy wideo, są wysyłane z lokalizacji brzegowej do chmury.

Przypadki użycia

• Nadzór nad danymi — możesz przenieść sztuczną inteligencję do zawartości zamiast na odwrót. Użyj usługi Azure AI Video Indexer włączonej przez usługę Arc, gdy nie można przenieść indeksowanej zawartości ze środowiska lokalnego do chmury z następujących powodów:
  • Rozporządzenie.
  • decyzje dotyczące architektury.
  • magazyn danych jest zbyt duży, co sprawia, że lift and shift to znaczne nakłady pracy.
• Lokalny przepływ pracy — proces indeksowania jest częścią lokalnego przepływu pracy i chcesz zmniejszyć opóźnienie czasu trwania indeksowania wpływające na przepływ.
• Indeksowanie wstępne — chcesz indeksować przed przekazaniem zawartości do chmury. Aby zapewnić czytelność, możesz wstępnie przygotować lokalne archiwum wideo i/lub audio, a następnie przekazać je tylko na potrzeby indeksowania standardowego i/lub zaawansowanego w chmurze.

Przykładowe wdrożenie

Na poniższym diagramie blokowym przedstawiono rozszerzenie usługi Azure AI Video Indexer uruchomione w usłudze Azure Arc. Istnieją trzy typy:

1. Typ sklepu A używa ustawień wstępnych obrazów i dźwięku.
2. Typ magazynu B używa tylko ustawień wstępnych obrazów. Ma również model niestandardowy. Aby uzyskać więcej informacji na temat używania modelu niestandardowego z usługą Azure AI Video Indexer włączonego przez usługę Arc, zobacz Bring Your Own AI model (Model Bring Your Own AI).
3. Magazyn C używa tylko ustawień wstępnych dźwięku.

Rozszerzenie jest przechowywane na każdym urządzeniu brzegowym, a każde urządzenie jest skojarzone z pojedynczym kontem usługi Azure AI Video Indexer, które interfejsy z usługą Azure Arc i chmurą.

Obsługiwane ustawienia wstępne sztucznej inteligencji

Usługa Azure AI Video Indexer włączona przez usługę Arc obsługuje następujące ustawienia wstępne indeksowania:

Model	Podstawowy film wideo	Dźwięk podstawowy	Podstawowe wideo i dźwięk
Transkrypcja		✔️	✔️
Tłumaczenie		✔️	✔️
Podpisów		✔️	✔️
Wykrywanie klatek kluczowych	✔️		✔️
OCR	✔️		✔️
Wykrywanie obiektów	✔️		✔️
Wykrywanie scen	✔️		✔️
Wykrywanie strzałów	✔️		✔️

Minimalne wymagania sprzętowe

Usługa Video Indexer włączona przez usługę Arc jest przeznaczona do uruchamiania w dowolnym środowisku Kubernetes z obsługą usługi Arc.

Poniższa lista to minimalne i zalecane wymagania, jeśli rozszerzenie zawiera obsługę pojedynczego języka. W przypadku instalowania wielu kontenerów mowy i tłumaczenia z kilkoma językami należy odpowiednio zwiększyć wymagania sprzętowe.

Uwaga

Są to minimalne wymagania dotyczące środowiska produkcyjnego. Co najmniej 2-węzłowy klaster jest zalecany w celu zapewnienia wysokiej dostępności i skalowalności. Zalecane ustawienia odnoszą się do ustawień całego klastra, więc na przykład jeśli masz 2 węzły, każdy węzeł powinien mieć 16 rdzeni i 32 GB pamięci RAM. Zalecamy utworzenie dedykowanych grup puli węzłów/automatycznego skalowania w celu hostowania rozwiązania VI.

Konfigurowanie	Liczba maszyn wirtualnych	Liczba rdzeni procesora CPU węzła	Pamięć RAM węzła	Magazyn węzłów	Uwagi
Minimum	1	32 rdzenie	64 GB	50 GB	Magazyn musi obsługiwać ReadWriteMany klasę magazynu
Zalecane	2	48-64 rdzenie	256 GB	100 GB	Magazyn musi obsługiwać ReadWriteMany klasę magazynu

Minimalne wymagania dotyczące oprogramowania

Składnik	Wymagania minimalne
System operacyjny	Ubuntu 22.04 LTS lub dowolny system operacyjny zgodny z systemem Linux
Kubernetes	1,26
Interfejs wiersza polecenia platformy Azure	2.48.0

Obsługiwane formaty danych wejściowych i koderów

Formaty wideo

• AVI (.avi)
• GUR (z koderami H.264 i AAC) (.flv)
• ISMV (.isma, .ismv)
• Matroska/WebM (.html)
• MP4 (.mp4, .m4a, .m4v)
• MXF (.mxf)
• MPEG2-TS
• QuickTime (.mov)
• WAVE/WAV (.wav)
• Webm
• Windows Media Video (GUR)/ASF (.wmv, .asf)

Kodece wideo

Oto lista alfabetyzowana:

• AVC 8-bitowy/10-bitowy, do 4:2:2, w tym AVCIntra
• Cyfrowe wideo (DV) (w plikach AVI)
• DVCPro/DVCProHD (w kontenerze MXF)
• HEVC/H.265
• MPEG-1
• MPEG-2 (do 422 Profile i High Level; w tym warianty takie jak Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® i D10)
• MPEG-4, część 2
• VC-1/CHLOR9

Koderki audio do dwóch ścieżek

• AAC (AAC-LC, AAC-HE i AAC-HEv2)
• FLAC
• MPEG Layer 2
• MP3 (MPEG-1 Audio Layer 3)
• VORBIS
• WAV/PCM
• Windows Media Audio

Obsługiwane języki

• Arabski (Arabia Saudyjska)
• Arabski Egipt
• Chiński (uproszczony)
• English (US)
• Francuski
• Niemiecki
• Włoski
• hiszpański

Korzystanie z własnego modelu

Usługa Azure AI Video Indexer włączona przez usługę Arc obsługuje również wprowadzanie własnego modelu. Aby uzyskać szczegółowe informacje, zobacz artykuł Bring Your Own Model (BYO).

Ograniczenia

• Obsługiwany rozmiar pliku do indeksowania wynosi do 2 GB.
• Uaktualnianie rozszerzenia:
  • Obsługa rozszerzeń dotyczy tylko najnowszej wersji.
  • Zalecamy ustawienie tej auto-upgrade właściwości na true. To ustawienie zapewnia aktualność rozszerzenia.
  • Jeśli ustawienie automatycznego uaktualniania ma wartość false, uaktualnienie wersji powinno odbywać się przyrostowo. Przeskoczenie między wersjami może spowodować niepowodzenie procesów indeksowania.
• Po zainstalowaniu lub uaktualnieniu rozszerzenia należy oczekiwać , że czas trwania pierwszego procesu indeksu\tłumaczenia będzie dłuższy. Dłuższy czas trwania jest spowodowany pobieraniem obrazu modelu sztucznej inteligencji. Czas trwania zależy od szybkości sieci.
• Dla klastra Kubernetes z włączoną usługą Arc można wdrożyć tylko jedno rozszerzenie usługi Video Indexerneter.
• Wydajność woluminu klastra (oparta na klasie magazynu) ma znaczący wpływ na czas trwania zadania indeksowania, zwłaszcza że wyodrębnianie ramek zapisuje wszystkie ramki w woluminie).
• Możesz użyć tylko tokenów dostępu do konta w chmurze uzyskanych za pośrednictwem witryny Azure Portal. Tokeny dostępu do wideo w chmurze nie są obsługiwane, ale w przypadku interfejsu API dostępne są tokeny dostępu rozszerzenia i obsługujemy wszystkie typy.
• Komunikaty o błędach wideo nie są przechowywane z powodu ograniczeń pamięci.

Powiązane artykuły

• Wypróbuj usługę Azure AI Video Indexer włączoną przez przykładową usługę Arc w witrynie GitHub
• Wypróbuj usługę Azure AI Video Indexer z włączoną usługą Arc Jumpstart
• Spróbuj wdrożyć w witrynie Azure Portal przy użyciu usługi Azure AI Video Indexer z włączoną usługą Arc — szybki start