Что такое индексатор видео Azure AI, включенный Arc? (Предварительная версия)

  • Статья

Индексатор видео Azure AI, включенный Arc, — это служба с поддержкой расширения Azure Arc, которая выполняет анализ видео и звука на пограничных устройствах. Решение предназначено для запуска в Kubernetes с поддержкой Azure Arc и поддерживает множество форматов видео, включая MP4 и другие распространенные форматы. Он поддерживает несколько языков во всех основных моделях, связанных с звуком. Предполагается, что одна учетная запись индексатора видео сопоставляется с одним расширением.

Если вы еще не знакомы с индексатором видео Azure AI, рекомендуется сначала ознакомиться с облачной службой.

Кроме того, прежде чем приступить к работе с Индексатором видео в Azure AI, включенной Arc, ознакомьтесь с примечанием о прозрачности, чтобы понять ограничения использования.

Внимание

Чтобы успешно развернуть расширение Индексатора видео Azure, необходимо заранее утвердить идентификатор подписки Azure. Сначала необходимо зарегистрироваться с помощью этой формы.

Что такое Azure Arc и Kubernetes с поддержкой Azure Arc?

Azure Arc упрощает управление сложными средами, которые расширяются между центрами обработки данных, несколькими облаками и пограничными устройствами, предоставляя согласованную многооблачную и локальную платформу управления.

Kubernetes с поддержкой Azure Arc позволяет подключать кластеры Kubernetes, работающие в любом месте, чтобы управлять и настраивать их в Azure. Управляя всеми ресурсами Kubernetes в одной плоскости управления, вы можете обеспечить более согласованный процесс разработки и операций для запуска облачных приложений в любом месте и на любой платформе Kubernetes.

При развертывании агентов Azure Arc в кластере инициируется исходящее подключение к Azure с помощью стандартного протокола SSL для защиты передаваемых данных.

После подключения кластеров к Azure они представлены как собственные ресурсы в Azure Resource Manager (ARM), и их можно упорядочить с помощью групп ресурсов и тегов.

Дополнительные сведения о Kubernetes с поддержкой Azure Arc и Azure Arc см. в этих статьях.

Что такое расширение Azure Arc?

Расширения виртуальных машин — это небольшие приложения, которые выполняют задачи по настройке и автоматизации после развертывания для виртуальных машин Azure. Например, с помощью расширения виртуальной машины (далее — расширение ВМ) на виртуальной машине можно установить программное обеспечение, настроить антивирусную защиту или выполнять сценарии. Дополнительные сведения о расширениях см. в статье об управлении расширениями виртуальных машин с серверами с поддержкой Azure Arc.

Расширение Индексатора видео Azure ИИ устанавливает и развертывает индексатор Видео Azure в кластере Kubernetes.

Все индексатор видео Azure AI, включенный Arc, поддерживает только учетные записи Azure Resource Manager (ARM). Операции ARM отделяются от операций анализа видео. Эта конструкция позволяет выполнять анализ на пограничных устройствах без необходимости передавать ресурсы мультимедиа в Azure.

Индексатор видео Azure AI, включенный Arc, не поддерживает классические учетные записи. Дополнительные сведения об выходе классических учетных записей см. в статье "Подготовка к выходу на пенсию AMS: VI миграция и обновление"

Расширение поддерживается только в сценариях прямого подключения . Сведения о плоскости управления отправляются в облако, например мониторинг, использование. Новые версии расширений скачиваются из облака. Данные клиента, такие как индексированные видео, не отправляются из пограничного расположения в облако.

Случаи использования

  • Управление данными — вы можете перенести ИИ в содержимое, а не наоборот. Используйте индексатор видео Azure AI, включенный Arc, если вы не можете переместить индексированные содержимое из локальной среды в облако из-за:
    • Регулирования.
    • решения по архитектуре.
    • хранилище данных слишком большое, что делает подъем и сдвиг значительных усилий.
  • Локальный рабочий процесс — процесс индексирования является частью локального рабочего процесса, и вы хотите снизить задержку в течение индексирования, влияющую на поток.
  • Предварительная индексация — перед отправкой содержимого в облако необходимо индексировать. Чтобы создать ясность, вы можете предварительно настроить локальный архив видео и /или аудио, а затем передать его только для стандартного и /или расширенного индексирования в облаке.

Пример развертывания

На следующей схеме блоков показано расширение Индексатора видео Azure AI, работающее в Azure Arc. Существует три типа:

  1. В магазине типа A используются предустановки визуального зрения и звука.
  2. В магазине типа B используются только предустановки зрения. Он также имеет пользовательскую модель. Дополнительные сведения об использовании пользовательской модели с индексатором видео в Azure AI, включенной Arc, см. в статье "Создание собственной модели ИИ".
  3. Store C использует только предустановки звука.

Расширение хранится на каждом пограничном устройстве, и каждое устройство связано с одной учетной записью Индексатора видео Azure AI, которая взаимодействует с Azure Arc и облаком.

Схема блоков VI Arc

Поддерживаемые предустановки ИИ

Индексатор видео Azure AI, включенный Arc, поддерживает следующие предустановки индексирования:

Модель Базовое видео Базовый звук Основное видео и аудио
Расшифровка ✔️ ✔️
Перевод ✔️ ✔️
Титры ✔️ ✔️
Обнаружение ключевых кадров ✔️ ✔️
Распознавание текста ✔️ ✔️
Обнаружение объектов ✔️ ✔️
Обнаружение сцены ✔️ ✔️
Обнаружение снимка ✔️ ✔️

Графический индексатор видео Azure AI, включенный доступными предустановками Arc, уже перечисленными

Минимальные требования к оборудованию

Индексатор видео, включенный Arc, предназначен для запуска в любой среде Kubernetes с поддержкой Arc.

Ниже приведен список минимальных и рекомендуемых требований, если расширение содержит поддержку одного языка. Если установить несколько контейнеров речи и перевода с несколькими языками, увеличьте требования к оборудованию соответствующим образом.

Примечание.

Это минимальные требования для рабочей среды. Рекомендуется по крайней мере 2-узеловый кластер для обеспечения высокой доступности и масштабируемости. Рекомендуемые параметры относятся к параметрам кластера, поэтому, например, если у вас есть 2 узла, каждый узел должен иметь 16 ядер и 32 ГБ ОЗУ. Для размещения решения VI рекомендуется создать выделенный пул узлов или группы автоматического масштабирования.

Настройка Количество виртуальных машин Число ядер ЦП узла Озу узла Служба хранилища узла Замечания
Минимум 1 32 Ядра 64 ГБ 50 ГБ служба хранилища необходимо поддерживать ReadWriteMany класс служба хранилища
Рекомендуемая конфигурация 2 48-64 Ядра 256 ГБ 100 ГБ служба хранилища необходимо поддерживать ReadWriteMany класс служба хранилища

Минимальные требования к программному обеспечению

Компонент Минимальные требования
Операционная система Ubuntu 22.04 LTS или любая совместимая с Linux ОС
Kubernetes 1,26
Azure CLI 2.48.0

Поддерживаемые форматы ввода и кодеки

Форматы видео

  • AVI (.avi)
  • FLV (с кодеками H.264 и AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Видеокодеки

Ниже приведен список в алфавитном порядке:

  • AVC 8-разрядный/10-разрядный, до 4:2:2, включая AVCIntra
  • Цифровое видео (DV) (в AVI-файлах)
  • DVCPro/DVCProHD (в контейнере MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (до профиля 422 и высокого уровня, включая такие варианты, как Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® и D10)
  • MPEG-4, часть 2
  • VC-1/WMV9

Аудиокодеки до двух треков

  • AAC (AAC-LC, AAC-HE и AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Поддерживаемые языки

  • Арабский (Саудовская Аравия)
  • Арабский (Египет)
  • Китайский (упрощенное письмо)
  • Английский (США)
  • французский
  • немецкий
  • Итальянский
  • Испанский

Создание собственной модели

Индексатор видео Azure AI, включенный Arc, также поддерживает создание собственной модели. Дополнительные сведения см. в статье "Создание собственной модели (BYO).

Ограничения

  • Поддерживаемый размер файла для индексирования составляет до 2 ГБ.
  • Обновление расширения:
    • Поддержка расширений применяется только для последней версии.
    • Рекомендуется задать для trueэтого auto-upgrade свойства значение . Этот параметр сохраняет расширение в актуальном состоянии.
    • Если для параметра автоматического обновления задано значение false, обновление версии должно выполняться постепенно. Переход между версиями может привести к сбою процессов индексирования.
  • После установки или обновления расширения ожидается , что продолжительность первого процесса индекса\перевода будет длиннее. Более длинная длительность связана с скачиванием образа модели ИИ. Длительность зависит от скорости сети.
  • Для каждого кластера Kubernetes с поддержкой Arc можно развернуть только одно расширение индексатора видео.
  • Производительность тома кластера (на основе класса хранилища) оказывает значительное влияние на продолжительность выполнения задания индексирования, особенно так как извлечение кадра записывает все кадры в том.
  • С помощью портал Azure можно использовать только маркеры доступа к облачной учетной записи. Маркеры доступа к облачным видео не поддерживаются, но с API доступны маркеры доступа к расширениям, и мы поддерживаем все типы.
  • Сообщения об ошибках видео не хранятся из-за ограничений памяти.