Попробуйте индексатор видео Azure AI, включенный Arc

Статья
04/01/2024

Индексатор видео Azure AI, включенный Arc, — это служба с поддержкой расширения Azure Arc , которая выполняет анализ видео и звука на пограничных устройствах. Решение предназначено для запуска в Kubernetes с поддержкой Azure Arc и поддерживает множество форматов видео, включая MP4 и другие распространенные форматы. Он поддерживает несколько языков во всех основных моделях, связанных с звуком. Предполагается, что один ресурс Индексатора видео сопоставляется с одним расширением.

В этой статье описаны действия, необходимые для включения индексатора видео в качестве расширения Arc в текущей инфраструктуре.

Пример развертывания

Ниже приведена блок-схема, показывающая индексатор видео Azure AI, работающий в Azure Arc. Существует три типа:

В магазине типа A используются предустановки визуального зрения и звука.
В магазине типа B используются только предустановки зрения. Он также имеет пользовательскую модель. Дополнительные сведения об использовании пользовательской модели с индексатором видео в Azure AI, включенной Arc, см. в статье "Создание собственной модели ИИ".
Store C использует только предустановки звука.

Расширение хранится на каждом пограничном устройстве, и каждое устройство связано с одной учетной записью Индексатора видео ИИ, которая взаимодействует с Azure Arc и облаком.

Необходимые компоненты

Внимание

Чтобы успешно развернуть расширение Индексатора видео Azure, необходимо заранее утвердить идентификатор подписки Azure. Сначала необходимо зарегистрироваться с помощью этой формы.

Создайте подписку Azure с разрешениями для создания ресурсов Azure.
Создайте учетную запись индексатора видео Azure AI. Используйте руководство по созданию учетной записи индексатора видео.
Создайте кластер Kubernetes с поддержкой Arc.
Скачайте пример видео.

Чтобы использовать расширение Индексатора видео, необходимо иметь внешнюю конечную точку, которая может быть DNS-именем или IP-адресом. Конечная точка должна быть задана как протокол безопасной передачи (https:\\) и используется в качестве конечной точки API расширения, отформатированного как https:\\{endpointUri}/swagger/index.html. Он также используется веб-порталом Индексатора видео для взаимодействия с расширением. Рекомендуется использовать элемент управления входящего трафика для управления конечной точкой.

Примечание.

Если конечная точка недоступна, вы не сможете выполнять действия с расширением на веб-портале.

Внимание

Кластер AKS содержит расширение Индексатора видео должно находиться в регионе "Восточная часть США".

Минимальные требования к оборудованию для этого краткого руководства

Это краткое руководство предназначено для просмотра расширения в действии, поэтому для работы с тестовой средой выбраны меньшие размеры ресурсов. Для этого краткого руководства минимальные требования к оборудованию:

ЦП: 16 ядер
Память: 16 ГБ.

Минимальные требования к оборудованию в рабочей среде см. в статье "Минимальные требования к оборудованию".

Минимальные требования к программному обеспечению

Компонент	Минимальные требования
Операционная система	Ubuntu 22.04 LTS или любая совместимая с Linux ОС
Kubernetes	1,26
Azure CLI	2.48.0

Определения параметров

Параметр	По умолчанию.	Description
Пространство имен выпуска	yes	Пространство имен Kubernetes, в которое устанавливается расширение
cluster-name		Имя экземпляра Azure Arc Kubernetes
resource-group		Имя группы ресурсов Azure Arc Kubernetes
версия	yes	Версия расширения индексатора видео, оставьте пустой для последней версии
speech.endpointUri		Конечная точка URL-адреса службы распознавания речи (ссылка)
speech.secret		Секрет экземпляра речи (ссылка)
translate.endpointUri		Конечная точка URL-адреса службы перевода (ссылка)
translate.secret		Секрет службы перевода (ссылка)
ocr.endpointUri		Конечная точка URL-адреса службы OCR (ссылка)
ocr.secret		Секрет службы OCR (ссылка)
videoIndexer.accountId		Идентификатор учетной записи индексатора видео
videoIndexer.endpointUri		Dns-имя или IP-адрес для использования в качестве внешней конечной точки расширения.

Подготовка к развертыванию

Во время развертывания скрипт запрашивает конкретные значения среды. Готовы ли эти значения, чтобы можно было скопировать и вставить их, когда скрипт запрашивает их.

Вопрос	Значение	Сведения
Что такое идентификатор учетной записи индексатора видео во время развертывания?	GUID	Идентификатор учетной записи индексатора видео
Что такое идентификатор подписки Azure во время развертывания?	GUID	Идентификатор подписки Azure
Что такое имя группы ресурсов Индексатора видео во время развертывания?	строка	Имя группы ресурсов учетной записи индексатора видео
Что такое имя учетной записи индексатора видео во время развертывания?	строка	Имя учетной записи индексатора видео

На портале Azure перейдите к кластеру, подключенному к Azure Arc.
В меню выберите Extensions>+ Add>Azure AI Video Indexer Arc Extension.
Нажмите кнопку создания. Откроется экран расширения индексатора видео ИИ.
Настройте расширение в сведениях о экземпляре:
1. Выберите подпискуи группу ресурсов для расширения.
2. Выберите регион и подключенный кластер k8.
3. Введите имя расширения.
4. Выберите учетную запись индексатора видео Azure AI, к которому будет подключено расширение.
5. Введите конечную точку кластера, IP-адрес или DNS-имя, которое будет использоваться в качестве конечной точки API.
6. Укажите класс хранилища, который вы хотите использовать для расширения, поддерживаемого дистрибутивом Kubernetes. Например, если вы используете AKS, можно использовать azurefile-cli. Дополнительные сведения о предопределенных классах хранения, поддерживаемых AKS, см. в статье Классы хранения в AKS. Если вы используете другой дистрибутив Kubernetes, список поддерживаемых предопределенных классов хранения или способ предоставления собственного класса см. в документации к своему дистрибутиву.
Выберите Просмотр и создание, а затем щелкните Создать.

Ручное развертывание

Выполните следующие действия, чтобы развернуть расширение Arc Индексатора видео в кластере с поддержкой Arc K8S. Прежде чем приступить к работе, это некоторые вещи, которые следует учитывать:

служба хранилища класс — расширение Индексатора видео требует, чтобы том хранилища должен быть доступен в кластере Kubernetes. Класс хранилища должен поддерживаться ReadWriteMany. Важно отметить, что процесс индексирования является интенсивным, поэтому операции ввода-вывода (операции ввода-вывода в секунду) тома хранилища будут существенно влиять на длительность процесса.
Управляемые ресурсы ИИ. Некоторые ресурсы ИИ Azure (Переводчик, транскрибирование и OCR) будут созданы в клиенте Майкрософт. Эти ресурсы предназначены только для вашей подписки и находятся в модели оплаты по мере использования. Если у вас уже есть ресурс Индексатора видео с поддержкой AI Arc, он будет связан с существующими ресурсами ИИ Azure.

Шаг 1. Создание кластера Azure Arc Kubernetes и его подключение к кластеру

Примечание.

Следующая команда предполагает наличие кластера Kubernetes и то, что текущий контекст в файле ./kube/config указывает на него.

Выполните следующую команду, чтобы подключить кластер. Эта команда развертывает агенты Azure Arc в кластере и устанавливает Helm версии 3.6.3 в папку .azure компьютера развертывания. Эта установка Helm 3 используется только для Azure Arc, и она не удаляет или не изменяет ранее установленные версии Helm на компьютере.

az connectedk8s connect --name myAKSCluster --resource-group myResourceGroup

Совет

Следуйте инструкциям из статьи о подключении кластера к Azure Arc в Документации Azure для полного пошагового руководства по этому процессу.

Шаг 2. Создание расширения индексатора видео Azure Arc

az k8s-extension create --name videoindexer \
    --extension-type Microsoft.videoindexer \
    --scope cluster \
    --release-namespace ${namespace} \
    --cluster-name ${connectedClusterName} \
    --resource-group ${connectedClusterRg} \
    --cluster-type connectedClusters \
    --version ${version} \
    --auto-upgrade-minor-version false \
    --config-protected-settings "speech.endpointUri=${speechUri}" \
    --config-protected-settings "speech.secret=${speechSecret}" \
    --config-protected-settings "translate.endpointUri=${translateUri}" \
    --config-protected-settings "translate.secret=${translateSecret}" \
    --config-protected-settings "ocr.endpointUri=$($csResourcesData.ocrCognitiveServicesEndpoint)" `
    --config-protected-settings "ocr.secret=$($csResourcesData.ocrCognitiveServicesPrimaryKey)" `
    --config "videoIndexer.accountId=${viAccountId}" \
    --config "frontend.endpointUri=${dnsName}" \
    --config "storage.storageClass=azurefile-csi"

Шаг 3. Создание и получение ключей ресурсов

Создание ключей ресурсов ИИ

$Subscription="<your subscription ID>"
$ResourceGroup="<your resource group name"
$AccountName="<your account name>"

az rest --method post --verbose --uri https://management.azure.com/subscriptions/${Subscription}/resourceGroups/${ResourceGroup}/providers/Microsoft.VideoIndexer/accounts/${AccountName}/CreateExtensionDependencies?api-version=2023-06-02-preview

Если ответ на запрос "принят" (202), это означает, что в настоящее время создаются ресурсы. Чтобы отслеживать состояние подготовки этих ресурсов, можно провести опрос заголовка расположения, возвращенного в ответе на предыдущий вызов. Как правило, для этого процесса требуется около одной минуты.

Ответ типа "конфликт" (409) означает, что ресурсы уже существуют для подписки, используйте команду get для получения ключей.

Получение ключей ресурсов ИИ

$Subscription="<your subscription ID>"
$ResourceGroup="<your resource group name"
$AccountName="<your account name>" 

az rest --method post --uri  https://management.azure.com/subscriptions/${Subscription}/resourceGroups/${ResourceGroup}/providers/Microsoft.VideoIndexer/accounts/${AccountName}/ListExtensionDependenciesData?api-version=2023-06-02-preview

Формат отклика:

{
    "speechCognitiveServicesPrimaryKey": "<key>",
    "speechCognitiveServicesSecondaryKey": "<key>",
    "translatorCognitiveServicesPrimaryKey": "<key>",
    "translatorCognitiveServicesSecondaryKey": "<key>",
    "speechCognitiveServicesEndpoint": "<uri>",
    "translatorCognitiveServicesEndpoint": "<uri>",
    "ocrCognitiveServicesPrimaryKey": "<key>",
    "ocrCognitiveServicesSecondaryKey": "<key>",
    "ocrCognitiveServicesEndpoint": "<uri>"
}

Дополнительные настройки

Параметры расширения по умолчанию задаются для обработки общих рабочих нагрузок для конкретных случаев, для настройки выделения ресурсов можно использовать следующие параметры:

Параметр	По умолчанию.	Description
AI.nodeSelector	-	Метка селектора узла, для которой назначены модули Pod ИИ (речь и перевод)
speech.resource.requests.cpu	1	Запрошенный номер ядер для модуля pod службы "Речь"
speech.resource.requests.mem	2Gi	Запрошенная емкость памяти для модуля pod службы "Речь"
speech.resource.limits.cpu	2	Ограничение числа ядер для модуля pod речи. должен быть > speech.resource.requests.cpu
speech.resource.limits.mem	3Gi	Ограничения емкости памяти для модуля pod службы "Речь". должен быть > speech.resource.requests.mem
translate.resource.requests.cpu	1	Запрошенный номер ядер для модуля pod перевода
translate.resource.requests.mem	16Gi	Запрошенная емкость памяти для модуля pod перевода
translate.resource.limits.cpu	--	Ограничение числа ядер для модуля pod перевода. должен быть > translate.resource.requests.cpu
translate.resource.limits.mem	--	Ограничение емкости памяти для модуля pod перевода. должен быть > translate.resource.requests.mem
videoIndexer.webapi.resources.requests.cpu	0,5	Число ядер для модуля pod веб-API
videoIndexer.webapi.resources.requests.mem	4Gi	Емкость памяти запроса для модуля pod веб-API
videoIndexer.webapi.resources.limits.cpu	1	Ограничение числа ядер для модуля pod веб-API
videoIndexer.webapi.resources.limits.mem	6Gi	Ограничения емкости памяти для модуля pod веб-API
videoIndexer.webapi.resources.limits.mem	6Gi	Ограничения емкости памяти для модуля pod веб-API
storage.storageClass	""	Используемый класс хранилища
storage.useExternalPvc	false	определяет, используется ли внешний ПВХ. Значение true, ВВВ VideoIndexer не установлен

Пример сценария развертывания

Ниже приведен пример сценария развертывания:

az k8s-extension create --name videoindexer \
    --extension-type Microsoft.videoindexer \
    .......
    --config AI.nodeSelector."beta\\.kubernetes\\.io/os"=linux
    --config "speech.resource.requests.cpu=500m" \
    --config "speech.resource.requests.mem=2Gi" \
    --config "speech.resource.limits.cpu=1" \
    --config "speech.resource.limits.mem=4Gi" \
    --config "videoIndexer.webapi.resources.requests.mem=4Gi"\
    --config "videoIndexer.webapi.resources.limits.mem=8Gi"\
    --config "videoIndexer.webapi.resources.limits.cpu=1"\

Шаг 4. Проверка развертывания

kubectl get pods -n video-indexer

Обновление расширения

Следующая команда может использоваться для обновления расширения с другой версией или с разными параметрами конфигурации при необходимости. Необходимо указать имя кластера и имя группы ресурсов.

az k8s-extension update --name videoindexer \
    --cluster-name ${connectedClusterName} \
    --resource-group ${connectedClusterRg} \
    --cluster-type connectedClusters \
    --version ${version} \

Пример

Пример сценария для развертывания кластера AKS с поддержкой Arc с расширением Индексатора видео