Часто задаваемые вопросы об индексаторе видео в Azure AI

Индексатор видео azure AI — это облачное приложение, часть служб ИИ Azure, позволяет извлекать аналитические сведения из видео с помощью видео-моделей индексатора видео и аудио. Дополнительные сведения см. в этом обзоре.

Некоторые операции, которые индексатор видео Azure AI может выполнять в файлах мультимедиа, включают:

• Определение и извлечение речи и определение говорящих.
• Определение и извлечение экранного текста в видео.
• Распознавание объектов на видеофайле.
• Определите бренды (например, Майкрософт) из звуковых треков и текста на экране в видео.
• Определение и распознавание лиц из базы данных знаменитостей и определяемой пользователем базы данных лиц.
• Извлечения обговариваемых тем и необязательно упомянутых в содержимом аудио и видео.
• Создание субтитров или скрытых субтитров из звуковой дорожки.

Дополнительные сведения и дополнительные возможности Индексатора видео Azure см. в разделе "Обзор".

Индексатор видео Azure ai включает пробную версию, которая предоставляет вам 2400 минут бесплатного индексирования при использовании веб-сайта Индексатора видео Azure ИИ или API индексатора видео Azure (см . портал разработчика).

Чтобы индексировать видео и звуки в большом масштабе, вы можете подключить Индексатор видео Azure к платной подписке Microsoft Azure. Дополнительные сведения о ценах можно найти на странице с ценами.

Дополнительные сведения о начале работы приводятся в этой статье.

Вы можете использовать веб-интерфейс Индексатора видео Azure ai для оценки, настройки и управления учетной записью без написания кода. Когда вы готовы к разработке более сложных приложений, вы можете использовать API Индексатора видео Azure для интеграции Индексатора видео Azure СИ в собственные приложения, веб-сайты или пользовательские рабочие процессы с помощью бессерверных технологий, таких как Azure Logic Apps или Функции Azure.

Функции распознавания лиц и распознавания знаменитостей индексатора видео Azure — это функции ограниченного доступа, требующие регистрации.

Найдите форму регистрации и дополнительные сведения об ограниченном доступе в этой статье.

Кроме того, ознакомьтесь со следующими статьями: запись блога объявления и инвестиции и защита записи блога о распознавании лиц.

Нет, Индексатор видео Azure AI обеспечивает интеграцию нескольких моделей машинного обучения с одним конвейером. Индексирование видео или аудиофайла с помощью Индексатора видео Azure AI извлекает полный набор аналитических сведений, извлеченных на одной общей временной шкале без каких-либо навыков машинного обучения или знаний по алгоритмам, необходимым для части клиента.

Индексатор видео Azure AI поддерживает наиболее распространенные форматы мультимедиа. См . матрицу поддержки индексатора видео Azure ИИ и ограничения служб.

На веб-портале Индексатора видео Azure ai можно отправить файл мультимедиа с помощью диалогового окна отправки файлов или наказать URL-адрес, который непосредственно размещает исходный файл. URL-адреса для доступа к файлам через iFrame или код внедрения (как в этом примере) не поддерживаются.

Да. Для доступа к необработанным видеофайлам из индексатора видео можно использовать метод "Получить URL-адрес файла источника видео", чтобы получить URL-адрес ФАЙЛА MP4 и поместить его в тег видео.

В индексаторе видео Azure AI можно создать проект и добавить несколько файлов для стежки и отрисовки в виде нового файла. Число исходных файлов равно 10 на веб-сайте и 100 в API.

Время, необходимое для индексирования видео или аудиофайла, как с помощью API индексатора видео Azure и веб-интерфейса индексатора видео Azure AI, зависит от нескольких параметров, таких как длина и качество файла, количество аналитических сведений, найденных в файле, помимо прочего. Однако чтобы получить более точное представление, мы рекомендуем вам запустить несколько тестовых файлов со своим собственным содержимым и вычислить среднее значение.

Да, вы можете интегрировать Индексатор видео Azure AI в бессерверные технологии, такие как Logic Apps, Flow и Функции Azure. Дополнительные сведения о соединителях приложения логики и потока для Индексатора видео Azure AI см. здесь. Вы можете увидеть некоторые проекты автоматизации, выполненные партнерами в репозитории примеров индексатора видео Azure AI.

На странице регионов можно увидеть, какие регионы Azure AI Video Indexer доступны на странице регионов .

Да. В Индексаторе видео Azure ai можно настроить некоторые из доступных моделей, чтобы лучше соответствовать вашим потребностям.

Например, наша модель Person поддерживает готовое распознавание лиц 1 000 000 знаменитостей, но ее также можно обучить для распознавания других лиц, которые не содержатся в этой базе данных.

Дополнительные сведения см. в статьях о настройке моделей людей,торговых марок и языков.

Да. Нажмите кнопку редактирования видео из отображения библиотеки или кнопку "Открыть в редакторе" с экрана проигрывателя, чтобы открыть вкладку "Проекты". Вы можете создать проект и добавить дополнительные видео из библиотеки, чтобы изменить их вместе, как только вы сделаете это, вы можете отобразить видео и скачать его.

Если вы хотите получить аналитические сведения о новом видео, индексируйте его с помощью Индексатора видео Azure AI и появится в библиотеке со своими аналитическими сведениями.

Если есть несколько аудиопотоков, индексатор Видео Azure принимает первый из них и будет обрабатывать только этот поток. В любом аудиопотоке Индексатор видео Azure AI принимает различные каналы (если они присутствуют) и обрабатывает их вместе как моно. Для обработки потоков и каналов можно использовать команды ffmpeg на файле перед его индексацией.

Подробное описание перехода на правильный домен см. в разделе "Переключение между клиентами".

Приложение, работающее в контейнерах Kubernetes с поддержкой Arc, которое можно развернуть за пределами Azure для извлечения и использования аналитических сведений о аудио из файлов мультимедиа. Будущие версии также предоставляют аналитические сведения о видео.

Azure Arc — это мост, который расширяет платформу Azure, которая помогает создавать приложения и службы с гибкостью для выполнения в центрах обработки данных, в пограничных средах и в многооблачных средах. Разработка облачных приложений с согласованными моделями разработки, операций и безопасности.

Для участия в предварительной версии требуется активная подписка Azure, подключение к Azure, среда, которая может выполнять расширение (см. [требования в кратком руководстве и разрешение на присоединение к предварительной версии. Вы можете отправить запрос на присоединение к предварительной версии здесь.

Вы можете выполнить краткое руководство и воспользоваться автоматизированными сценариями Kubernetes с поддержкой Azure Arc.

Во время установки расширения контейнеры машинного обучения загружаются в пограничные вычислительные ресурсы. Некоторые из этих контейнеров могут иметь размер нескольких гигабайтов, а время загрузки зависит от сетевых условий. В некоторых случаях загрузка может занять более 15 минут.

Индексатор видео, включенный Arc, требуется класс хранилища, настроенный с помощью readwritemany. Если класс хранилища уже установлен в качестве по умолчанию кластера во время установки, он будет использоваться. В противном случае, если необходимо настроить другое хранилище, его можно передать в качестве свойства во время установки расширения.

Да. API расширения Индексатора видео доступен через интерфейсный модуль. Вы можете ограничить доступ к IP-адресу или полному домену. Кроме того, так как все взаимодействие выполняется через безопасные протоколы трафика, используя действительный сертификат ЦС, и настройка уровня безопасности, например NSG или брандмауэра, чтобы ограничить доступ к этой конечной точке, рекомендуется.

Ознакомьтесь с руководством по устранению неполадок.

Обмен данными между клиентским приложением и учетной записью Индексатора видео Azure AI шифруется с помощью протокола TLS. TLS — это стандартный протокол шифрования, обеспечивающий конфиденциальность и целостность данных, пересылаемых между клиентами и службами через Интернет. Дополнительные сведения см. в статье Протокол TLS. Индексатор видео обеспечивает минимальное значение TLS версии 1.2. Клиенты не могут контролировать костюмы шифров, мы будем выбирать первое совпадение между клиентом и сервером, идущим от сильного до слабого.

Да, если вы не удалите файл из Индексатора видео Azure AI, либо с помощью веб-сайта индексатора видео Azure AI, либо API, ваши видео и аудиофайлы хранятся. Для пробной версии видео и аудиофайлы, которые вы индексировали, хранятся в регионе Azure "Восточная часть США". Для остальных учетных записей видео- и аудиофайлы хранятся в учетной записи хранения вашей подписки Azure.

По умолчанию данные реплицируются в парном регионе, в котором развернут экземпляр Индексатора видео Azure AI. Для региона с требованиями к месту расположения данных данные всегда хранятся в одном регионе. Дополнительные сведения см. в разделе "Другие вопросы о конфиденциальности".

Да, вы всегда можете удалить видео и аудиофайлы, а также любые метаданные и аналитические сведения, извлеченные из них индексатором видео Azure AI. После удаления файла из Индексатора видео Azure AI файл и его метаданные и аналитические сведения окончательно удаляются из Индексатора видео Azure AI. Но если вы настроили собственное решение резервного копирования в службе хранилища Azure, файл сохраняется в службе хранилища Azure.

Да, только администраторы учетной записи могут предоставлять и отзывать приглашения для пользователей использовать учетную запись, а также назначать права редактирования и доступа только для чтения.

Доступ к видео- и аудиосодержимому, которое настроено как общедоступное в параметрах конфиденциальности, получит любой человек, у которого есть ссылка на это содержимое и извлеченные сведения. Доступ к видео- и аудиосодержимому, которое настроено как закрытое в параметрах конфиденциальности, имеют только пользователи, которые были приглашены в учетную запись, которой принадлежит это содержимое. Параметры конфиденциальности содержимого также применяются к метаданным и аналитическим сведениям, извлеченным индексатором видео Azure AI. Параметры конфиденциальности указываются при отправке файла видео или аудио. Также вы можете изменить уровень конфиденциальности после индексирования.

В соответствии с условиями веб-служб Azure (OST), вы полностью владеете своим контентом, и корпорация Майкрософт получит доступ только к содержимому и метаданным и аналитическим сведениям, которые индексатор видео Azure ИИ извлекает из содержимого в соответствии с OST и заявлением о конфиденциальности Майкрософт.

Нет, настраиваемые модели, создаваемые в вашей учетной записи, недоступны для любой другой учетной записи. Индексатор видео Azure в настоящее время позволяет создавать пользовательские бренды, языки и модели пользователей в вашей учетной записи. Эти модели доступны только в учетной записи, в которой они были созданы.

Да, содержимое и его аналитические сведения хранятся в регионе Azure (за исключением регионов Сингапур и Южная Бразилия), если в подписке Azure нет ручной конфигурации, в которой используется несколько регионов Azure.

Данные клиента в регионе реплицируются по причинам непрерывности бизнес-процессов и аварийного восстановления в парный регион.

Индексатор видео Azure AI охватывается заявлением о конфиденциальности Майкрософт. Заявление о конфиденциальности описывает все процессы, используемые корпорацией Майкрософт для обработки персональных данных, а также правила и цели такой обработки. См. дополнительные сведения о конфиденциальности в центре управления безопасностью Майкрософт.

Индексатор видео Azure в настоящее время имеет сертификацию SOC. Чтобы просмотреть сертификацию Индексатора видео Azure AI, обратитесь к Центру управления безопасностью Майкрософт.

При отправке видео в Индексатор видео Azure AI можно выбрать один из двух параметров конфиденциальности: частный и общедоступный. Общедоступные видеоролики доступны всем пользователям, включая анонимных и неопознанных пользователей. Доступ к частным ограничен членами учетной записи.

При отправке видео в Индексатор видео Azure AI автоматически выполняется алгоритмами и моделями, чтобы убедиться, что неуместное содержимое не будет представлено публично. Если обнаружено подозрительное видео, которое подпадает под возрастные ограничения, установить его как общедоступное будет невозможно. Тем не менее члены учетной записи смогут все же получать к нему доступ как к частному видео (просматривать, скачивать аналитические сведения и извлеченные артефакты и выполнять другие операции, доступные для членов учетной записи).

Чтобы задать для видео общий доступ, можно выполнить одно из следующих действий.

• Создайте собственный уровень интерфейса (например, приложение или веб-сайт) и используйте его для взаимодействия со службой Индексатора видео в Azure AI. Таким образом видео остается частным на нашем веб-сайте , и пользователи могут взаимодействовать с ним через ваш интерфейс. Например, вы по-прежнему сможете получать аналитические сведения или разрешить просмотр видео в вашем собственном интерфейсе.

• Запросите экспертную проверку содержимого, что приведет к удалению ограничения, предполагая, что содержимое не подпадает под возрастные ограничения.

  Этот параметр можно изучить, если веб-сайт Индексатора видео Azure используется непосредственно пользователями в качестве слоя интерфейса, а также для общедоступного просмотра (не прошедших проверку подлинности).

API Индексатора видео Azure позволяют индексировать, извлекать метаданные, управление ресурсами, перевод, внедрение, настройку моделей и многое другое. Дополнительные сведения об использовании API индексатора видео в Azure см. на портале разработчика Индексатора видео Azure.

Сейчас клиентские пакеты SDK не предоставляются. Команда индексатора видео Azure работает над пакетами SDK и планирует доставить их в ближайшее время.

Следуйте инструкциям в руководстве по началу работы с API индексатора видео Azure.

API индексатора видео Azure содержит API авторизации и API операций. API авторизации содержит вызовы, которые предоставляет вам маркер доступа. Каждый вызов к API Operations должен быть связан с маркером доступа, соответствующим области авторизации вызова.

Маркеры доступа необходимы для использования API индексатора видео Azure для обеспечения безопасности. Это гарантирует, что все вызовы поступают от вас или пользователей, имеющих разрешения на доступ к вашей учетной записи.

• Уровень учетной записи — маркеры доступа этого уровня позволяют выполнять операции на уровне учетной записи или видео. Например, отправить видео, вывести список всех видео, получить аналитические сведения.
• Уровень пользователя — маркеры доступа этого уровня позволяют выполнять операции на уровне пользователя. Например, получить сведения о соответствующих учетных записях.
• Уровень видео — маркеры доступа этого уровня позволяют выполнять операции с определенным видео. Например, получить аналитические сведения о видео, скачать субтитры, получить мини-приложения и т. д.

Срок действия маркеров доступа истекает каждый час, поэтому создавать маркер необходимо ежечасно.

Сведения для входа см. в примечании к выпуску.

После регистрации учетной записи электронной почты с помощью поставщика удостоверений нельзя использовать эту учетную запись электронной почты с другим поставщиком удостоверений.

Они хранятся службой индексатора видео Azure ИИ и могут получаться с помощью API-интерфейсов получения индекса видео и получения URL-адресов скачивания видео артефактов.

За вызов API не взимается дополнительная плата от Индексатора видео Azure AI.

120 запросов в минуту являются стандартными, но могут выполняться до 600 запросов в минуту.

Индексатор видео Azure AI использует простую модель ценообразования по мере использования на основе длительности входных данных содержимого, которые вы индексируют. За кодирование, потоковую передачу, хранение, использование сети и зарезервированные единицы мультимедиа может взиматься дополнительная плата. Дополнительные сведения см. на странице цен.

При отправке видео на индексирование пользователю нужно указать тип индексирования: анализ видео, анализ аудио или анализ видео и аудио. От этого зависит, по какому номеру SKU будет начисляться плата. Если во время обработки возникнет критическая ошибка, в качестве ответа будет возвращен код ошибки. В таких случаях счет не выставляется. Критическая ошибка может быть вызвана ошибкой в нашем коде или критическим сбоем внутренней зависимости службы. Такие ошибки, как некорректный идентификатор или некорректное извлечение аналитических сведений, не считаются критическими и возвращают соответствующий ответ. Во всех случаях с возвратом допустимого ответа (без кода ошибки) счет будет выставлен.

Да, Индексатор видео Azure AI предлагает пробную учетную запись, которая предоставляет вам 2400 минут бесплатного индексирования при использовании веб-сайта Индексатора видео Azure или API индексатора видео Azure (см . портал разработчика).

Отправьте подробное описание запроса в службу поддержки visupport@microsoft.comклиентов Индексатора видео. В том числе: модель ИИ, на которую вы ссылаетесь, результат, который вы хотите отказаться, причина, по которой мы должны отказаться от результатов и объяснение того, почему вы просите это.

Обработка запроса может занять несколько недель.