Сцены, снимки и опорные кадры

Внимание

Из-за объявления об Службы мультимедиа Azure выхода на пенсию Индексатор видео Azure объявляет корректировки функций Индексатора видео Azure. Ознакомьтесь с изменениями, связанными с выходом на пенсию службы мультимедиа Azure (AMS), чтобы понять, что это означает для учетной записи Индексатора видео Azure. Ознакомьтесь с руководством по обновлению и миграции AMS: VI.

Индексатор видео Azure AI поддерживает сегментирование видео в темпоральные единицы на основе структурных и семантических свойств. Эта возможность позволяет клиентам легко просматривать видеосодержимое, управлять им и изменять его, выбирая разные уровни детализации. Например, можно взять за основу сцены, снимки и опорные кадры, описанные в этом разделе.

Обнаружение сцены

Индексатор видео Azure AI определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие и состоит из ряда последовательных снимков, которые семантические связаны. Эскиз сцены — это первый опорный кадр ее базового кадра. Индексатор видео Azure AI сегментирует видео в сцены на основе цветовой согласованности между последовательными выстрелами и извлекает время начала и окончания каждой сцены. Обнаружение сцены считается сложной задачей, так как при этом обрабатываются количественные показатели семантических аспектов видеороликов.

Примечание.

Она применяется, когда видеоролики содержат не менее трех сцен.

Обнаружение сюжетов

Индексатор видео Azure AI определяет, когда снимок изменяется в видео на основе визуальных подсказок, отслеживая как резкие, так и постепенные переходы в цветовую схему смежных кадров. Метаданные кадра включают время начала и окончания, а также список опорных кадров, находящихся в составе этого кадра. Кадры снимаются последовательно одной камерой в одно и то же время.

Обнаружение опорных кадров

Индексатор видео Azure ai выбирает кадры, которые лучше всего представляют каждый снимок. Опорные кадры — это репрезентативные кадры, выбираемые из всего видеоролика на основе эстетических свойств (например, контрастности и стабильности). Индексатор видео azure AI извлекает список идентификаторов ключевых кадров в рамках метаданных выстрела, на основе которых клиенты могут извлечь ключевой кадр в виде изображения с высоким разрешением.

Извлечение опорных кадров

Чтобы извлечь опорные кадры с высоким разрешением для видеоролика, необходимо сначала отправить и проиндексировать видеоролик.

С помощью веб-сайта Индексатора видео Azure AI

Чтобы извлечь ключевые кадры с помощью веб-сайта Индексатора видео Azure AI, отправьте и индексируйте видео. По завершении задания индексации нажмите кнопку Загрузить и выберите Артефакты (ZIP). Вы скачайте папку артефактов на компьютер (убедитесь, что вы увидите предупреждение об артефактах ниже). Распакуйте и откройте папку. В папке _KeyframeThumbnail будут находиться все опорные кадры, извлеченные из видео.

Предупреждение

Для производственных целей не рекомендуется использовать данные непосредственно из папки артефактов. Артефакты — это промежуточные выходные данные процесса индексирования. Они по сути являются необработанными выходными данными различных обработчиков ИИ, которые анализируют видео; Схема артефактов может измениться со временем. Рекомендуется использовать API получения индексов видео, как описано в разделе "Получение аналитических сведений и артефактов", созданных API.

С помощью API индексатора видео Azure AI

Чтобы получить опорные кадры с помощью API Индексатора видео, отправьте и проиндексируйте видеоролик с помощью вызова Upload Video. По завершении задания индексации выполните вызов Get Video Index. Так у вас появится вся аналитика, извлеченная Индексатором видео из содержимого в файле JSON.

Будет получен список идентификаторов опорных кадров, входящих в состав метаданных каждого кадра.

"shots":[  
    {  
      "id":0,
      "keyFrames":[  
          {  
            "id":0,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:00.209",
                  "end":"0:00:00.251",
                  "duration":"0:00:00.042"
                }
            ]
          },
          {  
            "id":1,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:04.755",
                  "end":"0:00:04.797",
                  "duration":"0:00:00.042"
                }
            ]
          }
      ],
      "instances":[  
          {  
            "start":"0:00:00",
            "end":"0:00:06.34",
            "duration":"0:00:06.34"
          }
      ]
    },

]

Теперь вам потребуется использовать каждый из этих идентификаторов опорных кадров в вызове Get Thumbnails. Это приведет к загрузке изображений каждого опорного кадра на компьютер.

Обнаружение редакционных типов сюжетов

Опорные кадры связаны с сюжетами в файле JSON для выходных данных.

Тип сюжета, связанный с отдельным сюжетом в аналитике из файла JSON, представляет собой его редакционный тип. Эти характеристики типа сюжета могут пригодиться при редактировании видеороликов для создания клипов и трейлеров или при поиске определенного стиля опорного кадра в художественных целях. Различные типы определяются на основе анализа первого опорного кадра каждого сюжета. Сюжеты определяются масштабом, размером и расположением лиц, фигурирующих в первом опорном кадре.

Размер и масштаб сюжета вычисляются на основе расстояния между камерой и лицами в кадре. Используя эти свойства, Индексатор видео Azure AI обнаруживает следующие типы снимков:

• Широкий: показывается все тело человека.
• Средний: показываются верхняя часть тела и лицо человека.
• Крупный план: главным образом показывается лицо человека.
• Очень крупный план: показывается лицо человека на весь экран.

Типы сюжетов также можно определять по расположению символов субъекта относительно центра кадра. Это свойство определяет следующие типы снимков в Индексаторе видео Azure AI:

• Лицо слева: человек находится в левой части кадра.
• Лицо в центре: человек находится в центральной части кадра.
• Лицо справа: человек находится в правой части кадра.
• На улице: человек показан на улице.
• В помещении: человек показан в помещении.

Дополнительные характеристики

• Два сюжета: выполняется показ двух лиц среднего размера.
• Несколько лиц: более двух человек.