Идентификация меток

  • Статья

Внимание

Из-за объявления об Службы мультимедиа Azure выхода на пенсию Индексатор видео Azure объявляет корректировки функций Индексатора видео Azure. Ознакомьтесь с изменениями, связанными с выходом на пенсию службы мультимедиа Azure (AMS), чтобы понять, что это означает для учетной записи Индексатора видео Azure. Ознакомьтесь с руководством по обновлению и миграции AMS: VI.

Идентификация меток — это функция ИИ Индексатора видео Azure, которая определяет визуальные объекты, такие как солнцезащитные очки или действия, такие как плавание, отображаемые в видеоматериалах файла мультимедиа. Существует множество категорий идентификации меток и после извлечения, экземпляры идентификации меток отображаются на вкладке Аналитика и могут быть переведены на более чем 50 языков. Щелкнув метку, откроется экземпляр в файле мультимедиа, выберите "Воспроизвести назад" или "Далее", чтобы просмотреть дополнительные экземпляры.

Необходимые компоненты

Обзор заметки о прозрачности

Общие принципы

В этой статье рассматриваются идентификация меток и основные рекомендации по использованию этой технологии ответственно. При принятии решения о том, как использовать и реализовать функцию СИ, необходимо учитывать многое:

  • Хорошо ли эта функция работает в моем сценарии? Прежде чем развертывать идентификацию меток в вашем сценарии, проверьте, как она выполняется с использованием данных реального времени и убедитесь, что она может обеспечить необходимую точность.
  • Есть ли возможности для обнаружения ошибок и реагирования на них? Продукты и функции, на основе искусственного интеллекта, не будут точными на 100%, поэтому рассмотрим способ выявления и реагирования на любые ошибки, которые могут возникнуть.

Просмотр аналитических сведений

При работе с веб-сайтом экземпляры отображаются на вкладке Аналитика. Их также можно создать в списке с категоризированным списком в JSON-файле, который включает идентификатор меток, категорию, экземпляры вместе с конкретным временем начала и окончания каждой метки, как показано ниже.

Чтобы отобразить аналитические сведения об идентификации меток в JSON-файле, сделайте следующее:

  1. Нажмите кнопку "Скачать", а затем Аналитика (JSON).

  2. Скопируйте текст, вставьте его в средство просмотра JSON.

    "labels": [
    {
    "id": 1,
    "name": "human face",
    "language": "en-US",
    "instances": [
        {
        "confidence": 0.9987,
        "adjustedStart": "0:00:00",
        "adjustedEnd": "0:00:25.6",
        "start": "0:00:00",
        "end": "0:00:25.6"
        },
        {
        "confidence": 0.9989,
        "adjustedStart": "0:01:21.067",
        "adjustedEnd": "0:01:41.334",
        "start": "0:01:21.067",
        "end": "0:01:41.334"
        }
    ]
    },
    {
    "id": 2,
    "name": "person",
    "referenceId": "person",
    "language": "en-US",
    "instances": [
        {
        "confidence": 0.9959,
        "adjustedStart": "0:00:00",
        "adjustedEnd": "0:00:26.667",
        "start": "0:00:00",
        "end": "0:00:26.667"
        },
        {
        "confidence": 0.9974,
        "adjustedStart": "0:01:21.067",
        "adjustedEnd": "0:01:41.334",
        "start": "0:01:21.067",
        "end": "0:01:41.334"
        }
    ]
    },

Чтобы скачать JSON-файл с помощью API, портал разработчика Индексатора видео в Azure AI.

Компоненты меток

Во время процедуры меток объекты в файле мультимедиа обрабатываются следующим образом:

Компонент Определение
Оригинал Пользователь отправляет исходный файл для индексирования.
Расстановка тегов Изображения помечены и помечены. Например, дверь, стул, женщина, наушники, джинсы.
Фильтрация и агрегирование Теги фильтруются в соответствии с уровнем достоверности и агрегируются в соответствии с их категорией.
Уровень достоверности Предполагаемый уровень достоверности каждой метки вычисляется как диапазон от 0 до 1. Оценка достоверности представляет уверенность в точности результата. Например, 82% определенности представлена как оценка 0,82.

Примеры вариантов использования

  • Извлечение меток из кадров для контекстной рекламы или фирменной символики. Например, размещение рекламы для пива после кадров на пляже.
  • Создание словесного описания кадров для повышения специальных возможностей для визуального нарушения, например фоновый рассказчик в фильмах.
  • Подробный поиск архивов мультимедиа для получения аналитических сведений о конкретных объектах для создания историй функций для новостей.
  • Использование соответствующих меток для создания содержимого для трейлеров, выделения репли, социальных сетей или новых клипов.

Рекомендации по выбору варианта использования

  • Тщательно рассмотрите точность результатов, чтобы повысить точность обнаружения, проверка качество видео, низкое качество видео может повлиять на обнаруженные аналитические сведения.
  • Внимательно рассмотрите возможность использования для правоохранительных органов, которые метки потенциально не могут обнаруживать части видео. Чтобы обеспечить справедливые и высококачественные решения, объедините метки с человеческим надзором.
  • Не используйте метки для принятия решений, которые могут иметь серьезные негативные последствия. Модели машинного обучения могут привести к незамеченным или неправильным выходным данным классификации. Решения, основанные на неправильных выходных данных, могут иметь серьезные негативные последствия. Кроме того, рекомендуется включить человеческую проверку решений, которые имеют потенциал для серьезных последствий для отдельных лиц.

При использовании ответственно и тщательно индексатора видео Azure AI является ценным инструментом для многих отраслей. Чтобы уважать конфиденциальность и безопасность других пользователей, а также соблюдать местные и глобальные правила, рекомендуется следующее:

  • Всегда уважайте право человека на конфиденциальность и только прием видео для законных и оправданных целей.
  • Не раскрывайте неуместное содержимое о маленьких детях или членах семьи знаменитостей или других содержимого, которые могут быть вредными или представляют угрозу для личной свободы человека.
  • Приверженность уважению и продвижению прав человека в разработке и развертывании проанализированных средств массовой информации.
  • При использовании сторонних материалов следует учитывать все существующие авторские права или разрешения, необходимые перед распространением содержимого, полученного от них.
  • Всегда искать юридическую консультацию при использовании содержимого из неизвестных источников.
  • Всегда получайте соответствующие юридические и профессиональные советы, чтобы обеспечить защиту отправленных видео и иметь надлежащие средства контроля для сохранения целостности содержимого и предотвращения несанкционированного доступа.
  • Предоставьте канал обратной связи, позволяющий пользователям и пользователям сообщать о проблемах со службой.
  • Помните о любых применимых законах или правилах, которые существуют в вашей области, касающиеся обработки, анализа и совместного использования средств массовой информации, содержащих людей.
  • Держите человека в цикле. Не используйте любое решение в качестве замены человеческого надзора и принятия решений.
  • Полностью изучите и просмотрите потенциал любой модели ИИ, которую вы используете для понимания возможностей и ограничений.

Дополнительные сведения об идентификации меток