Определение лиц

  • Статья

Внимание

Из-за объявления об Службы мультимедиа Azure выхода на пенсию Индексатор видео Azure объявляет корректировки функций Индексатора видео Azure. Ознакомьтесь с изменениями, связанными с выходом на пенсию службы мультимедиа Azure (AMS), чтобы понять, что это означает для учетной записи Индексатора видео Azure. Ознакомьтесь с руководством по обновлению и миграции AMS: VI.

Обнаружение лиц, функция Индексатора видео в Azure AI, автоматически обнаруживает лица в файле мультимедиа, а затем объединяет экземпляры похожих лиц в группы. Модель распознавания знаменитостей затем работает, чтобы признать знаменитостей.

Модель распознавания знаменитостей охватывает около 1 миллиона лиц и основана на часто запрашиваемых источниках данных. Лица, которые Индексатор видео не распознает, как знаменитости по-прежнему обнаружены, но остаются без имени. Вы можете создать собственную пользовательскую модель для обучения Индексатора видео для распознавания лиц, которые не распознаны по умолчанию.

Аналитические сведения об обнаружении лиц создаются в виде списка категорий в JSON-файле, который содержит эскиз и имя или идентификатор для каждого лица. При выборе эскиза лица отображаются такие сведения, как имя человека (если они были распознаны), процент видео, которое отображается человек, и биография графии человека, если они знаменитости. Вы также можете прокручивать между экземплярами в видео, где отображается пользователь.

Внимание

Для поддержки принципов ответственного искусственного интеллекта Майкрософт доступ к идентификации лиц, настройке и функциям распознавания знаменитостей ограничен и основан на критериях соответствия и использования. Функции идентификации лиц, настройки и распознавания знаменитостей доступны для управляемых клиентов и партнеров Майкрософт. Чтобы применить к доступу , используйте форму приема распознавания лиц.

Необходимые компоненты

Ознакомьтесь с примечанием о прозрачности для Индексатора видео в Azure AI.

Общие принципы

В этой статье рассматриваются вопросы обнаружения лиц и ключевые аспекты использования этой технологии. Необходимо учитывать множество важных факторов, когда вы решите, как использовать и реализовать функцию СИ, в том числе:

  • Будет ли эта функция хорошо работать в вашем сценарии? Перед развертыванием обнаружения лиц в вашем сценарии проверьте, как он выполняется с помощью реальных данных. Убедитесь, что он может обеспечить необходимую точность.
  • Вы оснащены для выявления и реагирования на ошибки? Продукты ИИ и функции не являются точными на 100 процентов, поэтому рассмотрим способ выявления и реагирования на любые возникающие ошибки.

Ключевые термины

Термин Определение
Понимание Информация и знания, производные от обработки и анализа видео и аудиофайлов. Аналитические сведения могут включать обнаруженные объекты, люди, лица, ключевые кадры и переводы или транскрибирования.
распознавание лиц Анализ изображений для идентификации лиц, отображаемых на изображениях. Этот процесс реализуется через API распознавания лиц Azure.
JSON Зарегистрированные изображения людей преобразуются в шаблоны, которые затем используются для распознавания лиц. Функции, интерпретируемые компьютером, извлекаются из одного или нескольких образов отдельного человека для создания шаблона этого человека. Образы регистрации или пробы не хранятся API распознавания лиц, и исходные изображения не могут быть восстановлены на основе шаблона. Качество шаблона является ключевым детерминантом для точности в результатах.
регистрация Процесс регистрации изображений отдельных лиц для создания шаблона, чтобы их можно было распознать. Когда пользователь регистрируется в системе проверки, используемой для проверки подлинности, их шаблон также связан с основным идентификатором, используемым для определения шаблона проверки. Высококачественные изображения и изображения, представляющие естественные вариации в том, как человек выглядит (например, носить очки и не носить очки) создают высококачественные шаблоны регистрации.
глубокий поиск Возможность получения только соответствующих видеофайлов и аудиофайлов из видеотеки путем поиска определенных терминов в извлеченных аналитических данных.

Просмотр аналитики

Чтобы просмотреть экземпляры обнаружения лиц на веб-сайте Индексатора видео Azure AI, выполните следующие действия.

  1. При отправке файла мультимедиа в диалоговом окне "Отправка и индекс " выберите дополнительные параметры.
  2. В меню слева выберите Люди модели. Выберите модель для применения к файлу мультимедиа.
  3. После отправки и индексирования файла перейдите к Аналитика и прокрутите страницу до Люди.

Чтобы просмотреть аналитические сведения об обнаружении лиц в JSON-файле:

  1. На веб-сайте Индексатора видео Azure AI откройте отправленное видео.

  2. Выберите "Скачать> Аналитика (JSON)".

  3. В разделе insightsскопируйте faces элемент и вставьте его в средство просмотра JSON.

    "faces": [
    {
    "id": 1785,
    "name": "Emily Tran",
    "confidence": 0.7855,
    "description": null,
    "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
    "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
    "title": null,
    "imageUrl": null,
    "thumbnails": [
        {
        "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
        "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:00.033",
            "start": "0:00:00",
            "end": "0:00:00.033"
            }
        ]
        },
        {
        "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
        "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:05",
            "adjustedEnd": "0:00:05.033",
            "start": "0:00:05",
            "end": "0:00:05.033"
            }
        ]
        },
    ]
    }
]

Чтобы скачать JSON-файл с помощью API, перейдите на портал разработчика Индексатора видео Azure.

Внимание

При просмотре обнаружения лиц в пользовательском интерфейсе могут не отображаться все лица, которые отображаются в видео. Мы предоставляем только группы лиц, которые имеют уверенность более 0,5, и лицо должно отображаться не менее 4 секунд или 10 процентов от значения video_duration. Только если эти условия выполнены, мы показываем лицо в пользовательском интерфейсе и в файле Аналитика.json. Вы всегда можете получить все экземпляры лиц из файла артефактов лиц с помощью API: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]

Компоненты обнаружения лиц

В следующей таблице описывается обработка изображений в файле мультимедиа во время процедуры обнаружения лиц:

Компонент Определение
исходный файл Пользователь отправляет исходный файл для индексирования.
обнаружение и агрегирование Детектор лиц идентифицирует лица в каждом кадре. Затем лица агрегируются и группируются.
ввода Модель знаменитостей обрабатывает агрегированные группы, чтобы признать знаменитостей. Если вы создали собственную модель людей, она также обрабатывает группы для распознавания других людей. Если люди не распознаются, они помечены как Unknown1, Unknown2 и т. д.
значение достоверности Если применимо для известных лиц или лиц, которые определены в настраиваемом списке, ожидаемый уровень достоверности каждой метки вычисляется как диапазон от 0 до 1. Оценка достоверности представляет уверенность в точности результата. Например, 82-процентная уверенность представлена как оценка 0,82.

Примеры вариантов использования

В следующем списке описаны примеры распространенных вариантов использования для обнаружения лиц:

  • Сводные сведения о том, где актер появляется в фильме или повторно использует кадры путем глубокого поиска конкретных лиц в архивах организации для понимания конкретной знаменитости.
  • Получите улучшенную эффективность при создании историй признаков в информационном агентстве или спортивном агентстве. Примеры включают глубокий поиск знаменитости или футболиста в архивах организации.
  • Используйте лица, отображаемые в видео, чтобы создавать рекламные акции, трейлеры или выделения. Индексатор видео может помочь, добавив ключевые кадры, маркеры сцены, метки времени и метки, чтобы редакторы контента инвестировали меньше времени в просмотр многочисленных файлов.

Рекомендации по выбору варианта использования

Обнаружение лиц является ценным инструментом для многих отраслей, когда он используется ответственно и тщательно. Чтобы уважать конфиденциальность и безопасность других пользователей, а также соблюдать местные и глобальные правила, рекомендуется следовать этим рекомендациям.

  • Внимательно рассмотрим точность результатов. Чтобы повысить точность обнаружения, проверка качество видео. Низкое качество видео может повлиять на представленные аналитические сведения.
  • Внимательно просмотрите результаты, если вы используете обнаружение лиц для правоохранительных органов. Люди не может быть обнаружено, если они маленькие, сидящие, приседающие или препятствовающие объектам или другим людям. Чтобы обеспечить справедливые и высококачественные решения, объедините автоматизацию на основе распознавания лиц с человеческим надзором.
  • Не используйте обнаружение лиц для решений, которые могут иметь серьезные, неблагоприятные последствия. Решения, основанные на неправильных выходных данных, могут иметь серьезные, неблагоприятные последствия. Рекомендуется включить рассмотрение человеческих решений, которые имеют потенциал для серьезных последствий для отдельных лиц.
  • Всегда уважайте право человека на конфиденциальность и прием видео только для законных и оправданных целей.
  • Не раскрывайте неуместное содержимое о маленьких детях, членах семьи знаменитостей или других содержимом, которые могут быть вредными или представлять угрозу для личной свободы человека.
  • Приверженность уважению и продвижению прав человека в разработке и развертывании проанализированных средств массовой информации.
  • Если вы используете сторонние материалы, помните о существующих авторских правах или необходимых разрешениях перед распространением содержимого, полученного от них. 
  • Всегда искать юридическую консультацию, если вы используете содержимое из неизвестного источника. 
  • Всегда получите соответствующие юридические и профессиональные советы, чтобы обеспечить защиту отправленных видео и что они имеют надлежащие средства контроля для сохранения целостности содержимого и предотвращения несанкционированного доступа.
  • Предоставьте канал обратной связи, позволяющий пользователям и пользователям сообщать о проблемах, которые могут возникнуть в службе.
  • Помните о любых применимых законах или правилах, которые существуют в вашей области об обработке, анализе и совместном использовании средств массовой информации, которые поддерживают людей. 
  • Держите человека в цикле. Не используйте какое-либо решение в качестве замены человеческого надзора и принятия решений.
  • Полностью изучите и просмотрите потенциал любой модели ИИ, которую вы используете для понимания возможностей и ограничений. 

Связанный контент

Дополнительные сведения об ответственном ИИ:

Аналитика индексатора видео в Azure AI: