Извлечение именованных сущностей

Внимание

Из-за объявления об Службы мультимедиа Azure выхода на пенсию Индексатор видео Azure объявляет корректировки функций Индексатора видео Azure. Ознакомьтесь с изменениями, связанными с выходом на пенсию службы мультимедиа Azure (AMS), чтобы понять, что это означает для учетной записи Индексатора видео Azure. Ознакомьтесь с руководством по обновлению и миграции AMS: VI.

Извлечение именованных сущностей — это функция ИИ Индексатора видео Azure, которая использует обработку естественного языка (NLP) для извлечения аналитических сведений о расположениях, людях и брендах, отображаемых в аудио и изображениях в файлах мультимедиа. Извлечение именованных сущностей автоматически используется с транскрибированием и OCR, а его аналитические сведения основаны на извлеченных во время этих процессов. Полученные аналитические сведения отображаются на вкладке Аналитика и фильтруются по расположениям, людям и категориям бренда. Щелкнув именованную сущность, отображает его экземпляр в файле мультимедиа. В нем также отображается описание сущности и ссылка "Найти" по ссылке Bing распознаваемых сущностей.

Необходимые компоненты

Обзор заметки о прозрачности

Общие принципы

В этой статье рассматриваются именованные сущности и ключевые аспекты использования этой технологии ответственно. При принятии решения о том, как использовать и реализовать функцию СИ, необходимо учитывать многое:

  • Будет ли эта функция хорошо работать в моем сценарии? Перед развертыванием извлечения именованных сущностей в сценарии проверьте, как она выполняется с помощью данных реального времени и убедитесь, что она может обеспечить необходимую точность.
  • Есть ли возможности для обнаружения ошибок и реагирования на них? Продукты и функции, на основе искусственного интеллекта, не будут точными на 100%, поэтому рассмотрим способ выявления и реагирования на любые ошибки, которые могут возникнуть.

Просмотр аналитических сведений

Чтобы просмотреть аналитические сведения на веб-сайте, сделайте следующее:

  1. Перейдите к просмотру и проверка именованных сущностей.
  2. Перейдите к Аналитика и прокрутите страницу до именованных сущностей.

Чтобы отобразить аналитику извлечения именованных сущностей в JSON-файле, сделайте следующее:

  1. Нажмите кнопку "Скачать", а затем Аналитика (JSON).

  2. Именованные сущности делятся на три:

    • Торговые марки
    • Расположение
    • Люди
  3. Скопируйте текст и вставьте его в средство просмотра JSON.

    namedPeople: [
    {
    referenceId: "Satya_Nadella",
    referenceUrl: "https://en.wikipedia.org/wiki/Satya_Nadella",
    confidence: 1,
    description: "CEO of Microsoft Corporation",
    seenDuration: 33.2,
    id: 2,
    name: "Satya Nadella",
    appearances: [
    {
    startTime: "0:01:11.04",
    endTime: "0:01:17.36",
    startSeconds: 71,
    endSeconds: 77.4
    },
    {
    startTime: "0:01:31.83",
    endTime: "0:01:37.1303666",
    startSeconds: 91.8,
    endSeconds: 97.1
    },
    

Чтобы скачать JSON-файл с помощью API, используйте портал разработчика Индексатора видео Azure AI.

Компоненты извлечения именованных сущностей

Во время процедуры извлечения именованных сущностей файл мультимедиа обрабатывается следующим образом:

Компонент Определение
Исходный файл Пользователь отправляет исходный файл для индексирования.
Извлечение текста — Звуковой файл отправляется в API служб распознавания речи для извлечения транскрибирования.
— Примеры кадров отправляются в API визуального распознавания Azure для извлечения OCR.
Аналитика Затем аналитические сведения отправляются в API Анализ текста для извлечения сущностей. Например, Майкрософт, Париж или имя человека, например Пол или Сара.
Обработка и консолидация Затем обрабатываются результаты. Если применимо, ссылки Википедии добавляются, а бренды определяются с помощью встроенных и настраиваемых списков фирменной символики Индексатора видео.
Значение достоверности: предполагаемый уровень достоверности каждой именованной сущности вычисляется как диапазон от 0 до 1. Оценка достоверности представляет уверенность в точности результата. Например, 82% определенности представлена как оценка 0,82.

Примеры вариантов использования

  • Контекстная реклама, например, размещение рекламы для цепочки пиццы после кадров в Италии.
  • Глубокий поиск архивов мультимедиа для получения аналитических сведений о людях или расположениях для создания историй функций для новостей.
  • Создание словесного описания кадров с помощью обработки OCR для повышения доступности для визуального нарушения, например фонового рассказчика в фильмах.
  • Извлечение аналитических сведений о бренде na

Рекомендации и ограничения при выборе варианта использования

  • Тщательно рассмотрите точность результатов, чтобы повысить точность обнаружения, проверка качество звука и изображений, низкое качество звука и изображений может повлиять на обнаруженные аналитические данные.
  • Именованные сущности обнаруживают только аналитические сведения в аудио и изображениях. Логотипы в фирменном названии могут быть не обнаружены.
  • Внимательно рассмотрим, что при использовании для правоохранительных органов именованные сущности не всегда могут обнаруживать части звука. Чтобы обеспечить справедливые и высококачественные решения, объедините именованные сущности с человеческим надзором.
  • Не используйте именованные сущности для решений, которые могут иметь серьезные негативные последствия. Модели машинного обучения, которые извлекают текст, могут привести к незамеченному или неправильному выводу текста. Решения, основанные на неправильных выходных данных, могут иметь серьезные негативные последствия. Кроме того, рекомендуется включить человеческую проверку решений, которые имеют потенциал для серьезных последствий для отдельных лиц.

При использовании ответственного и тщательного индексатора видео Azure AI является ценным инструментом для многих отраслей. Чтобы уважать конфиденциальность и безопасность других пользователей, а также соблюдать местные и глобальные правила, рекомендуется следующее:

  • Всегда уважайте право человека на конфиденциальность и только прием видео для законных и оправданных целей.
  • Не раскрывайте неуместное содержимое о маленьких детях или членах семьи знаменитостей или других содержимого, которые могут быть вредными или представляют угрозу для личной свободы человека.
  • Приверженность уважению и продвижению прав человека в разработке и развертывании проанализированных средств массовой информации.
  • При использовании сторонних материалов следует учитывать все существующие авторские права или разрешения, необходимые перед распространением содержимого, полученного от них.
  • Всегда искать юридическую консультацию при использовании содержимого из неизвестных источников.
  • Всегда получайте соответствующие юридические и профессиональные советы, чтобы обеспечить защиту отправленных видео и иметь надлежащие средства контроля для сохранения целостности содержимого и предотвращения несанкционированного доступа.
  • Предоставьте канал обратной связи, позволяющий пользователям и пользователям сообщать о проблемах со службой.
  • Помните о любых применимых законах или правилах, которые существуют в вашей области, касающиеся обработки, анализа и совместного использования средств массовой информации, содержащих людей.
  • Держите человека в цикле. Не используйте любое решение в качестве замены человеческого надзора и принятия решений.
  • Полностью изучите и просмотрите потенциал любой модели ИИ, которую вы используете для понимания возможностей и ограничений.