Получение аналитических сведений об обнаружении объектов

Статья
10/09/2024

Обнаружение объектов

Индексатор видео Azure AI обнаруживает объекты в видео, таких как автомобили, сумки и рюкзаки, а также ноутбуки.

Поддерживаемые объекты

airplane
яблоки
рюкзак
банан
бейсбольная перчатка
кровать
скамейка
велосипед
лодка
book
бутылка
bowl
брокколи
автобус
торт

автомобиль
морковь
Сотовые телефоны
стул
clock
компьютерная мышь
кушетка
чашка
обеденный стол
Кольцевая диаграмма
пожарный гидрант
вилка
летающая тарелка

фен
сумочка
хот-дог
клавиатура
воздушный змей
knife
laptop
микроволновый
мотоцикл
компьютерная мышь
галстук
orange
печь
паркомат
пицца
горшок растения

сандвич
scissors
sink
skateboard
лыжи
сноуборд
ложка
спортивный мяч
знак "стоп"
чемодан
Серфинг
тюленный медведь

теннисная ракетка
тостер
ванная
зубная щётка
светофор
train
umbrella
ваза
бокал

Просмотр json аналитики с помощью веб-портала

После отправки и индексирования видео аналитические сведения доступны в формате JSON для скачивания с помощью веб-портала.

Перейдите на вкладку "Библиотека ".
Выберите носитель, с которым вы хотите работать.
Выберите "Скачать" и "Аналитика" (JSON). Файл JSON открывается на новой вкладке браузера.
Найдите пару ключей, описанную в примере ответа.

Использование API

Используйте запрос на получение индекса видео. Мы рекомендуем передать &includeSummarizedInsights=false.
Найдите пары ключей, описанные в примере ответа.

Пример отклика

Обнаруженные и отслеживаемые объекты отображаются в разделе "Обнаруженные объекты" в скачанном insights.json файле. Каждый раз при обнаружении уникального объекта он получает идентификатор. Этот объект также отслеживается, то есть модель отслеживает обнаруженный объект, возвращаемый в кадр. Если это делается, другой экземпляр добавляется в экземпляры для объекта с различным временем начала и окончания.

В этом примере обнаружен первый автомобиль и получил идентификатор 1, так как он также был обнаружен первым объектом. Затем обнаружен другой автомобиль, и что автомобиль получил идентификатор 23, так как он был обнаружен 23-го объекта. Позже первый автомобиль появился снова, а другой экземпляр был добавлен в JSON. Ниже приведен результат JSON:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Ключ	Определение
Идентификатор	Добавочное число идентификаторов обнаруженных объектов в файле мультимедиа
Тип	Тип объектов, например Car
Эскиз	GUID, представляющий одно обнаружение объекта
displayName	Имя, отображаемое на портале VI
WikiDataID	Уникальный идентификатор в структуре WikiData
Экземпляры	Список всех экземпляров, отслеживаемых
Достоверность	Оценка от 0 до 1, указывающая достоверность обнаружения объектов
скорректированное руководство	измененное время начала видео при использовании редактора
adjustedEnd	измененное время окончания видео при использовании редактора
start	Время отображения объекта в кадре
end	Время, когда объект больше не отображается в кадре

Компоненты

Для обнаружения объектов не определены компоненты.

Примечания о прозрачности

Внимание

Важно прочитать общие сведения о прозрачности для всех функций VI. Каждое представление также имеет заметки о прозрачности собственных:

Существует до 20 обнаружений на кадр для стандартной и расширенной обработки и 35 треков на класс.
Размер объекта не должен превышать 90 процентов кадра. Очень большие объекты, которые последовательно охватывают большую часть кадра, могут быть не распознаны.
Небольшие или размытые объекты могут быть трудно обнаружить. Они могут быть пропущены или неправильно классифицированы (вино бокал, чашка).
Объекты, которые являются временными и отображаются в очень немногих кадрах, могут быть не распознаны.
Другие факторы, которые могут повлиять на точность обнаружения объектов, включают низкие условия света, движение камеры и окклюзии.
Индексатор видео Azure AI поддерживает только реальные объекты. Нет поддержки анимации или CGI. Компьютер создал графику (например, наклейки новостей) может привести к странным результатам.
Привязщики, брошюры и другие письменные материалы, как правило, обнаруживаются как "книга".

Пример кода

См. все примеры для VI

Поделиться через