Obtenir des insights sur la détection d’objets

Article
10/09/2024

Détection d’objets

Azure AI Video Indexer détecte des objets dans des vidéos telles que des voitures, des sacs à main et des sacs à dos, et des ordinateurs portables.

Objets pris en charge

airplane
apple
Sac à dos
banane
gant de baseball
lit
banc
vélo
bateau
book
bouteille
bowl
brocoli
bus
gâteau

voiture
carotte
Téléphones portables
chaise
clock
souris
canapé
coupe
table à manger
donut
bouche d'incendie
duplication (fork)
frisbee

sèche-cheveux
sac à main
hot-dog
clavier
cerf-volant
knife
laptop
micro-ondes
deux roues
souris
cravate
orange
four
parcmètre
pizza
plante en pot

sandwich
scissors
sink
skateboard
Skis
snowboard
cuiller
ballon sportif
panneau stop
valise
planche de surf
nounours

raquette
grille-pain
toilettes
brosse à dents
feu de circulation
entraîner
parapluie
vase
verre à vin

Afficher le json d’insight avec le portail web

Une fois que vous avez chargé et indexé une vidéo, les insights sont disponibles au format JSON pour téléchargement à l’aide du portail web.

Sélectionnez l’onglet Bibliothèque .
Sélectionnez le média avec lequel vous souhaitez travailler.
Sélectionnez Télécharger et Insights (JSON). Le fichier JSON s’ouvre dans un nouvel onglet de navigateur.
Recherchez la paire de clés décrite dans l’exemple de réponse.

Utilisation de l’API

Utilisez la requête Get Video Index . Nous vous recommandons de passer &includeSummarizedInsights=false.
Recherchez les paires de clés décrites dans l’exemple de réponse.

Exemple de réponse

Les objets détectés et suivis apparaissent sous « Objets détectés » dans le fichier insights.json téléchargé. Chaque fois qu’un objet unique est détecté, il reçoit un ID. Cet objet est également suivi, ce qui signifie que le modèle surveille l’objet détecté pour revenir au cadre. Si c’est le cas, une autre instance est ajoutée aux instances de l’objet avec des heures de début et de fin différentes.

Dans cet exemple, la première voiture a été détectée et a donné un ID de 1, car il a également été le premier objet détecté. Ensuite, une voiture différente a été détectée et cette voiture a reçu l’ID de 23 car il a été le 23ème objet détecté. Plus tard, la première voiture est apparue à nouveau et une autre instance a été ajoutée au JSON. Voici le json obtenu :

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Clé	Definition
id	Nombre incrémentiel d’ID des objets détectés dans le fichier multimédia
Type	Type d’objets, par exemple, Voiture
ThumbnailID	GUID représentant une seule détection de l’objet
displayName	Nom à afficher dans l’expérience du portail VI
WikiDataID	Identificateur unique dans la structure WikiData
Instances	Liste de toutes les instances suivies
Confiance	Score compris entre 0 et 1 indiquant la confiance de la détection d’objet
adjustedStart	heure de début ajustée de la vidéo lors de l’utilisation de l’éditeur
adjustedEnd	heure de fin ajustée de la vidéo lors de l’utilisation de l’éditeur
start	heure à laquelle l’objet apparaît dans le cadre
end	heure à laquelle l’objet n’apparaît plus dans le frame

Composants

Aucun composant n’est défini pour la détection d’objets.

Notes de transparence

Important

Il est important de lire la vue d’ensemble de la note de transparence pour toutes les fonctionnalités vi. Chaque insight a également des notes de transparence de ses propres :

Il existe jusqu’à 20 détections par trame pour un traitement standard et avancé et 35 pistes par classe.
La taille de l’objet ne doit pas dépasser 90 % du cadre. Des objets très volumineux qui s’étendent constamment sur une grande partie du cadre peuvent ne pas être reconnus.
Les objets petits ou flous peuvent être difficiles à détecter. Ils peuvent être manqués ou mal classés (verre de vin, tasse).
Les objets temporaires et affichés dans très peu d’images peuvent ne pas être reconnus.
D’autres facteurs susceptibles d’affecter la précision de la détection d’objet incluent des conditions légères faibles, des mouvements de caméra et des occlusions.
Azure AI Video Indexer prend uniquement en charge les objets réels. Il n’y a pas de support pour l’animation ou CGI. Les graphiques générés par l’ordinateur (tels que les autocollants d’actualités) peuvent produire des résultats étranges.
Les classeurs, les brochures et d’autres documents écrits ont tendance à être détectés comme « livre ».

Exemple de code

Voir tous les exemples pour VI

Partager via