Geobserveerde personendetectie en overeenkomende inzichten in gezichten ophalen

Artikel
10/09/2024

Detectie van waargenomen personen, overeenkomende gezichten, gedetecteerde kleding

Belangrijk

Toegang tot gezichtsidentificatie, aanpassing en beroemdheidsherkenning is beperkt op basis van geschiktheids- en gebruikscriteria om onze verantwoorde AI-principes te ondersteunen. Functies voor gezichtsidentificatie, aanpassing en beroemdheidsherkenning zijn alleen beschikbaar voor door Microsoft beheerde klanten en partners. Gebruik het intakeformulier voor gezichtsherkenning om toegang aan te vragen.

Waargenomen personendetectie en overeenkomende gezichten detecteren en matchen automatisch personen in mediabestanden. Waargenomen mensendetectie en overeenkomende gezichten kunnen worden ingesteld om inzichten weer te geven over mensen, hun kleding en het exacte tijdsbestek van hun uiterlijk.

In de webportal worden de resulterende inzichten weergegeven in een gecategoriseerde lijst op het tabblad Inzichten. Het tabblad bevat een miniatuur van elke persoon en hun id. Als u op de miniatuur van een persoon klikt, wordt de overeenkomende persoon weergegeven (het bijbehorende gezicht in het inzicht Personen). Inzichten worden ook gegenereerd in een gecategoriseerde lijst in een JSON-bestand dat de miniatuur-id van de persoon bevat, het percentage tijd dat wordt weergegeven in het bestand, wikikoppeling (als ze een beroemdheid zijn) en betrouwbaarheidsniveau.

Geobserveerde mensendetectie, gedetecteerde kleding en overeenkomende gezichten

Het verbeteren van de efficiëntie door diep zoeken naar gematchte mensen in organisatiearchieven voor inzicht in specifieke beroemdheden, bijvoorbeeld bij het maken van promo's en trailers.
Verbeterde efficiëntie bij het maken van functieverhalen, bijvoorbeeld het zoeken naar mensen met een rood shirt in de archieven van een voetbalwedstrijd bij een nieuws- of sportbureau.
Maak een samenvatting van een lange video, zoals bewijs van het uiterlijk van een specifieke persoon in een video, met behulp van de id van dezelfde gedetecteerde persoon.
Leer en analyseer trends in de loop van de tijd, bijvoorbeeld hoe klanten zich in een winkelcentrum verplaatsen of hoeveel tijd ze besteden aan kassalijnen.

De overeenkomende gezichten en gedetecteerde kledingfuncties zijn beschikbaar bij het indexeren van uw bestand door de vooraf ingestelde Advanced ->Video + audio-indexering te kiezen.

De inzicht-JSON weergeven met de webportal

Zodra u een video hebt geüpload en geïndexeerd, zijn inzichten beschikbaar in JSON-indeling voor downloaden met behulp van de webportal.

Selecteer het tabblad Bibliotheek .
Selecteer media waarmee u wilt werken.
Selecteer Downloaden en de Inzichten (JSON). Het JSON-bestand wordt geopend op een nieuw browsertabblad.
Zoek naar het sleutelpaar dat wordt beschreven in het voorbeeldantwoord.

De API gebruiken

Gebruik de aanvraag Video Index ophalen. We raden u aan door te geven &includeSummarizedInsights=false.
Zoek naar de sleutelparen die worden beschreven in het voorbeeldantwoord.

Voorbeeld van een antwoord

"observedPeople": [
    {
        "id": 1,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
            {
                "id": 1,
                "type": "sleeve",
                "properties": {
                    "length": "short"
                }
            },
            {
                "id": 2,
                "type": "pants",
                "properties": {
                    "length": "short"
                }
            }
        ],
        "matchingFace": {
            "id": 1310,
            "confidence": 0.3819
        },
        "instances": [
            {
                "adjustedStart": "0:00:34.8681666",
                "adjustedEnd": "0:00:36.0026333",
                "start": "0:00:34.8681666",
                "end": "0:00:36.0026333"
            },
            {
                "adjustedStart": "0:00:36.6699666",
                "adjustedEnd": "0:00:36.7367",
                "start": "0:00:36.6699666",
                "end": "0:00:36.7367"
            },
            {
                "adjustedStart": "0:00:37.2038333",
                "adjustedEnd": "0:00:39.6729666",
                "start": "0:00:37.2038333",
                "end": "0:00:39.6729666"
            }
        ]
    }
]

Belangrijk

Het is belangrijk om het overzicht van de transparantienotitie voor alle VI-functies te lezen. Elk inzicht heeft ook eigen transparantienotities:

Waargenomen personendetectie en gematchte gezichtennotities

Personen worden over het algemeen niet gedetecteerd als ze klein lijken (minimale persoonshoogte is 100 pixels).
Maximale framegrootte is full high definition (FHD).
Video met lage kwaliteit (bijvoorbeeld donkere lichtomstandigheden) kan van invloed zijn op de detectieresultaten.
De aanbevolen framesnelheid ten minste 30 FPS.
Aanbevolen video-invoer moet maximaal 10 personen in één frame bevatten. De functie kan met meer personen in één frame werken, maar het detectieresultaat haalt maximaal 10 personen in een frame op met het hoogste vertrouwen van de detectie.
Mensen met vergelijkbare kleding: (bijvoorbeeld mensen dragen uniformen, spelers in sportgames) kunnen worden gedetecteerd als dezelfde persoon met hetzelfde id-nummer.
Obstructie – er kunnen fouten optreden waarbij er obstakels zijn (scène/zelf of obstakels door andere personen).
Pose: De sporen kunnen worden gesplitst vanwege verschillende poses (achter/voor)
Omdat de detectie van kleding afhankelijk is van de zichtbaarheid van het lichaam van de persoon, is de nauwkeurigheid hoger als een persoon volledig zichtbaar is. Er kunnen fouten optreden wanneer een persoon zich zonder kleding bevindt. In dit scenario of andere van slechte zichtbaarheid kunnen resultaten worden gegeven, zoals lange broek en rok of jurk.

Waargenomen personendetectie en overeenkomende gezichtsonderdelen

Onderdeel	Definitie
Bronbestand	De gebruiker uploadt het bronbestand voor indexering.
Detection	Het mediabestand wordt bijgehouden om waargenomen mensen en hun kleding te detecteren. Bijvoorbeeld shirt met lange mouwen, jurk of lange broek. Om te worden gedetecteerd, moet de volledige hoofdtekst van de persoon worden weergegeven in de media.
Lokale groepering	De geïdentificeerde waargenomen gezichten worden gefilterd in lokale groepen. Als een persoon meer dan één keer wordt gedetecteerd, worden er meer waargenomen gezichten gemaakt voor deze persoon.
Overeenkomende en classificatie	De waargenomen personenexemplaren worden vergeleken met gezichten. Als er een bekende beroemdheid is, krijgt de geobserveerde persoon zijn naam. Elk aantal waargenomen personenexemplaren kan worden vergeleken met hetzelfde gezicht.
Betrouwbaarheidswaarde	Het geschatte betrouwbaarheidsniveau van elke waargenomen persoon wordt berekend als een bereik van 0 tot 1. De betrouwbaarheidsscore vertegenwoordigt de zekerheid in de nauwkeurigheid van het resultaat. Een 82% zekerheid wordt bijvoorbeeld weergegeven als een score van 0,82.

Voorbeeldcode

Bekijk alle voorbeelden voor VI

Delen via