Persone osservate che rilevano e corrispondono i visi

  • Articolo

Importante

A causa dell'annuncio di ritiro Servizi multimediali di Azure, Azure AI Video Indexer annuncia le modifiche alle funzionalità di Azure AI Video Indexer. Vedere Modifiche correlate al ritiro di Servizi multimediali di Azure (AMS) per comprendere cosa significa per l'account Video Indexer di Azure per intelligenza artificiale. Vedere la guida alla preparazione per il ritiro di AMS: aggiornamento VI e migrazione.

Importante

L'accesso alle funzionalità di identificazione, personalizzazione e riconoscimento delle celebrità è limitato in base ai criteri di idoneità e utilizzo per supportare i principi di IA responsabile. Le funzionalità di identificazione, personalizzazione e riconoscimento delle celebrità sono disponibili solo per i clienti e i partner gestiti da Microsoft. Usare il modulo di assunzione riconoscimento del viso per richiedere l'accesso.

Le persone osservate che rilevano i visi corrispondenti sono funzionalità di intelligenza artificiale di Azure AI Video Indexer che rilevano e corrispondono automaticamente agli utenti nei file multimediali. Le persone osservate che rilevano e abbinano i visi possono essere impostate per visualizzare informazioni dettagliate sulle persone, sui loro vestiti e sull'intervallo di tempo esatto del loro aspetto.

Le informazioni dettagliate risultanti vengono visualizzate in un elenco categorizzato nella scheda Informazioni dettagliate, la scheda include un'anteprima di ogni persona e il relativo ID. Facendo clic sull'anteprima di una persona viene visualizzata la persona corrispondente (il viso corrispondente nella Persone informazioni dettagliate). Le informazioni dettagliate vengono generate anche in un elenco categorizzato in un file JSON che include l'ID anteprima della persona, la percentuale di tempo visualizzata nel file, il collegamento wiki (se si tratta di una celebrità) e il livello di attendibilità.

Prerequisiti

Panoramica delle note sulla trasparenza

Principi generali

Questo articolo illustra le persone osservate che rilevano e confrontano i visi e le considerazioni chiave per usare questa tecnologia in modo responsabile. Quando si decide come usare e implementare una funzionalità basata su intelligenza artificiale, è necessario prendere in considerazione molti aspetti:

  • Questa funzionalità funziona correttamente nello scenario? Prima di distribuire i visi rilevati e confrontati nello scenario, testare le prestazioni usando i dati reali e assicurarsi che possa fornire l'accuratezza necessaria.
  • È possibile identificare e rispondere agli errori? I prodotti e le funzionalità basati sull'intelligenza artificiale non saranno accurati al 100%, quindi valutare come identificare e rispondere a eventuali errori che possono verificarsi.

Visualizzare le informazioni dettagliate

Quando si carica il file multimediale, passare a Video + Indicizzazione audio e selezionare Avanzate.

Per visualizzare le informazioni dettagliate sulle persone osservate e sui visi corrispondenti nel sito Web, eseguire le operazioni seguenti:

  1. Dopo l'indicizzazione del file, passare a Informazioni dettagliate e quindi scorrere fino alle persone osservate.

Per visualizzare le informazioni dettagliate in un file JSON, eseguire le operazioni seguenti:

  1. Fare clic su Scarica e quindi su Insights (JSON).

  2. Copiare il observedPeople testo e incollarlo nel visualizzatore JSON.

    La sezione seguente mostra persone e abbigliamento osservati. Per la persona con ID 4 ("id": 4) c'è anche un viso corrispondente.

     "observedPeople": [
   {
     "id": 1,
     "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
           "length": "long"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
           "length": "long"
         }
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:00.0667333",
         "adjustedEnd": "0:00:12.012",
         "start": "0:00:00.0667333",
         "end": "0:00:12.012"
       }
     ]
   },
   {
     "id": 2,
     "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
     "clothing": [
       {
           "id": 1,
           "type": "sleeve",
           "properties": {
               "length": "short"
           }
       }
     ],
     "instances": [
       {
           "adjustedStart": "0:00:23.2565666",
           "adjustedEnd": "0:00:25.4921333",
           "start": "0:00:23.2565666",
           "end": "0:00:25.4921333"
       },
       {
           "adjustedStart": "0:00:25.8925333",
           "adjustedEnd": "0:00:25.9926333",
           "start": "0:00:25.8925333",
           "end": "0:00:25.9926333"
       },
       {
           "adjustedStart": "0:00:26.3930333",
           "adjustedEnd": "0:00:28.5618666",
           "start": "0:00:26.3930333",
           "end": "0:00:28.5618666"
       }
     ]
   },
   {
     "id": 3,
     "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "long"
         }
       },
       {
         "id": 3,
         "type": "skirtAndDress"
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:31.9652666",
         "adjustedEnd": "0:00:34.4010333",
         "start": "0:00:31.9652666",
         "end": "0:00:34.4010333"
       }
     ]
   },
   {
     "id": 4,
     "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "short"
         }
       }
     ],
     "matchingFace": {
       "id": 1310,
       "confidence": 0.3819
     },
     "instances": [
       {
           "adjustedStart": "0:00:34.8681666",
           "adjustedEnd": "0:00:36.0026333",
           "start": "0:00:34.8681666",
           "end": "0:00:36.0026333"
       },
       {
           "adjustedStart": "0:00:36.6699666",
           "adjustedEnd": "0:00:36.7367",
           "start": "0:00:36.6699666",
           "end": "0:00:36.7367"
       },
       {
           "adjustedStart": "0:00:37.2038333",
           "adjustedEnd": "0:00:39.6729666",
           "start": "0:00:37.2038333",
           "end": "0:00:39.6729666"
       }
     ]
   }
 ]

Per scaricare il file JSON tramite l'API, usare il portale per sviluppatori di Video Indexer per intelligenza artificiale di Azure.

Componenti per il rilevamento e la corrispondenza dei visi rilevati

Durante la procedura di rilevamento e corrispondenza dei visi rilevati, le immagini in un file multimediale vengono elaborate, come indicato di seguito:

Componente Definizione
File di origine L'utente carica il file di origine per l'indicizzazione.
Rilevamento Il file multimediale viene rilevato per rilevare le persone osservate e i loro vestiti. Ad esempio, camicia con maniche lunghe, vestire o pantaloni lunghi. Si noti che per essere rilevato, il corpo superiore completo della persona deve essere visualizzato nei supporti.
Raggruppamento locale I visi osservati identificati vengono filtrati in gruppi locali. Se una persona viene rilevata più volte, vengono create altre istanze di visi osservati per questa persona.
Corrispondenza e classificazione Le istanze delle persone osservate vengono confrontate con i visi. Se c'è una celebrità nota, alla persona osservata verrà assegnato il nome. Qualsiasi numero di istanze di persone osservate può essere confrontato con lo stesso viso.
Valore di attendibilità Il livello di confidenza stimato di ogni persona osservata viene calcolato come un intervallo compreso tra 0 e 1. Il punteggio di attendibilità rappresenta la certezza nell'accuratezza del risultato. Ad esempio, una certezza dell'82% è rappresentata come punteggio di 0,82.

Caso d'uso di esempio

  • Tenere traccia del movimento di una persona, ad esempio, nelle forze dell'ordine per una maggiore efficienza durante l'analisi di un incidente o di un crimine.
  • Miglioramento dell'efficienza grazie alla ricerca approfondita di persone abbinate negli archivi dell'organizzazione per informazioni dettagliate su celebrità specifiche, ad esempio durante la creazione di promo e trailer.
  • Miglioramento dell'efficienza durante la creazione di storie di funzionalità, ad esempio, alla ricerca di persone che indossano una maglietta rossa negli archivi di una partita di calcio in un'agenzia News o Sports.

Considerazioni e limitazioni quando si sceglie un caso d'uso

Di seguito sono riportate alcune considerazioni da tenere presenti quando si usano persone osservate e visi corrispondenti.

Limitazioni del rilevamento delle persone osservate

È importante notare le limitazioni del rilevamento delle persone osservate, per evitare o attenuare gli effetti di falsi negativi (rilevamenti persi) e dettagli limitati.

  • Persone non vengono in genere rilevati se appaiono piccoli (l'altezza minima della persona è 100 pixel).
  • La dimensione massima del fotogramma è FHD
  • I video di bassa qualità (ad esempio, condizioni di illuminazione scura) possono influire sui risultati del rilevamento.
  • Frequenza dei fotogrammi consigliata almeno 30 FPS.
  • L'input video consigliato deve contenere fino a 10 persone in un singolo fotogramma. La funzionalità potrebbe funzionare con più persone in un singolo fotogramma, ma il risultato del rilevamento recupera fino a 10 persone in un frame con la massima attendibilità del rilevamento.
  • Persone con vestiti simili: (ad esempio, le persone indossano uniformi, giocatori in giochi sportivi) possono essere rilevati come la stessa persona con lo stesso numero ID.
  • Ostruzione – ci sono forse errori in cui ci sono ostacoli (scena/auto o ostacoli da parte di altre persone).
  • Pose: le tracce possono essere suddivise a causa di posizioni diverse (posteriore/anteriore)

Altre considerazioni

Quando viene usato in modo responsabile e attento, Azure AI Video Indexer è uno strumento prezioso per molti settori. Per rispettare la privacy e la sicurezza di altri utenti e per rispettare le normative locali e globali, è consigliabile:

  • Rispetta sempre il diritto di un individuo alla privacy e inserisce solo video per scopi legittimi e giustificabili.
  • Non divulgare intenzionalmente media inappropriati che mostrano bambini o familiari di celebrità o altri contenuti che possono essere dannosi o rappresentare una minaccia per la libertà personale di un individuo.
  • Impegnarsi a rispettare e promuovere i diritti umani nella progettazione e nella distribuzione dei media analizzati.
  • Quando si usano materiali di terze parti, tenere presente eventuali copyright o autorizzazioni esistenti necessari prima di distribuire il contenuto derivato da tali materiali.
  • Cercare sempre consigli legali quando si usano supporti provenienti da fonti sconosciute.
  • Ottenere sempre consigli legali e professionali appropriati per garantire che i video caricati siano protetti e abbiano controlli adeguati per preservare l'integrità del contenuto e per impedire l'accesso non autorizzato.
  • Fornire un canale di feedback che consente a utenti e utenti di segnalare problemi con il servizio.
  • Tenere presente eventuali leggi o normative applicabili presenti nell'area relativa all'elaborazione, all'analisi e alla condivisione di contenuti multimediali contenenti persone.
  • Mantenere un essere umano nel ciclo. Non usare alcuna soluzione come sostituzione per la supervisione umana e il processo decisionale.
  • Esaminare e esaminare completamente il potenziale di qualsiasi modello di intelligenza artificiale in uso per comprendere le funzionalità e le limitazioni.