Scènes, opnamen en sleutelframes

Belangrijk

Vanwege de aankondiging van buitengebruikstelling van Azure Media Services kondigt Azure AI Video Indexer-functies aan. Zie Wijzigingen met betrekking tot buitengebruikstelling van Azure Media Service (AMS) om te begrijpen wat dit betekent voor uw Azure AI Video Indexer-account. Zie de handleiding voorbereiden voor AMS-buitengebruikstelling: VI-update en migratiehandleiding.

Azure AI Video Indexer ondersteunt het segmenteren van video's in tijdelijke eenheden op basis van structurele en semantische eigenschappen. Met deze mogelijkheid kunnen klanten eenvoudig door hun video-inhoud bladeren, beheren en bewerken op basis van verschillende granulariteiten. Bijvoorbeeld op basis van scènes, shots en keyframes, zoals beschreven in dit onderwerp.

Scènedetectie

Azure AI Video Indexer bepaalt wanneer een scène in video verandert op basis van visuele aanwijzingen. Een scène toont één gebeurtenis en bestaat uit een reeks opeenvolgende opnamen, die semantisch gerelateerd zijn. Een miniatuur van een scène is het eerste sleutelframe van de onderliggende opname. Azure AI Video Indexer segmenteert een video in scènes op basis van kleurcoherentie in opeenvolgende opnamen en haalt de begin- en eindtijd van elke scène op. Scènedetectie wordt beschouwd als een uitdagende taak omdat het gaat om het kwantificeren van semantische aspecten van video's.

Notitie

Van toepassing op video's die ten minste drie scènes bevatten.

Schotdetectie

Azure AI Video Indexer bepaalt wanneer een opname verandert in de video op basis van visuele aanwijzingen door zowel plotselinge als geleidelijke overgangen in het kleurenschema van aangrenzende frames bij te houden. De metagegevens van de shot bevatten een begin- en eindtijd, evenals de lijst met sleutelframes die in die opname zijn opgenomen. De opnamen zijn opeenvolgende frames van dezelfde camera tegelijk.

Sleutelframedetectie

Azure AI Video Indexer selecteert de frame(s) die het beste bij elke opname staan. Keyframes zijn de representatieve frames die zijn geselecteerd uit de hele video op basis van esthetische eigenschappen (bijvoorbeeld contrast en stabielheid). Azure AI Video Indexer haalt een lijst met sleutelframe-id's op als onderdeel van de metagegevens van de schermafbeelding, op basis waarvan klanten het sleutelframe kunnen extraheren als een afbeelding met een hoge resolutie.

Keyframes extraheren

Als u sleutelframes met hoge resolutie voor uw video wilt extraheren, moet u de video eerst uploaden en indexeren.

Met de Azure AI Video Indexer-website

Als u sleutelframes wilt extraheren met behulp van de website van Azure AI Video Indexer, uploadt en indexeert u uw video. Zodra de indexeringstaak is voltooid, klikt u op de knop Downloaden en selecteert u Artefacten (ZIP). Hiermee wordt de map artefacten naar uw computer gedownload (zorg ervoor dat u de waarschuwing met betrekking tot artefacten hieronder bekijkt). Pak de map uit en open deze. In de map _KeyframeThumbnail vindt u alle sleutelframes die zijn geëxtraheerd uit uw video.

Waarschuwing

We raden u niet aan om gegevens rechtstreeks vanuit de map artefacten te gebruiken voor productiedoeleinden. Artefacten zijn tussenliggende uitvoer van het indexeringsproces. Ze zijn in wezen onbewerkte uitvoer van de verschillende AI-engines die de video's analyseren; het artefactschema kan na verloop van tijd veranderen. Het wordt aanbevolen om de Get Video Index-API te gebruiken, zoals beschreven in Inzichten en artefacten ophalen die door de API worden geproduceerd.

Met de Azure AI Video Indexer-API

Als u sleutelframes wilt ophalen met behulp van de Video Indexer-API, uploadt en indexeert u uw video met behulp van de aanroep Video uploaden. Zodra de indexeringstaak is voltooid, roept u Video-index ophalen aan. Hiermee krijgt u alle inzichten die Video Indexer heeft geëxtraheerd uit uw inhoud in een JSON-bestand.

U krijgt een lijst met keyframe-id's als onderdeel van de metagegevens van elke opname.

"shots":[  
    {  
      "id":0,
      "keyFrames":[  
          {  
            "id":0,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:00.209",
                  "end":"0:00:00.251",
                  "duration":"0:00:00.042"
                }
            ]
          },
          {  
            "id":1,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:04.755",
                  "end":"0:00:04.797",
                  "duration":"0:00:00.042"
                }
            ]
          }
      ],
      "instances":[  
          {  
            "start":"0:00:00",
            "end":"0:00:06.34",
            "duration":"0:00:06.34"
          }
      ]
    },

]

U moet nu elk van deze sleutelframe-id's uitvoeren in de aanroep Miniaturen ophalen. Hiermee downloadt u elk van de sleutelframe-installatiekopieën naar uw computer.

Detectie van redactioneel schottype

Sleutelframes zijn gekoppeld aan opnamen in de JSON-uitvoer.

Het schottype dat is gekoppeld aan een afzonderlijke opname in de inzichten-JSON vertegenwoordigt het redactionele type. Deze kenmerken van het shottype zijn handig bij het bewerken van video's in clips, trailers of bij het zoeken naar een specifieke stijl van het sleutelframe voor artistieke doeleinden. De verschillende typen worden bepaald op basis van de analyse van het eerste sleutelframe van elke opname. Schermafbeeldingen worden geïdentificeerd door de schaal, grootte en locatie van de gezichten die worden weergegeven in hun eerste hoofdframe.

De grootte en schaal van de opname worden bepaald op basis van de afstand tussen de camera en de gezichten die in het frame worden weergegeven. Met behulp van deze eigenschappen detecteert Azure AI Video Indexer de volgende typen opnamen:

• Breed: toont het lichaam van een hele persoon.
• Gemiddeld: toont het bovenlichaam en gezicht van een persoon.
• Close-up: toont voornamelijk het gezicht van een persoon.
• Extreme close-up: toont het gezicht van een persoon die het scherm vult.

Schottypen kunnen ook worden bepaald door de locatie van de onderwerptekens met betrekking tot het midden van het frame. Deze eigenschap definieert de volgende typen opnamen in Azure AI Video Indexer:

• Linker gezicht: een persoon wordt aan de linkerkant van het frame weergegeven.
• Midden gezicht: een persoon wordt weergegeven in de centrale regio van het frame.
• Rechter gezicht: een persoon wordt aan de rechterkant van het frame weergegeven.
• Buiten: een persoon verschijnt in een buitenomgeving.
• Binnen: een persoon verschijnt in een binneninstelling.

Aanvullende kenmerken:

• Twee foto's: toont twee gezichten van twee personen van middelgrote grootte.
• Meerdere gezichten: meer dan twee personen.