Scener, klipp och nyckelbilder

Viktigt!

På grund av azure Media Services-tillbakadragandemeddelandet meddelar Azure AI Video Indexer att funktionsjusteringar för Azure AI Video Indexer har justerats. Mer information om vad detta innebär för ditt Azure AI Video Indexer-konto finns i Ändringar som rör tillbakadragning av Azure Media Service (AMS). Se guiden Förbereda för AMS-pensionering: VI-uppdatering och migrering.

Azure AI Video Indexer stöder segmentering av videor i temporala enheter baserat på strukturella och semantiska egenskaper. Med den här funktionen kan kunderna enkelt bläddra, hantera och redigera sitt videoinnehåll baserat på varierande kornigheter. Till exempel baserat på scener, bilder och nyckelramar som beskrivs i det här avsnittet.

Scenidentifiering

Azure AI Video Indexer avgör när en scen ändras i video baserat på visuella tips. En scen visar en enda händelse och består av en serie på varandra följande bilder, som är semantiskt relaterade. En scenminiatyr är den första nyckelramen i dess underliggande bild. Azure AI Video Indexer segmenteras en video i scener baserat på färgsammanhållning i efterföljande bilder och hämtar start- och sluttiden för varje scen. Scenidentifiering anses vara en utmanande uppgift eftersom det handlar om att kvantifiera semantiska aspekter av videor.

Kommentar

Gäller för videor som innehåller minst 3 scener.

Bildidentifiering

Azure AI Video Indexer avgör när ett skott ändras i videon baserat på visuella tips genom att spåra både plötsliga och gradvisa övergångar i färgschemat för intilliggande ramar. Bildens metadata innehåller en start- och sluttid samt en lista över nyckelrutor som ingår i det skottet. Bilderna är på varandra följande bilder tagna från samma kamera samtidigt.

Identifiering av nyckelram

Azure AI Video Indexer väljer de ramar som bäst representerar varje bild. Nyckelrutor är de representativa bildrutor som valts från hela videon baserat på estetiska egenskaper (till exempel kontrast och stabilhet). Azure AI Video Indexer hämtar en lista över nyckelrams-ID:n som en del av bildens metadata, baserat på vilka kunder som kan extrahera nyckelramen som en högupplöst bild.

Extrahera nyckelramar

Om du vill extrahera högupplösta nyckelrutor för videon måste du först ladda upp och indexera videon.

Med Webbplatsen för Azure AI Video Indexer

Ladda upp och indexera videon om du vill extrahera nyckelrutor med azure AI Video Indexer-webbplatsen. När indexeringsjobbet är klart klickar du på knappen Ladda ned och väljer Artefakter (ZIP). Då laddas mappen artifacts ned till datorn (se till att visa varningen om artefakter nedan). Packa upp och öppna mappen. I mappen _KeyframeThumbnail hittar du alla nyckelrutor som extraherades från videon.

Varning

Vi rekommenderar inte att du använder data direkt från mappen artifacts i produktionssyfte. Artefakter är mellanliggande utdata från indexeringsprocessen. De är i huvudsak råa utdata från de olika AI-motorerna som analyserar videorna. artefaktschemat kan ändras över tid. Vi rekommenderar att du använder API:et Hämta videoindex enligt beskrivningen i Hämta insikter och artefakter som skapats av API:et.

Med Azure AI Video Indexer API

Om du vill hämta nyckelrutor med videoindexerings-API:et laddar du upp och indexar videon med hjälp av uppladdningsvideoanropet. När indexeringsjobbet är klart anropar du Hämta videoindex. Detta ger dig alla insikter som Video Indexer extraherade från ditt innehåll i en JSON-fil.

Du får en lista över nyckelrams-ID:t som en del av varje bilds metadata.

"shots":[  
    {  
      "id":0,
      "keyFrames":[  
          {  
            "id":0,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:00.209",
                  "end":"0:00:00.251",
                  "duration":"0:00:00.042"
                }
            ]
          },
          {  
            "id":1,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:04.755",
                  "end":"0:00:04.797",
                  "duration":"0:00:00.042"
                }
            ]
          }
      ],
      "instances":[  
          {  
            "start":"0:00:00",
            "end":"0:00:06.34",
            "duration":"0:00:06.34"
          }
      ]
    },

]

Nu måste du köra vart och ett av dessa nyckelrams-ID:t i anropet Hämta miniatyrer . Då laddas var och en av nyckelbildrutorna ned till datorn.

Identifiering av typ av redaktionell bild

Nyckelramar är associerade med skott i utdata-JSON.

Den bildtyp som är associerad med ett enskilt skott i insikterna representerar dess redaktionella typ. De här egenskaperna kan vara användbara när du redigerar videor i klipp, trailers eller när du söker efter en viss typ av nyckelram för konstnärliga ändamål. De olika typerna bestäms baserat på analys av den första nyckelramen för varje skott. Bilder identifieras med skalning, storlek och plats för ansikten som visas i deras första nyckelbildruta.

Skottstorleken och skalan bestäms baserat på avståndet mellan kameran och ansiktena som visas i ramen. Med hjälp av dessa egenskaper identifierar Azure AI Video Indexer följande bildtyper:

• Bred: visar en hel persons kropp.
• Medel: visar en persons överkropp och ansikte.
• Närbild: visar främst en persons ansikte.
• Extrem närbild: visar en persons ansikte som fyller skärmen.

Bildtyper kan också bestämmas av motivets plats med avseende på mitten av ramen. Den här egenskapen definierar följande bildtyper i Azure AI Video Indexer:

• Vänster ansikte: en person visas på vänster sida av ramen.
• Mitt ansikte: en person visas i ramens centrala region.
• Höger ansikte: en person visas på höger sida av ramen.
• Utomhus: en person visas i en utomhusmiljö.
• Inomhus: en person visas i en inomhusmiljö.

Ytterligare egenskaper:

• Två bilder: visar två personers ansikten av medelstor storlek.
• Flera ansikten: fler än två personer.