Scény, snímky a klíčové snímky

Azure AI Video Indexer podporuje segmentování videí do dočasných jednotek na základě strukturálních a sémantických vlastností. Tato funkce umožňuje zákazníkům snadno procházet, spravovat a upravovat obsah videa na základě různých podrobností. Například na základě scén, snímků a klíčových snímků popsaných v tomto tématu.

Detekce scény

Azure AI Video Indexer určuje, kdy se scéna ve videu změní, na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se z řady po sobě jdoucích snímků, které sémanticky souvisejí. Miniatura scény je první klíčový snímek podkladového snímku. Azure AI Video Indexer rozděluje video do scén na základě barevné soudržnosti napříč po sobě jdoucími záběry a načte počáteční a koncový čas každé scény. Detekce scén se považuje za náročný úkol, protože zahrnuje kvantifikaci sémantických aspektů videí.

Poznámka

Platí pro videa, která obsahují alespoň 3 scény.

Detekce záběru

Azure AI Video Indexer určuje, kdy se snímek ve videu změní, na základě vizuálních upozornění, a to sledováním náhlých i postupných přechodů v barevném schématu sousedních snímků. Metadata snímku zahrnují počáteční a koncový čas a také seznam klíčových snímků zahrnutých v daném snímku. Snímky jsou po sobě jdoucí snímky pořízené ze stejné kamery ve stejnou dobu.

Detekce klíčových snímků

Azure AI Video Indexer vybere snímky, které nejlépe reprezentují jednotlivé snímky. Klíčové snímky jsou reprezentativní snímky vybrané z celého videa na základě estetických vlastností (například kontrastu a stability). Azure AI Video Indexer načte seznam ID klíčových snímků jako součást metadat snímku, na základě kterého můžou zákazníci extrahovat klíčový snímek jako obrázek s vysokým rozlišením.

Extrahování klíčových snímků

Pokud chcete extrahovat klíčové snímky s vysokým rozlišením pro video, musíte video nejprve nahrát a indexovat.

S využitím webu Azure AI Video Indexeru

Pokud chcete extrahovat klíčové snímky pomocí webu Azure AI Video Indexer, nahrajte a indexujte své video. Po dokončení úlohy indexování klikněte na tlačítko Stáhnout a vyberte Artifacts (ZIP). Tím se složka artefaktů stáhne do počítače (nezapomeňte si prohlédnout níže uvedené upozornění týkající se artefaktů). Rozbalte složku a otevřete ji. Ve složce _KeyframeThumbnail najdete všechny klíčové snímky extrahované z videa.

Upozornění

Nedoporučujeme používat data pro produkční účely přímo ze složky artefaktů. Artefakty jsou mezivýstupné výstupy procesu indexování. Jsou to v podstatě nezpracované výstupy různých modulů umělé inteligence, které analyzují videa; schéma artefaktů se může v průběhu času měnit. Doporučujeme použít rozhraní API Pro získání indexu videa , jak je popsáno v tématu Získání přehledů a artefaktů vytvořených rozhraním API.

S využitím rozhraní API Azure AI Video Indexeru

Pokud chcete získat klíčové snímky pomocí rozhraní API Video Indexeru, nahrajte a indexujte své video pomocí volání Nahrát video . Po dokončení úlohy indexování volejte funkci Získat index videa. Získáte tak všechny přehledy, které Video Indexer extrahoval z vašeho obsahu v souboru JSON.

Jako součást metadat jednotlivých snímků získáte seznam ID klíčových snímků.

"shots":[  
    {  
      "id":0,
      "keyFrames":[  
          {  
            "id":0,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:00.209",
                  "end":"0:00:00.251",
                  "duration":"0:00:00.042"
                }
            ]
          },
          {  
            "id":1,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:04.755",
                  "end":"0:00:04.797",
                  "duration":"0:00:00.042"
                }
            ]
          }
      ],
      "instances":[  
          {  
            "start":"0:00:00",
            "end":"0:00:06.34",
            "duration":"0:00:06.34"
          }
      ]
    },

]

Teď budete muset spustit každé z těchto ID klíčových snímků ve volání Získat miniatury . Tím se všechny image klíčových snímků stáhnutím do počítače.

Detekce typu redakčního výstřelu

Klíčové snímky jsou přidružené ke snímkům ve výstupním formátu JSON.

Typ snímku přidružený k jednotlivým snímkům v kódu JSON přehledů představuje jeho redakční typ. Tyto charakteristiky typu snímku se můžou hodit při úpravách videí do klipů, upoutávek nebo při hledání určitého stylu klíčového snímku pro umělecké účely. Různé typy se určují na základě analýzy prvního klíčového snímku každého snímku. Snímky jsou identifikovány podle měřítka, velikosti a umístění tváří, které se objevují v jejich prvním klíčovém snímku.

Velikost a měřítko snímku se určuje na základě vzdálenosti mezi kamerou a tvářemi, které se objevují v rámečku. Pomocí těchto vlastností azure AI Video Indexer rozpozná následující typy snímků:

• Široký: zobrazuje celé tělo osoby.
• Střední: Zobrazuje horní část těla a tvář osoby.
• Zblízka: Zobrazuje hlavně tvář člověka.
• Extrémní detail: Zobrazuje obličej osoby vyplňující obrazovku.

Typy snímků mohou být také určeny umístěním znaků předmětu s ohledem na střed snímku. Tato vlastnost definuje následující typy snímků v Azure AI Video Indexeru:

• Levý obličej: Na levé straně rámečku se objeví osoba.
• Středový obličej: Osoba se zobrazí v centrální oblasti rámečku.
• Pravý obličej: Na pravé straně rámečku se objeví osoba.
• Venku: Osoba se zobrazí ve venkovním prostředí.
• Vnitřní: Osoba se zobrazí ve vnitřním prostředí.

Další vlastnosti:

• Dva záběry: ukazuje tváře dvou osob střední velikosti.
• Více tváří: více než dvě osoby.

Další kroky

Prozkoumání výstupu Azure AI Video Indexeru vytvořeného rozhraním API