Azure AI Video Indexer med LLM-frågor

Artikel
10/09/2024

Översikt

Azure AI Video Indexer integreras med stora språkmodeller (LLM). LLM:er är AI-modeller med naturligt språk som du kan använda för att ställa frågor om videoinnehåll och mycket mer. Extrahera Azure AI Video Indexer-insikter i ett snabbformat som enkelt kan användas med LLM:er. Det finns ingen anledning att indexera om videor för att skapa det prompt-ready-formatet för videorna.

Användningsfall

Generera en videosammanfattning: Du kan be LLM-modellen att generera sammanfattningar av hela videor eller videosegment. Dessa segment kan kombineras för att skapa flera typer av sammanfattningar som en informativ sammanfattning, en teaser eller annan sammanfattning beroende på dina behov.

Sökbarhet: Genom att konvertera videoinnehåll till ett textbaserat, prompt-ready-format kan du utföra detaljerade sökningar på naturligt språk i ditt videoinnehåll. Detta kan avsevärt förbättra identifieringen i stora videobibliotek baserat på specifika frågor.

Skapa innehåll: Du kan fråga videobiblioteket om specifika ögonblick i dina videor som är associerade med vissa känslor eller händelser. Du kan till exempel hämta "roliga" eller "sorgliga" ögonblick från en videoserie och använda den för att skapa en kampanj eller markering. På samma sätt kan du hämta ögonblick relaterade till specifika händelser av intresse, till exempel "tidigare jordbävningar under det senaste decenniet".

Utbildningssyften: Skapa sammanfattningar från föreläsningsvideor för att göra det enklare för eleverna att granska och förstå materialet. Studenterna kan också ställa specifika frågor som rör föreläsningsmaterialet. Du kan referera till den exakta delen av videon där artikeln diskuteras för att göra inlärningsupplevelsen mer effektiv.

Interaktiva upplevelser: Du kan skapa interaktiva upplevelser, till exempel videobaserade chattrobotar eller virtuella assistenter, som kan svara på användarfrågor baserat på videons innehåll.

Hur det fungerar

För att utdata ska vara prompt-ready delas videon upp i sammanhängande avsnitt som passar både kärnan i videon och promptens storlek. Avsnitten är uppdelade baserat på Scensegmentering i Azure AI Video Indexer och andra insikter. Resultatet av promptinnehållet konsolideras och genereras per segment separat. Till exempel:

Insikter

Följande tabell innehåller de insikter som används för generering av frågor.

VI Insight	Tagga och formatera
Videorubrik	[Videorubrik] <videorubrik>
Objektidentifiering	[Identifierade objekt] <objekt 1>, <objekt 2>, ...
Etiketter	[Visuella etiketter] <etikett 1>, <etikett 2>, ...
OCR	[OCR] <ocr cluster1><ocr cluster2> ...
Avskrift och högtalare	[Avskrift] <talarnamn>: <transkriptionsrader>\n<talarnamn>: <avskriftsrader>\n ...
Ansikten	[Kända personer] <ansikte 1>, <ansikte 2>, ...
Ljudeffekter (AED)	[Ljudeffekter] < effekt 1>, <effekt 2>, ...
Segmentets position i videon	[Taggar] [Början, Mitten, Slut, Rullande krediter]

Skapa fråga efter innehåll för en video

Använd API:et Fråga innehåll på din indexerade video för att få prompt-ready-format per varje segment.

Kommentar

Insikterna för fråga om innehåll utsätts för den specifika förinställning som används för att indexeras i videon.

Om du vill generera API:et för fråga om innehåll använder du BEGÄRAN OM att skapa fråga efter innehåll i POST.
Om du vill visa promptinnehållet använder du Get PromptContent-begäran .

Exempelbegäranden

Använd ditt AVI-konto-ID och video-ID.

POST https://api.videoindexer.ai/trial/Accounts/{accountId}/Videos/{videoId}/PromptContent

Exempelsvar

index
{
  "algoVersion": "2.0.0",
  "schemaVersion": "0.0.1",
  "partition": null,
  "name": "10_best_dressed_grammy",
  "sections": [
    {
      "id": 0,
      "start": "0:00:00",
      "end": "0:00:40.915875",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] necktie\n[Visual labels] human face, clothing, person, woman, suit, wedding dress, dress, indoor, wall, carpet, rug, fashion, lady, long hair, fashion accessory, fashion design\n[OCR] TROPHy, LIFE, SPECIAL, EDITION, news FEED, BY

 CLEVVER, CLEVVER, @NazPerez, BEST DRESSED CELEBS AT 2018 GRAMMYS\n[Transcript] Check out the 10 best dressed celebs from the 2018 Grammy Awards and don't forget to subscribe to our channel to get all the latest celebrity updates.\nFrom white roses to white hot looks, this year's Grammy Awards was a feast of fashion thanks to so many celebs bringing their A game to the show.\nSo let's kick off this list of the best dress from the red carpet, starting with Lady Gaga.\nGaga looked like a gothic Princess in her dramatic all black ball gown.\nThe Armani Preve dress featured A Lacy bodysuit and billowing black skirt with a huge train.\nAga's black heeled boots were also some of the highest we've ever seen, like ever, but we wouldn't expect anything less from Mama Monster.\nAnother look we love from the carpet was Anna Kendrick's sexy suit by Belmont."
    },
    {
      "id": 1,
      "start": "0:00:40.915875",
      "end": "0:01:17.202125",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] remote\n[Visual labels] human face, clothing, person, dress, carpet, rug, fashion, lady, furniture, female person, fashion model, model, haute couture, smile\n[OCR] TROPHy, LIFE, news FEED, BEST DRESSED CELEBS AT 2018 GRAMMYS, D CELEBS AT 2018 GRAMMYS, BEST DRESSED\n[Transcript] Anna gave the structured look a sexy feminine touch by wearing a Lacy strapless top underneath and some pale pink stilettos.\nHer suit may have said business, but her relaxed WAVY hairstyle said I came to get down.\nNext on our list is the literally red hot Camila Cabello.\nCamila was all glitzing glam in her strapless Vivian Westwood gown.\nThat humped her curves perfectly.\nCamila opted to wear her hair up and accessorized with some serious bling, but it's that plunging neckline that has this unable to look away.\nAnother look we loved came courtesy of Miley Cyrus, who absolutely slayed in this black velvet bodysuit.\nMiley looked beyond chic, from her classic Hollywood hairstyle to her glitter heels."
    },
}

Begränsningar

Prompt-funktionen är optimerad för videor som innehåller så många insikter som möjligt.

Dela via