Az Azure AI Video Indexer saját (BYO) AI-modell (előzetes verzió) áttekintése

Ez a cikk áttekintést nyújt az Azure AI Video Indexer saját AI-modelljéről.

Bevezetés

Az Azure AI Video Indexer a video- és hangtartalmakhoz optimalizált AI-kat kínál, amelyek számos tartalomtípusra alkalmazhatók. A Microsoft-forrásokból, egyéni forrásokból vagy külső forrásokból származó további megállapításokat kombinálhatja a beépített Azure AI Video Indexer-elemzésekkel, mindezt zökkenőmentesen.

Ez a képesség elég rugalmas ahhoz, hogy az elemzések minden formáját és típusát el lehessen fogadni, beleértve az észlelés-orientált és a besorolás-orientált AI-kat is. Szabadon kiválaszthatja a külső modell által kezelt adatokat, például a videó kereteit, a teljes videót vagy csak a hangsávot. A videóhoz már létrehozott egyéb elemzéseket is használhat, például észlelt objektumokat, arcokat és címkéket. Ez lehetővé teszi, hogy a külső elemzést csak a videó kapcsolódó szakaszán futtassa, javítja a teljesítményt és csökkenti a költségeket.

A funkció a felhőbeli és a peremhálózati használati esetekhez is elérhető.

JOGI NYILATKOZAT: A Microsoft Azure OpenAI szolgáltatásra vonatkozó magatartási kódexe a Saját modell használata funkció használatára vonatkozik, amely magában foglalja a Microsoft azon jogát, hogy megszüntesse a hozzáférést és a szolgáltatás nem megfelelő használatát.

Díjszabás

A Video Indexer BYO modellel a felhasználók egyéni elemzéseket adhatnak a videóelemzési objektumokhoz anélkül, hogy az indexelési folyamat felsorolt költségein túl további költségekkel járnak. A külső környezethez és modellhez kapcsolódó költségek azonban nem tekinthetők a Video Indexer számlázási árának. Javasoljuk, hogy tekintse át az ajánlott eljárásokat ismertető szakaszt a külső logika optimalizálása és a költségek csökkentése érdekében.

Általános munkafolyamat

1. A videó feltöltése és indexelése az Azure AI Video Indexerrel történik.
2. Amikor az indexelési folyamat befejeződött, létrejön egy esemény.
3. Az egyéni kód figyeli az eseményt, és elindítja a videó feldolgozását követő folyamatot.
   1. A Video Indexer által kinyert elemzések lekérése.
   2. Kulcskeret lekérése egy videószakaszhoz.
   3. Küldje el a kulcskeretet az egyéni AI-modellnek.
   4. Az egyéni megállapítások javítása a Video Indexerben.

Előfeltételek

Mielőtt elkezdené használni a BYO-modell funkciót az Azure AI Video Indexerrel, a következőket kell tennie:

1. Betaníthat vagy hozhat létre egy külső AI-modellt, amely videoeszközöket fogad, és betekintést ad vissza.
2. Hozzon létre egyéni kódot, amely:
   1. Az Event Hubss-eseményeket figyeli.
   2. Kinyeri az video id eseményekből.
   3. A megfelelő eszközök lekérése a VI API-k meghívásával. Ebben a forgatókönyvben kérje le a videoindex lekérését és a keretek sas URL-címeinek lekérését.
   4. Elküldi az eszközöket a külső AI-modellnek.
   5. JSON-objektumot hoz létre az egyéni AI-modellből lekért elemzések alapján.
   6. Kérések javításfrissítési videóindexe.

Séma

Az egyéni adatok feltöltésének értékei a következők:

Név	Leírás	Szükséges
név	Külső AI-modell neve	true
displayName	A Video Indexerben megjelenítendő elemzési csoport neve	true
displayType	Meghatározza az adott elemzési csoport felhasználói felületi reprezentációjának típusát. Alapértelmezett érték: Kapszula Lehetséges típusok: Kapszula – Csak egyszintű szöveg CapsuleAndTags – A jövőben csak kétszintű szöveg lesz hozzáadva.	false
Eredmények	A külső AI-modell által észlelt elemzéseket képviselő objektumok tömbje	true
results.id	Az eredményobjektum felhasználó által megadott azonosítójának egyedinek kell lennie az eredmények hatókörén belül	true
results.type	Ez a mező azt a megállapítástípust jelöli, amelyet a külső AI-modell kategorizált. Ez egy általános megállapítási kategóriát jelöl, ami azt jelenti, hogy egy adott keretben több ilyen típusú megállapítás is azonosítható. Példák a megállapítástípusokra: "kosárlabda", "tömeg taps", "fehér póló".	true
results.subType	Ez a mező azt a megállapítástípust jelöli, amelyet a külső AI-modell kategorizált. Egy adott elemzési kategóriát jelöl, ami azt jelenti, hogy egy adott keretben csak egyetlen ilyen típusú megállapítás azonosítható. A megállapítástípusok közé tartozik például a "kosárlabda #23", a "John clapping", a "Dana fehér pólója".	false
results.metaData	További adatok a megállapításról	false
results.instances	Tömb, amely azt az időt jelöli, amelyben az elemzést észlelték.	true
results.instances.confidence	Beállítás a külső modellből visszaadott megbízhatósági pontszámmal	false
results.instances.start	A példány kezdési időpontja a videóban. Formátum: hh.mm.ss.ff	false
results.instances.end	A videóban szereplő példány befejezési ideje. Formátum: hh.mm.ss.ff	false
results.instances.adjustedStart	A felhasználói felületen való megjelenítéskor a Start értékével állítva	false
results.instances.adjustedEnd	A felhasználói felületen való megjelenítéskor használatos, és a Végpont értékével van beállítva	false

Képkockasebesség

Az Azure AI Video Indexer egy FPS-t támogat az alapszintű/standard videószinthez, a speciális szinthez pedig négy FPS-t. A nagyobb képkockasebességek nem támogatottak. Az indexelést az alábbiakkal optimalizálhatja:

• Csak azokat a szegmenseket dolgozza fel, amelyek fontosak, például az észlelt hangot, objektumot vagy személyt tartalmazó kereteket, vagy
• egy alacsonyabb FPS-t, például 5 másodpercenként.

Keret kijelölése

Az időválasztáshoz használhatja a kihagyott keretek és az oldalméret paramétereit. A képlet a kihagyott keretek és az FPS szorzata, valamint az oldalméret és az FPS szorzata az időtartomány meghatározásához használható.

URL:https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/FramesFilePaths[?urlsLifetimeSeconds][&pageSize][&skip][&accessToken]

Paraméterek:

Név	Leírás	Szükséges
videoId	A videó azonosítója	true
urlsLifetimeSeconds	az URL-címek élettartama másodpercben	true
pageSize	Az egyes hívásokat visszaküldeni kívánt keretek maximális száma	false
Ugrál	Kihagyandó keretek	false
accessToken	Paraméterként kell megadni az URL-lekérdezési sztringben vagy az Engedélyezési fejlécben tulajdonosi jogkivonatként. A hozzáférési jogkivonat hatókörének fióknak kell lennie, az engedélynek pedig Olvasónak kell lennie.	true

Válasz:FrameFilePathsResult

Név	Leírás	Szükséges
Eredmények	A FrameUriData listája	Hamis
Nextpage	Lapozási adatok (kihagyás, pageSize, isDone)	Hamis

FrameFilePathData

Név	Leírás
név	A keretfájl neve
frameIndex	A keret indexe
StartTime	A képkocka kezdési időpontja a videóban
EndTime	A képkocka befejezési ideje a videóban
filePath	A keret Sas URI-ja a felhőkörnyezetben vagy a fájl elérési útja peremkörnyezetekben

Mintaadatok az egyéni alkalmazásból sémaformátumban

"customInsights": [
    {
        "Name": "tattoo",  
        "displayName": "Tattoo’s model",
        "displayType": "CapsuleAndTag",
        "Results": [   
            {   
                "id": 1,   
                "Type": "Dragon",   
                "WikiDataId": "57F",   
                "SubType": "Leg tattoo",   
                "Metadata": "",   
                "Instances": [
                    {
                        "Confidence": 0.49,
                        "AdjustedStart": "0:00:32.72", 
                        "AdjustedEnd": "0:00:42.72",
                        "start": "0:00:32.72",
                        "end": "0:00:42.72",
                    }
                ]
            }
        ]
    }... 

Kapcsolódó tartalom

Az Azure AI Video Indexer API használata