Az Azure AI Video Indexer áttekintése

Az Azure AI Video Indexer egy azure AI-szolgáltatások részét képező felhőalapú alkalmazás, amely Azure AI-szolgáltatásokra épül (például a Face, a Translator, az Azure AI Vision és a Speech). Lehetővé teszi, hogy az Azure AI Video Indexer videó- és hangmodelljeiből kinyerje az elemzéseket a videóiból.

Az Azure AI Video Indexer több mint 30 AI-modell futtatásával elemzi a video- és hangtartalmakat, és gazdag elemzéseket hoz létre. Íme egy ábra az Azure AI Video Indexer által a háttérben végzett hang- és videoelemzésről:

Ha az Azure AI Video Indexerrel szeretne elemzéseket kinyerni, tekintse meg az első lépések szakaszt.

Mit tehetek az Azure AI Video Indexerrel?

Az Azure AI Video Indexer elemzési adatai számos forgatókönyvre alkalmazhatók:

• Részletes keresés: A videóból kinyert elemzések használatával javíthatja a keresési élményt a videótárakban. A beszélt szavak és arcok indexelése például lehetővé teszi, hogy olyan pillanatokat találjon egy videóban, ahol egy személy bizonyos szavakat beszélt, vagy amikor két személy együtt volt látható. Az ilyen videók alapján végzett keresés a hírügynökségekre, oktatási intézményekre, műsorszolgáltatókra, szórakoztató tartalomtulajdonosokra, vállalati LOB-alkalmazásokra és általában minden olyan iparágra vonatkozik, amely rendelkezik olyan videótárral, amelyet a felhasználóknak meg kell keresni.
• Tartalom létrehozása: Az Azure AI Video Indexer által a tartalomból kinyert megállapítások alapján létrehozhat előzeteseket, emelhet ki orsókat, közösségimédia-tartalmakat vagy hírklipeket. A kulcskeretek, a jelenetjelölők és a személyek időbélyegei, valamint a címke megjelenései gördülékenyebbé és egyszerűbbé teszik a létrehozási folyamatot, így könnyedén el lehet jutni a videó tartalom létrehozásakor szükséges részeihez.
• Akadálymentesség: Akár fogyatékkal élők számára szeretné elérhetővé tenni a tartalmakat, akár azt szeretné, hogy a tartalmak különböző régiókban, különböző nyelveken legyenek terjesztve, az Azure AI Video Indexer által biztosított átiratot és fordítást több nyelven is használhatja.
• Bevételszerzés: Az Azure AI Video Indexer segíthet növelni a videók értékét. Például a hirdetési bevételre támaszkodó iparágak (híroldalak, közösségi média stb.) releváns hirdetéseket jeleníthetnek meg a kinyert megállapítások további jelekként a hirdetési kiszolgáló számára.
• Con sátormód ration: Szöveges és vizuális con sátormód ration modellek használatával biztosíthatja a felhasználók számára a nem megfelelő tartalmakat, és ellenőrizheti, hogy a közzétett tartalom megfelel-e a szervezet értékeinek. Automatikusan letilthat bizonyos videókat, vagy értesítheti a felhasználókat a tartalomról.
• Javaslatok: A videóelemzések a felhasználók számára releváns videós pillanatok kiemelésével javíthatók a felhasználói aktivitáson. Az egyes videók további metaadatokkal való címkézésével javasolhatja a felhasználóknak a leginkább releváns videókat, és kiemelheti a videónak az igényeiknek megfelelő részeit.

Video-/audio AI-funkciók

Az alábbi lista az Azure AI Video Indexer videó- és hang AI-funkcióinak (modelljeinek) használatával lekérhető elemzéseket mutatja be a video- és hangfájlokból.

Feljegyzés

Az adatvédelmi és szabályozási követelmények miatt ezen funkciók némelyike korlátozottan használható, és/vagy engedélyre van szükség a teljes használathoz.

Ha másként nincs megadva, a modell általánosan elérhető.

Videómodellek

• Arcfelismerés: Felismeri és csoportosítja a videóban megjelenő arcokat.

• Hírességek azonosítása: Több mint 1 millió hírességet azonosít– például világvezetőket, színészeket, művészeket, sportolókat, kutatókat, üzleti és technológiai vezetőket világszerte. Ezekről a hírességekről szóló adatok különböző webhelyeken (IMDB, Wikipedia stb.) is megtalálhatók.

• Fiókalapú arcfelismerés: Modell betanítása egy adott fiókhoz. Ezután felismeri a videóban szereplő arcokat a betanított modell alapján. További információ: Személymodell testreszabása az Azure AI Video Indexer webhelyén , valamint személymodell testreszabása az Azure AI Video Indexer API-val.

• Miniatűrök kinyerése arcokhoz: Azonosítja az arcok minden csoportjában a legjobban rögzített arcot (a minőség, a méret és az előtérbeli pozíció alapján), és képeszközként kinyeri.

• Optikai karakterfelismerés (OCR):A médiafájlokban lévő képekből, például képekből, utcatáblákból és termékekből kinyeri a szöveget az elemzések létrehozásához.

• Vizuális tartalom moderálása: Felismeri a felnőtt és/vagy kényes látványelemeket.

• Címkeazonosítás: Azonosítja a megjelenített vizuális objektumokat és műveleteket.

• Jelenet szegmentációja: Meghatározza, hogy egy jelenet mikor változik a videóban vizuális jelek alapján. A jelenet egyetlen eseményt ábrázol, és egymást követő felvételek sorozatából áll, amelyek szemantikailag kapcsolódnak.

• Lövésészlelés: Meghatározza, hogy egy felvétel mikor változik a videóban vizuális jelek alapján. A lövés egy sorozat képkockák venni ugyanabból a mozgókép kamera. További információ: Jelenetek, felvételek és kulcskeretek.

• Fekete keret észlelése: Azonosítja a videóban megjelenő fekete kereteket.

• Kulcsképkockák kinyerése: Felismeri a videók stabil kulcsképkockáit.

• Gördülő kreditek: Azonosítja a gördülő kreditek kezdetét és végét a tv-műsorok és filmek végén.

• Szerkesztői lövés típusészlelés: Címkék felvételek alapján a típus (például széles lövés, közepes lövés, közelről, extrém közelről, két lövés, több ember, szabadtéri és beltéri, és így tovább). További információ: Szerkesztői lövéstípus-észlelés.

• Megfigyelt személyek észlelése: Észleli a megfigyelt személyeket a videókban, és olyan információkat nyújt, mint a személy helye a videókeretben (határolókeretek használatával), valamint a személy megjelenésekor a pontos időbélyeg (kezdés, befejezés) és megbízhatóság. További információkért tekintse meg a Nyomkövetés által megfigyelt személyeket egy videóban.

  • Egyeztetett személy: Megegyezik a videóban megfigyelt személyekkel a megfelelő arcokkal. A megfigyelt személyek és az arcok közötti egyeztetés megbízhatósági szintet tartalmaz.
  • Észlelt ruházat: Felismeri a videóban megjelenő személyek ruházati típusait, és információt nyújt, például hosszú vagy rövid ujjú, hosszú vagy rövid nadrág, szoknya vagy ruha. Az észlelt ruházat az azt viselő személyekhez van társítva, és a pontos időbélyeg (kezdés, befejezés) és az észlelés megbízhatósági szintje is rendelkezésre áll.
  • Kiemelt ruházat: A videóban megjelenő kiemelt ruházati képeket rögzíti. A kiemelt ruházati megállapítások használatával javíthatja a célzott hirdetéseket. A kiemelt ruházati képek rangsorolásával és az elemzések lekérésével kapcsolatos információkért tekintse meg a kiemelt ruházati cikkeket.

• Az objektumészlelés észleli a szintén nyomon követett egyedi objektumokat, így ha visszatérnek a kerethez, felismerik őket. Az Azure AI Video Indexer objektumészlelésének megtekintése

• Palaészlelés: A következő filmgyártás utáni elemzéseket azonosítja egy videó speciális indexelési lehetőséggel történő indexelésekor:

  • Clapperboard észlelés metaadatok kinyerése.
  • Digitális minták észlelése, beleértve a színsávokat is.
  • Szöveg nélküli palaészlelés, beleértve a jelenetmegfeleltetést is.

  További részletekért lásd : Palaészlelés.

• Szöveges emblémaészlelés: Megfelel egy adott előre definiált szövegnek az Azure AI Video Indexer OCR használatával. Ha például egy felhasználó létrehozott egy szöveges emblémát: "Microsoft", a rendszer a Microsoft szó különböző megjelenését fogja észlelni a "Microsoft" emblémaként. További információ: Szövegnyelvi embléma észlelése.

Hangmodellek

• Hangátirat: 50 nyelven szöveggé alakítja a beszédet, és lehetővé teszi a bővítményeket. További információ: Azure AI Video Indexer nyelvi támogatás.

• Automatikus nyelvfelismerés: Azonosítja a domináns beszélt nyelvet. További információ: Azure AI Video Indexer nyelvi támogatás. Ha a nyelv nem azonosítható magabiztosan, az Azure AI Video Indexer feltételezi, hogy a beszélt nyelv angol.

• Többnyelvű beszédfelismerés és átirat: A beszélt nyelvet a hang különböző szegmenseiben azonosítja. A szolgáltatás elküldi a médiafájl egyes szegmenseit átírásra, majd egyesíti az átiratokat egyetlen összevont átírássá. További információ az átírásról: Átírás

• Hangfeliratok: Hangfeliratokat hoz létre három formátumban: VTT, TTML, SRT.

• Két csatorna feldolgozása: Automatikusan észleli a különálló átiratot, és egyetlen idővonalra egyesül.

• Zajcsökkentés: Feljavítja a telefonos hangfájlokat és a zajos felvételeket (Skype-szűrők alapján).

• Átirat testreszabása (CRIS): Egyéni beszédet képez le szövegmodellekre iparágspecifikus átiratok létrehozásához. További információ: Nyelvi modell testreszabása.

• Beszélők számbavétele: Felismeri és beazonosítja, hogy mely szavakat mely beszélő mondta, és mikor. Egy hangfájlban tizenhat hangszóró észlelhető.

• Előadói statisztikák: Statisztikákat biztosít a beszélők beszédarányaihoz.

• Szöveges tartalom moderálása: Felismeri az explicit szövegeket a hanganyag alapján készült átiratban.

• Szövegalapú érzelemfelismerés: Olyan érzelmek, mint az öröm, a szomorúság, a harag és a félelem, amelyeket átiratelemzéssel észleltek.

• Fordítás: A hangátirat fordítását számos különböző nyelvre hozza létre. További információ: Azure AI Video Indexer nyelvi támogatás.

• Hangeffektusok észlelése: Észleli a következő hangeffektusokat a tartalom nem beszédszakaszaiban: riasztás vagy sziréna, kutya ugatás, tömegreakciók (vidámság, taps és pia), lövés vagy robbanás, nevetés, üvegtörés és csend.

  Az észlelt akusztikai események a feliratfájlban találhatók. A fájl az Azure AI Video Indexer webhelyéről tölthető le. További információ: Hangeffektusok észlelése.

  Feljegyzés

  Az események teljes készlete csak akkor érhető el, ha a speciális hangelemzést választja egy fájl feltöltésekor, a feltöltési előre beállított állapotban. Alapértelmezés szerint a rendszer csak a csendet észleli.

Hang- és videomodellek (többcsatornás)

Ha egy csatornával indexel, ezekre a modellekre részleges eredmények érhetők el.

• Kulcsszavak kinyerése: Kinyeri a kulcsszavakat a beszédből és a vizuális szövegből.
• Nevesített entitások kinyerése: Kinyeri a márkákat, helyeket és személyeket a beszédből és a vizuális szövegből természetes nyelvi feldolgozással (NLP).
• Témakövetkeztetés: Különböző kulcsszavak alapján nyeri ki a témaköröket (azaz a "Tőzsde" kulcsszavak, a "Wall Street" a "Közgazdaságtan" témakört állítja elő). A modell három különböző ontológiát használ (IPTC, Wikipedia és a Video Indexer hierarchikus témakör ontológiája). A modell átírást (beszélt szavakat), OCR-tartalmat (vizuális szöveget) és a videóban felismert hírességeket használ a Video Indexer arcfelismerési modellel.
• Összetevők: Rendkívül részletes összetevők széles választékát nyeri ki modellhez.
• Hangulatelemzés: Azonosítja a pozitív, negatív vagy semleges érzelmeket a beszédben és a vizuális szövegekben.

Hogyan kezdhetem el az Azure AI Video Indexer használatát?

Megtudhatja, hogyan kezdheti el az Azure AI Video Indexer használatát.

A beállítás után kezdje el használni az elemzéseket, és tekintse meg a további útmutatókat.

Megfelelőség, adatvédelem és biztonság

Feljegyzés

2020. június 11-én a Microsoft bejelentette, hogy nem értékesít arcfelismerő technológiát az Egyesült Államok rendőrségének egészen addig, amíg az emberi jogokra alapozott erős szabályozást nem vezetnek be. Ezért előfordulhat, hogy az ügyfelek nem használnak arcfelismerési funkciókat vagy funkciókat az Azure AI-szolgáltatásokban, például a Face vagy a Video Indexer szolgáltatásban, ha az ügyfél az Egyesült Államok rendőrosztálya által vagy számára engedélyezi az ilyen szolgáltatások használatát.

Feljegyzés

Az arcazonosítási, testreszabási és hírességfelismerési funkciók hozzáférése a jogosultsági és használati feltételek alapján korlátozott a felelős AI-alapelvek támogatása érdekében. Az arcfelismerési, testreszabási és hírességfelismerési funkciók csak a Microsoft által felügyelt ügyfelek és partnerek számára érhetők el. A Hozzáférés igényléséhez használja a Face Recognition beviteli űrlapot .

Meg kell felelnie az Azure AI Video Indexer használatára vonatkozó összes vonatkozó törvénynek, és nem használhatja az Azure AI Video Indexert vagy bármely Azure-szolgáltatást olyan módon, amely sérti mások jogait, vagy amelyek másokra nézve károsak lehetnek.

Mielőtt bármilyen videót/képet feltöltené az Azure AI Video Indexerbe, rendelkeznie kell a videó/kép használatára vonatkozó összes megfelelő és jogi joggal, beleértve a videó/kép felhasználóinak (ha vannak ilyenek) a videóban/képben szereplő személyektől származó összes szükséges hozzájárulást az adataik Azure AI Video Indexerben és Az Azure-ban való használatához, feldolgozásához és tárolásához. Egyes joghatóságok különleges jogi követelményeket írhatnak elő bizonyos adatkategóriák, például biometrikus adatok gyűjtésére, online feldolgozására és tárolására vonatkozóan. Mielőtt az Azure AI Video Indexert és az Azure-t különleges jogi követelmények hatálya alá tartozó adatok feldolgozására és tárolására használja, gondoskodnia kell arról, hogy a használata megfeleljen az Önre és a tervezett használatra vonatkozó összes jogi követelménynek.

A megfelelőségről, az adatvédelemről és a biztonságról az Azure AI Video Indexerben a Microsoft Adatvédelmi központban tájékozódhat. A Microsoft adatvédelmi kötelezettségeit, adatkezelési és adatmegőrzési eljárásait, beleértve az adatok törlését, tekintse át a Microsoft adatvédelmi nyilatkozatát, az online szolgáltatásokra vonatkozó feltételeket ("OST") és az adatfeldolgozási kiegészítést ("DPA"). Az Azure AI Video Indexer használatával ön elfogadja, hogy az OST, a DPA és az adatvédelmi nyilatkozat magára nézve kötelező.