Co je Azure Video Indexer?

Článek
02/15/2023
9 min ke čtení

Upozornění

11. června 2020 Microsoft oznámil, že nebude prodávat technologii rozpoznávání tváří policejním oddělením v USA, dokud nebude zavedena přísná regulace založená na lidských právech. Zákazníci proto nemusí používat funkce rozpoznávání obličeje nebo funkce, které jsou součástí služeb Azure, jako je rozpoznávání tváře nebo Azure Video Indexer, pokud zákazník je nebo povoluje používání těchto služeb policejním oddělením v USA.

Důležité

Přístup k funkcím rozpoznávání tváře, přizpůsobení a rozpoznávání celebrit je omezený na základě způsobilosti a kritérií použití, aby bylo možné podporovat naše principy zodpovědné AI. Funkce identifikace tváře, přizpůsobení a rozpoznávání celebrit jsou dostupné jenom pro spravované zákazníky a partnery Microsoftu. K žádosti o přístup použijte formulář pro příjem rozpoznávání tváře .

Azure Video Indexer je cloudová aplikace, která je součástí služeb Azure Applied AI Services, která je založená na Azure Media Services a Azure Cognitive Services (například Face, Translator, Počítačové zpracování obrazu a Speech). Umožňuje extrahovat přehledy z vašich videí pomocí video a zvukových modelů Azure Video Indexeru.

Azure Video Indexer analyzuje video a zvukový obsah spuštěním více než 30 modelů AI a generuje bohaté přehledy. Níže je znázorněna analýza zvuku a videa, kterou azure Video Indexer provádí na pozadí.

Pokud chcete začít extrahovat přehledy pomocí Azure Video Indexeru, podívejte se níže do části Jak začít .

Co můžu dělat s Azure Video Indexerem?

Přehledy Azure Video Indexeru je možné použít v mnoha scénářích, mezi které patří:

Hloubkové vyhledávání: Pomocí přehledů extrahovaných z videa můžete vylepšit možnosti hledání v knihovně videí. Indexování mluvených slov a tváří může například umožnit vyhledávání okamžiků ve videu, kdy osoba promluvila určitá slova, nebo když byli dva lidé vidět společně. Vyhledávání na základě takových přehledů z videí je použitelné pro tiskové agentury, vzdělávací instituce, vysílatele, vlastníky zábavního obsahu, podnikové obchodní aplikace a obecně pro všechny obory, které mají knihovnu videí, ve které uživatelé potřebují hledat.
Vytváření obsahu: Vytvářejte upoutávky, zvýrazňujte navijáky, obsah sociálních médií nebo zpravodajské klipy na základě přehledů, které Azure Video Indexer z vašeho obsahu extrahuje. Klíčové snímky, značky scén a časová razítka osob a popisků usnadňují proces vytváření a umožňují snadno se dostat k částem videa, které potřebujete při vytváření obsahu.
Přístupnost: Bez ohledu na to, jestli chcete obsah zpřístupnit osobám s postižením, nebo pokud chcete, aby se obsah distribuoval do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad, který poskytuje Azure Video Indexer v několika jazycích.
Monetizace: Azure Video Indexer může pomoct zvýšit hodnotu videí. Například odvětví, která se spoléhají na výnosy z reklamy (informační média, sociální média atd.), mohou poskytovat relevantní reklamy pomocí extrahovaných přehledů jako dalších signálů pro reklamní server.
Moderování obsahu: Pomocí modelů moderování textového a vizuálního obsahu zajistíte uživatelům ochranu před nevhodným obsahem a ověříte, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
Doporučení: Přehledy videí se dají použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazní relevantní video momenty. Když každé video označíte dalšími metadaty, můžete uživatelům doporučit nejrelevantnější videa a zvýraznit části videa, které budou odpovídat jejich potřebám.

Funkce AI pro video/zvuk

Následující seznam ukazuje přehledy, které můžete načíst z videosouborů nebo zvukových souborů pomocí funkcí azure Video Indexeru pro video a audio AI (modely).

Pokud není uvedeno jinak, je model obecně dostupný.

Modely videí

Detekce tváří: Detekuje a seskupí tváře, které jsou ve videu zobrazené.
Identifikace celebrit: Identifikuje více než 1 milion celebrit – jako jsou světoví vůdci, herci, umělci, sportovci, výzkumní pracovníci, obchodní a tech leaderové po celém světě. Data o těchto celebritách lze také najít na různých webech (IMDB, Wikipedia atd.).
Identifikace tváře na základě účtu: Trénuje model pro konkrétní účet. Pak rozpozná tváře ve videu na základě natrénovaného modelu. Další informace najdete v tématech Přizpůsobení modelu person na webu Azure Video Indexer a Přizpůsobení modelu person pomocí rozhraní API Azure Video Indexeru.
Extrakce miniatur pro tváře: Identifikuje nejlépe zachycenou tvář v každé skupině tváří (na základě kvality, velikosti a přední pozice) a extrahuje ji jako prostředek obrázku.
Optické rozpoznávání znaků (OCR): Extrahuje text z obrázků, jako jsou obrázky, pouliční značky a produkty v mediálních souborech, a vytváří tak přehledy.
Zmírnění vizuálního obsahu: Detekuje vizuální obsah jen pro dospělé nebo nevhodný obsah.
Identifikace popisků: Identifikuje vizuální objekty a zobrazené akce.
Segmentace scény: Určuje, kdy se scéna ve videu změní na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se z řady po sobě jdoucích snímků, které sémanticky souvisejí.
Detekce snímků: Určuje, kdy se snímek změní ve videu na základě vizuálních upozornění. Snímek je řada snímků pořízených ze stejné kamery. Další informace najdete v tématu Scény, snímky a klíčové snímky.
Detekce černých snímků: Identifikuje černé snímky ve videu.
Extrakce klíčových snímků: Zjistí stabilní klíčové snímky ve videu.
Průběžné kredity: Určuje začátek a konec průběžných kreditů na konci televizních pořadů a filmů.
Detekce typu úvodního snímku: Označí snímky na základě jejich typu (například široký záběr, střední záběr, zblízka, extrémní zblízka, dva záběry, více osob, venkovní a vnitřní atd.). Další informace najdete v tématu Detekce typu redakčního snímku.
Sledování pozorovaných osob (Preview): Rozpozná pozorované osoby ve videích a poskytuje informace, jako je poloha osoby v rámečku videa (pomocí ohraničujícího rámečku) a přesné časové razítko (začátek, konec) a jistota, když se osoba objeví. Další informace najdete v tématu Sledování pozorovaných osob ve videu.
- Lidé zjištěné oblečení (preview): Zjistí typy oblečení lidí, kteří se na videu objevují, a poskytuje informace, jako jsou dlouhé nebo krátké rukávy, dlouhé nebo krátké kalhoty a sukně nebo šaty. Zjištěné oblečení je spojeno s lidmi, kteří ho nosí, a jsou k dispozici přesné časové razítko (začátek, konec) spolu s úrovní spolehlivosti pro detekci. Další informace najdete v tématu Zjištěné oblečení.
- Doporučené oděvy (Preview): Zachycuje doporučené obrázky oblečení, které se zobrazují ve videu. Cílené reklamy můžete vylepšit pomocí přehledu doporučeného oblečení. Informace o tom, jak jsou vybrané obrázky oblečení seřazené a jak získat přehled, najdete v tématu Doporučené oblečení.
Spárovaná osoba (Preview): Porovná osoby, které byly ve videu pozorovány, s odpovídajícími rozpoznanými tvářemi. Shoda mezi pozorovanými lidmi a tvářemi obsahuje úroveň spolehlivosti.
Detekce slate (Preview): Při indexování videa pomocí rozšířené možnosti indexování identifikuje následující postprodukční přehledy filmů:
- Detekce klapek s extrakcí metadat.
- Detekce digitálních vzorů, včetně barevných pruhů
- Detekce beztextové slate, včetně párování scén.
Podrobnosti najdete v tématu Detekce slate.
Rozpoznávání textového loga (Preview): Odpovídá konkrétnímu předdefinovanému textu pomocí Azure Video Indexeru OCR. Pokud například uživatel vytvořil textové logo Microsoft, bude jako logo Microsoft rozpoznáno jiné vzhledy slova Microsoft . Další informace najdete v tématu Zjištění textového loga.

Modely zvuku

Přepis zvuku: Převádí řeč na text v více než 50 jazycích a umožňuje rozšíření. Další informace najdete v tématu Podpora jazyka Azure Video Indexeru.
Automatická detekce jazyka: Identifikuje dominantní mluvený jazyk. Další informace najdete v tématu Podpora jazyka Azure Video Indexeru. Pokud jazyk nejde s jistotou identifikovat, Azure Video Indexer předpokládá, že mluveným jazykem je angličtina. Další informace najdete v tématu Model identifikace jazyka.
Identifikace a přepis řeči ve více jazycích: Identifikuje mluvený jazyk v různých segmentech zvuku. Jednotlivé části mediálního souboru se odešlou k přepisu a tyto části přepisu se pak znovu spojí v jeden ucelený přepis. Další informace najdete v tématu Automatická identifikace a přepis vícejazyčného obsahu.
Tvorba titulků: Vytvoří titulky ve třech formátech: VTT, TTML, SRT.
Zpracování se dvěma kanály: Automaticky rozpozná samostatný přepis a sloučí se s jednou časovou osou.
Redukce šumu: Vymaže zvuk telefonie nebo hlučné záznamy (na základě skypových filtrů).
Přizpůsobení přepisu (CRIS): Trénuje vlastní řeč na textové modely a vytváří přepisy specifické pro dané odvětví. Další informace najdete v tématech Přizpůsobení jazykového modelu na webu Azure Video Indexer a Přizpůsobení jazykového modelu pomocí rozhraní API Azure Video Indexeru.
Výčet mluvčího: Mapuje a rozumí tomu, který mluvčí promluvil o kterých slovech a kdy. V jednom zvukovém souboru lze rozpoznat šestnáct reproduktorů.
Statistika mluvčího: Poskytuje statistiku poměrů řeči mluvčích.
Zmírnění textového obsahu: Detekuje explicitní text v přepisu zvuku.
Detekce emocí: Identifikuje emoce na základě řeči (co se říká) a tonality hlasu (jak se říká). Emoce může být radost, smutek, hněv nebo strach.
Překlad: Vytvoří překlad zvukového přepisu do mnoha různých jazyků. Další informace najdete v tématu Podpora jazyka Azure Video Indexeru.
Detekce zvukových efektů (Preview): Rozpozná následující zvukové efekty v neslovných segmentech obsahu: budík nebo siréna, štěkání psa, reakce davu (jásání, tleskání a bukání), střelba nebo výbuch, smích, rozbíjecí sklo a ticho.

Zjištěné akustické události jsou v souboru skrytých titulků. Soubor si můžete stáhnout z webu Azure Video Indexeru. Další informace najdete v tématu Detekce zvukových efektů.

Poznámka

Úplná sada událostí je k dispozici pouze v případě, že při nahrávání souboru zvolíte možnost Pokročilá analýza zvuku v předvolbě nahrávání. Ve výchozím nastavení je rozpoznáno pouze ticho.

Modely zvuku a videa (více kanálů)

Při indexování jedním kanálem bude pro tyto modely k dispozici částečný výsledek.

Extrakce klíčových slov: Extrahuje klíčová slova z řeči a vizuálního textu.
Extrakce pojmenovaných entit: Extrahuje značky, lokality a osoby z řečových a vizuálních textů prostřednictvím zpracování přirozeného jazyka (NLP).
Odvození témat: Extrahuje témata na základě různých klíčových slov (to znamená klíčová slova 'Burza', 'Wall Street' vytvoří téma 'Ekonomika'). Model používá tři různé ontologie (IPTC, Wikipedia a hierarchickou ontologii témat Video Indexeru). Model používá přepis (mluvená slova), obsah OCR (vizuální text) a celebrity rozpoznané ve videu pomocí modelu rozpoznávání obličeje Video Indexeru.
Artefakty: Extrahuje bohatou sadu artefaktů s „další úrovní podrobností“ pro každý z modelů.
Analýza citového zabarvení: Identifikuje kladná, záporná a neutrální zabarvení řeči a vizuálního textu.

Jak můžu začít s Azure Video Indexerem?

Zjistěte, jak začít s Azure Video Indexerem.

Po nastavení začněte používat přehledy a podívejte se na další příručky s postupy.

Dodržování předpisů, ochrana osobních údajů a zabezpečení

Připomínáme, že při používání Služby Azure Video Indexer musíte dodržovat všechny platné zákony a nesmíte azure Video Indexer ani žádnou službu Azure používat způsobem, který porušuje práva ostatních nebo který by mohl ostatní poškodit.

Před nahráním jakéhokoli videa nebo obrázku do Azure Video Indexeru musíte mít všechna správná práva k používání videa nebo obrázku, včetně všech potřebných souhlasů jednotlivců (pokud existuje) ve videu nebo obrázku, pokud je to požadováno zákonem, s použitím, zpracováním a ukládáním jejich dat v Azure Video Indexeru a Azure. Některé jurisdikce mohou stanovit zvláštní právní požadavky pro shromažďování, online zpracování a ukládání určitých kategorií údajů, jako jsou biometrické údaje. Než použijete Azure Video Indexer a Azure ke zpracování a ukládání jakýchkoli dat, na které se vztahují zvláštní právní požadavky, musíte zajistit dodržování veškerých takových právních požadavků, které se na vás mohou vztahovat.

Informace o dodržování předpisů, ochraně osobních údajů a zabezpečení v Azure Video Indexeru najdete v Centru zabezpečení Microsoftu. Informace o povinnostech společnosti Microsoft v oblasti ochrany osobních údajů, manipulaci s daty a jejich uchovávání, včetně způsobu odstranění vašich údajů, najdete v Prohlášení společnosti Microsoft o zásadách ochrany osobních údajů, podmínkách pro online služby ("OST") a dodatek ke zpracování dat ("DPA"). Používáním Služby Azure Video Indexer souhlasíte s tím, že budete vázáni podmínkami pro ochranu osobních údajů, DPA a Prohlášením o zásadách ochrany osobních údajů.

Další kroky

Jste připraveni začít s Azure Video Indexerem. Další informace najdete v následujících článcích:

Nejnovější aktualizace najdete v poznámkách k verzi Azure Video Indexeru.