Co je Azure AI Video Indexer?

Článek
08/03/2023

Důležité

Po oznámení o vyřazení služby Azure Media Services z provozu provede Azure Video Indexer následující oznámení: Poznámky k červnové verzi.

Podívejte se také na nejčastější dotazy týkající se vyřazení AMS.

Poznámka

11. června 2020 Microsoft oznámil, že nebude prodávat technologii rozpoznávání tváří policejním oddělením v USA, dokud nebude zavedena přísná regulace založená na lidských právech. Zákazníci proto nemusí používat funkce rozpoznávání obličeje nebo funkce, které jsou součástí služeb Azure AI, jako je face nebo Video Indexer, pokud zákazník je nebo povoluje použití těchto služeb policejním oddělením v USA.

Poznámka

Přístup k funkcím rozpoznávání tváře, přizpůsobení a rozpoznávání celebrit je omezený na základě způsobilosti a kritérií použití, aby bylo možné podporovat naše principy zodpovědné AI. Funkce identifikace tváře, přizpůsobení a rozpoznávání celebrit jsou dostupné jenom pro spravované zákazníky a partnery Microsoftu. K podání žádosti o přístup použijte formulář pro příjem rozpoznávání tváře .

Azure AI Video Indexer je cloudová aplikace, která je součástí služeb Azure AI, založená na službách Azure Media Services a Azure AI (jako jsou Rozpoznávání tváře, Translator, Azure AI Vision a Speech). Umožňuje extrahovat přehledy z videí pomocí video a zvukových modelů Azure AI Video Indexeru.

Azure AI Video Indexer analyzuje video a zvukový obsah spuštěním více než 30 modelů AI a generuje bohaté přehledy. Tady je obrázek analýzy zvuku a videa, kterou azure AI Video Indexer provádí na pozadí:

Pokud chcete začít extrahovat přehledy pomocí Azure AI Video Indexeru, přečtěte si část Jak můžu začít .

Co můžu dělat s Azure AI Video Indexerem?

Přehledy Azure AI Video Indexeru je možné použít v mnoha scénářích, mezi které patří:

Hloubkové vyhledávání: Pomocí přehledů extrahovaných z videa můžete vylepšit možnosti hledání v knihovně videí. Indexování mluvených slov a tváří může například umožnit vyhledávání okamžiků ve videu, kdy osoba promluvila určitá slova, nebo když byli dva lidé vidět společně. Vyhledávání na základě takových přehledů z videí je použitelné pro tiskové agentury, vzdělávací instituce, vysílatele, vlastníky zábavního obsahu, podnikové obchodní aplikace a obecně pro všechny obory, které mají knihovnu videí, ve které uživatelé potřebují hledat.
Vytváření obsahu: Vytvářejte upoutávky, zvýrazňujte navijáky, obsah sociálních médií nebo zpravodajské klipy na základě přehledů, které Azure AI Video Indexer extrahuje z vašeho obsahu. Klíčové snímky, značky scén a časová razítka osob a popisků usnadňují proces vytváření a umožňují snadno se dostat k částem videa, které potřebujete při vytváření obsahu.
Přístupnost: Bez ohledu na to, jestli chcete obsah zpřístupnit osobám s postižením, nebo pokud chcete, aby se obsah distribuoval do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad, který poskytuje Azure AI Video Indexer ve více jazycích.
Monetizace: Azure AI Video Indexer může pomoct zvýšit hodnotu videí. Například odvětví, která se spoléhají na výnosy z reklamy (informační média, sociální média atd.), mohou poskytovat relevantní reklamy pomocí extrahovaných přehledů jako dalších signálů pro reklamní server.
Moderování obsahu: Pomocí modelů moderování textového a vizuálního obsahu zajistíte uživatelům ochranu před nevhodným obsahem a ověříte, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
Doporučení: Přehledy videí se dají použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazní relevantní video momenty. Když každé video označíte dalšími metadaty, můžete uživatelům doporučit nejrelevantnější videa a zvýraznit části videa, které odpovídají jejich potřebám.

Funkce AI pro video/zvuk

Následující seznam ukazuje přehledy, které můžete načíst z videosouborů nebo zvukových souborů pomocí video a zvukových funkcí (modelů) v Azure AI Video Indexeru.

Pokud není uvedeno jinak, je model obecně dostupný.

Modely videí

Detekce tváří: Detekuje a seskupí tváře, které jsou ve videu zobrazené.
Identifikace celebrit: Identifikuje více než 1 milion celebrit – jako jsou světoví vůdci, herci, umělci, sportovci, výzkumní pracovníci, obchodní a tech leaderové po celém světě. Data o těchto celebritách lze také najít na různých webech (IMDB, Wikipedia atd.).
Identifikace tváře na základě účtu: Trénuje model pro konkrétní účet. Pak rozpozná tváře ve videu na základě natrénovaného modelu. Další informace najdete v tématech Přizpůsobení modelu person na webu Azure AI Video Indexer a Přizpůsobení modelu person pomocí rozhraní API Azure AI Video Indexeru.
Extrakce miniatur pro tváře: Identifikuje nejlépe zachycenou tvář v každé skupině tváří (na základě kvality, velikosti a přední pozice) a extrahuje ji jako prostředek obrázku.
Optické rozpoznávání znaků (OCR): Extrahuje text z obrázků, jako jsou obrázky, pouliční značky a produkty v mediálních souborech, a vytváří tak přehledy.
Zmírnění vizuálního obsahu: Detekuje vizuální obsah jen pro dospělé nebo nevhodný obsah.
Identifikace popisků: Identifikuje vizuální objekty a zobrazené akce.
Segmentace scény: Určuje, kdy se scéna ve videu změní na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se z řady po sobě jdoucích snímků, které sémanticky souvisejí.
Detekce snímků: Určuje, kdy se snímek změní ve videu na základě vizuálních upozornění. Snímek je řada snímků pořízených ze stejné kamery. Další informace najdete v tématu Scény, snímky a klíčové snímky.
Detekce černých snímků: Identifikuje černé snímky ve videu.
Extrakce klíčových snímků: Zjistí stabilní klíčové snímky ve videu.
Průběžné kredity: Určuje začátek a konec průběžných kreditů na konci televizních pořadů a filmů.
Detekce typu úvodního snímku: Označí snímky na základě jejich typu (například široký záběr, střední záběr, zblízka, extrémní zblízka, dva záběry, více osob, venkovní a vnitřní atd.). Další informace najdete v tématu Detekce typu redakčního snímku.
Sledování pozorovaných osob (Preview): Detekuje pozorované osoby ve videích a poskytuje informace, jako je poloha osoby v rámečku videa (pomocí ohraničujícího rámečku) a přesné časové razítko (začátek, konec) a jistota, když se osoba objeví. Další informace najdete v tématu Sledování pozorovaných osob ve videu.
- Lidé zjištěné oblečení (preview): Zjistí typy oblečení lidí, kteří se na videu objevují, a poskytuje informace, jako jsou dlouhé nebo krátké rukávy, dlouhé nebo krátké kalhoty a sukně nebo šaty. Zjištěné oblečení je spojeno s lidmi, kteří ho nosí, a jsou k dispozici přesné časové razítko (začátek, konec) spolu s úrovní spolehlivosti pro detekci. Další informace najdete v tématu Zjištěné oblečení.
- Doporučené oděvy (Preview): Zachycuje doporučené obrázky oblečení, které se zobrazují ve videu. Cílené reklamy můžete vylepšit pomocí přehledu doporučeného oblečení. Informace o tom, jak jsou vybrané obrázky oblečení seřazené a jak získat přehled, najdete v tématu Doporučené oblečení.
Spárovaná osoba (Preview): Porovná osoby, které byly ve videu pozorovány, s odpovídajícími rozpoznanými tvářemi. Shoda mezi pozorovanými lidmi a tvářemi obsahuje úroveň spolehlivosti.
Detekce slate (Preview): Při indexování videa pomocí rozšířené možnosti indexování identifikuje následující postprodukční přehledy filmů:
- Detekce klapek s extrakcí metadat.
- Detekce digitálních vzorů, včetně barevných pruhů
- Detekce beztextové slate, včetně párování scén.
Podrobnosti najdete v tématu Detekce slate.
Rozpoznávání textového loga (Preview): Porovná konkrétní předdefinovaný text pomocí Azure AI Video IndexerU OCR. Pokud například uživatel vytvořil textové logo Microsoft, bude jako logo Microsoft rozpoznáno jiné vzhledy slova Microsoft . Další informace najdete v tématu Zjištění textového loga.

Modely zvuku

Přepis zvuku: Převádí řeč na text v více než 50 jazycích a umožňuje rozšíření. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexeru.
Automatická detekce jazyka: Identifikuje dominantní mluvený jazyk. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexeru. Pokud se jazyk nedá s jistotou identifikovat, Azure AI Video Indexer předpokládá, že mluveným jazykem je angličtina. Další informace najdete v tématu Model identifikace jazyka.
Identifikace a přepis řeči ve více jazycích: Identifikuje mluvený jazyk v různých segmentech zvuku. Jednotlivé části mediálního souboru se odešlou k přepisu a tyto části přepisu se pak znovu spojí v jeden ucelený přepis. Další informace najdete v tématu Automatická identifikace a přepis vícejazyčného obsahu.
Tvorba titulků: Vytvoří titulky ve třech formátech: VTT, TTML, SRT.
Zpracování se dvěma kanály: Automaticky rozpozná samostatný přepis a sloučí se s jednou časovou osou.
Redukce šumu: Vymaže zvuk telefonie nebo hlučné záznamy (na základě skypových filtrů).
Přizpůsobení přepisu (CRIS): Trénuje vlastní řeč na textové modely a vytváří přepisy specifické pro dané odvětví. Další informace najdete v tématech Přizpůsobení jazykového modelu na webu Azure AI Video Indexer a Přizpůsobení jazykového modelu pomocí rozhraní API Azure AI Video Indexeru.
Výčet mluvčího: Mapuje a rozumí tomu, který mluvčí promluvil o kterých slovech a kdy. V jednom zvukovém souboru lze rozpoznat šestnáct reproduktorů.
Statistika mluvčího: Poskytuje statistiky pro poměry řeči mluvčích.
Zmírnění textového obsahu: Detekuje explicitní text v přepisu zvuku.
Detekce emocí na základě textu: Emoce, jako je radost, smutek, hněv a strach, které byly zjištěny prostřednictvím analýzy přepisu.
Překlad: Vytvoří překlad zvukového přepisu do mnoha různých jazyků. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexeru.
Detekce zvukových efektů (Preview): Rozpozná následující zvukové efekty v neslovných segmentech obsahu: budík nebo siréna, štěkání psa, reakce davu (jásání, tleskání a bukání), střelba nebo výbuch, smích, rozbití skla a ticho.

Zjištěné akustické události jsou v souboru skrytých titulků. Soubor je možné stáhnout z webu Azure AI Video Indexer. Další informace najdete v tématu Detekce zvukových efektů.

Poznámka

Úplná sada událostí je k dispozici pouze v případě, že při nahrávání souboru zvolíte možnost Pokročilá analýza zvuku v předvolbě nahrávání. Ve výchozím nastavení je rozpoznáno pouze ticho.

Modely zvuku a videa (více kanálů)

Při indexování pomocí jednoho kanálu jsou k dispozici částečné výsledky pro tyto modely.

Extrakce klíčových slov: Extrahuje klíčová slova z řeči a vizuálního textu.
Extrakce pojmenovaných entit: Extrahuje značky, lokality a osoby z řeči a vizuálního textu prostřednictvím zpracování přirozeného jazyka (NLP).
Odvození témat: Extrahuje témata na základě různých klíčových slov (to znamená klíčová slova 'Burza cenných papírů', 'Wall Street' vytváří téma 'Ekonomika'). Model používá tři různé ontologie (IPTC, Wikipedia a hierarchickou ontologii témat Video Indexeru). Model používá přepis (mluvená slova), obsah OCR (vizuální text) a celebrity rozpoznané ve videu pomocí modelu rozpoznávání obličeje Video Indexeru.
Artefakty: Extrahuje bohatou sadu artefaktů s „další úrovní podrobností“ pro každý z modelů.
Analýza citového zabarvení: Identifikuje kladná, záporná a neutrální zabarvení řeči a vizuálního textu.

Jak můžu začít s Azure AI Video Indexerem?

Zjistěte, jak začít s Azure AI Video Indexerem.

Po nastavení začněte používat přehledy a podívejte se na další příručky s postupy.

Dodržování předpisů, ochrana osobních údajů a zabezpečení

Připomínáme, že při používání Služby Azure AI Video Indexer musíte dodržovat všechny platné zákony a nesmíte azure AI Video Indexer ani žádnou službu Azure používat způsobem, který porušuje práva ostatních nebo může ostatní poškodit.

Před nahráním jakéhokoli videa nebo obrázku do Azure AI Video Indexeru musíte mít všechna správná práva k používání videa nebo obrázku, včetně všech potřebných souhlasů jednotlivců (pokud existuje) ve videu nebo obrázku s použitím, zpracováním a ukládáním jejich dat v Azure AI Video Indexeru a Azure, pokud to vyžaduje zákon. Některé jurisdikce mohou stanovit zvláštní právní požadavky pro shromažďování, online zpracování a ukládání určitých kategorií údajů, jako jsou biometrické údaje. Než použijete Azure AI Video Indexer a Azure ke zpracování a ukládání jakýchkoli dat, na které se vztahují zvláštní právní požadavky, musíte zajistit dodržování všech takových právních požadavků, které se na vás mohou vztahovat.

Další informace o dodržování předpisů, ochraně osobních údajů a zabezpečení ve službě Azure AI Video Indexer najdete v Centru zabezpečení Microsoftu. Informace o povinnostech společnosti Microsoft v oblasti ochrany osobních údajů, manipulaci s daty a jejich uchovávání, včetně způsobu odstranění vašich dat, najdete v Prohlášení společnosti Microsoft o zásadách ochrany osobních údajů, podmínkách pro online služby ("OST") a dodatek ke zpracování dat ("DPA"). Používáním služby Azure AI Video Indexer souhlasíte s tím, že budete vázáni podmínkami pro ochranu osobních údajů, DPA a Prohlášením o zásadách ochrany osobních údajů.

Další kroky

Jste připraveni začít s Azure AI Video Indexerem. Další informace najdete v následujících článcích:

Nejnovější aktualizace najdete v poznámkách k verzi Azure AI Video Indexeru.