Přehled Služby Azure AI Video Indexer

Azure AI Video Indexer je cloudová aplikace, která je součástí služeb Azure AI, která je založená na službách Azure AI (například Face, Translator, Azure AI Vision a Speech). Díky tomu můžete extrahovat přehledy z videí pomocí videomodelů a zvukových modelů Azure AI Video Indexeru.

Azure AI Video Indexer analyzuje video a zvukový obsah spuštěním 30 modelů AI a generuje bohaté přehledy. Tady je obrázek analýzy zvuku a videa prováděné službou Azure AI Video Indexer na pozadí:

Pokud chcete začít extrahovat přehledy pomocí Azure AI Video Indexeru, podívejte se, jak začít .

Co můžu dělat s Azure AI Video Indexerem?

Přehledy Azure AI Video Indexeru je možné použít v mnoha scénářích:

• Hloubkové vyhledávání: Pokud chcete vylepšit vyhledávání v knihovně videí, použijte přehledy extrahované z videa. Například indexování mluvených slov a tváří může umožnit hledání momentů ve videu, ve kterém osoba mluvila určitá slova nebo kdy byli dva lidé vidět společně. Vyhledávání založené na těchto přehledech z videí se vztahuje na informační agentury, vzdělávací instituce, vysílání, vlastníky zábavního obsahu, podnikové obchodní aplikace a obecně pro jakékoli odvětví, které má knihovnu videí, kterou uživatelé potřebují hledat.
• Vytváření obsahu: Vytvářet upoutávky, highlighty, obsah pro sociální média nebo informační klipy na základě zjištění, která Azure AI Video Indexer extrahuje z vašich videí. Klíčové snímky, značky scén a časová razítka pro výskyt osob a popisů usnadňují proces vytváření a umožňují snadný přístup k částem videa, které potřebujete při vytváření obsahu.
• Přístupnost: Jestli chcete obsah zpřístupnit osobám s postižením, nebo pokud chcete, aby byl obsah distribuován do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad, který poskytuje Azure AI Video Indexer ve více jazycích.
• Monetizace: Azure AI Video Indexer může pomoct zvýšit hodnotu videí. Například odvětví, která spoléhají na výnosy z reklam (informační média, sociální média atd.), můžou poskytovat relevantní reklamy pomocí extrahovaných přehledů jako dalších signálů pro reklamní server.
• Moderace obsahu: Používejte textové a vizuální modely moderace obsahu, abyste chránili své uživatele před nevhodným obsahem a ověřili, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
• Doporučení: Přehledy videí se dají použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazní relevantní video momenty. Označováním jednotlivých videí s více metadaty můžete uživatelům doporučit nejrelevantnější videa a zvýraznit části videa, které odpovídají jejich potřebám.

Funkce umělé inteligence pro video/zvuk

Následující seznam ukazuje přehledy, které můžete načíst z videosouborů a zvukových souborů pomocí video a zvukových funkcí (modelů) Azure AI Video Indexeru.

Poznámka:

Vzhledem k požadavkům na ochranu osobních údajů a zákonným požadavkům jsou některé z těchto funkcí omezené a/nebo vyžadují autorizaci k plnému využití.

Pokud neurčíte jinak, je model obecně dostupný.

Modely videa

• Detekce tváří: Detekuje a seskupí tváře, které jsou ve videu zobrazené.

• Identifikace celebrit: Identifikuje více než 1 milion celebrit – jako jsou světoví představitelé, herci, umělci, sportovci, vědci, obchodní a tech manažeři po celém světě. Data o těchto celebritách najdete také na různých webech (IMDB, Wikipedie atd.).

• Identifikace obličeje podle účtu: Model je trénován pro konkrétní účet. Pak rozpozná tváře ve videu na základě natrénovaného modelu. Další informace najdete v tématu Přizpůsobení modelu osob z webu Azure AI Video Indexer a přizpůsobení modelu osob pomocí rozhraní API Azure AI Video Indexeru.

• Extrakce miniatur pro tváře: Identifikuje nejlepší zachycenou tvář v každé skupině tváří (na základě kvality, velikosti a čelní pozici) a extrahuje ji jako obrazový prostředek.

• Optické rozpoznávání znaků (OCR): Extrahuje text z obrázků, jako jsou obrázky, pouliční znaky a produkty v mediálních souborech, a vytváří tak přehledy.

• Moderování vizuálního obsahu: Detekuje vizuály pro dospělé a/nebo vznešené vizuály.

• Identifikace popisků: Identifikuje vizuální objekty a zobrazené akce.

• Segmentace scény: Určuje, kdy se scéna změní ve videu na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se řadou po sobě jdoucích snímků, které jsou sémanticky související.

• Detekce snímků: Určuje, kdy se snímek ve videu změní na základě vizuálních upozornění. Snímek je řada snímků pořízených ze stejné kamery s pohybovým snímkem. Další informace najdete v tématu Scény, snímky a klíčové snímky.

• Detekce černých snímků: Identifikuje černé snímky ve videu.

• Extrakce klíčových snímků: Detekuje stabilní klíčové snímky ve videu.

• Průběžné kredity: Identifikuje začátek a konec kumulativních kreditů na konci televizních pořadů a filmů.

• Detekce typu redakčního snímku: Značkuje snímky podle jejich typu (například široký záběr, střední záběr, detail, extrémní detail, dvojzáběr, více osob, venkovní a vnitřní prostory atd.). Další informace viz Detekce typu redakčního snímku.

• Detekce pozorovaných osob: Detekuje pozorované osoby ve videích a poskytuje informace, jako je umístění osoby v rámečku videa (pomocí ohraničujících polí) a přesné časové razítko (začátek, konec) a spolehlivost, když se zobrazí osoba. Další informace najdete v tématu Sledování pozorovaných lidí ve videu.

  • Shodná osoba: Spojuje lidi, kteří byli pozorováni ve videu, s odpovídajícími detekovanými obličeji. Proces shody mezi pozorovanými lidmi a tvářemi obsahuje úroveň důvěryhodnosti.
  • Rozpoznané oblečení: Detekuje typy oblečení lidí, kteří se zobrazují ve videu, a poskytuje informace, jako jsou dlouhé nebo krátké rukávy, dlouhé nebo krátké kalhoty a sukně nebo šaty. Zjištěné oblečení je spojené s lidmi, kteří ho nosí, a přesné časové razítko (začátek, konec) spolu s úrovní spolehlivosti detekce jsou k dispozici.
  • Doporučené oblečení: Zachycuje obrázky doporučeného oblečení, které se objevují ve videu. Cílené reklamy můžete vylepšit pomocí zvýrazněného přehledu oblečení. Informace o tom, jak jsou vybrané obrázky oblečení seřazené a jak získat přehledy, najdete v doporučených oděvech.

• Detekce objektů Detekuje jedinečné objekty, které jsou také sledovány, takže když se vrátí do záběru, jsou rozpoznány. Viz detekci objektů Azure AI Video Indexeru

• Detekce "slate": Identifikuje následující přehledy z videopostprodukce při indexování videa pomocí pokročilé možnosti indexování:

  • Detekce klapky s extrakcí metadat
  • Detekce digitálních vzorů, včetně barevných pruhů
  • Detekce bez textu, včetně porovnávání scén.

  Podrobnosti najdete v tématu Detekce slate.

• Rozpoznávání textového loga: Odpovídá určitému předdefinovanému textu pomocí Azure AI Video IndexerU OCR. Například pokud uživatel vytvořil textové logo: Microsoft, různé vzhledy slova Microsoft jsou rozpoznány jako Microsoft logo. Další informace naleznete v tématu Rozpoznávání textového loga.

Zvukové modely

• Přepis zvuku: Převede řeč na text přes 50 jazyků a umožňuje rozšíření. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer.

• Automatická detekce jazyka: Identifikuje dominantní mluvený jazyk. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer. Pokud jazyk není možné identifikovat s jistotou, Azure AI Video Indexer předpokládá, že mluvený jazyk je angličtina.

• Identifikace a přepis řeči ve více jazycích: Identifikuje mluvený jazyk v různých segmentech zvuku. Jednotlivé části mediálního souboru se odešlou k přepisu a tyto části přepisu se pak znovu spojí v jeden ucelený přepis. Další informace o přepisu najdete v tématu Přepis

• Tvorba titulků: Vytvoří titulky ve třech formátech: VTT, TTML, SRT.

• Zpracování dvou kanálů: Automaticky detekuje samostatný přepis a slučuje je do jedné časové osy.

• Snížení šumu: Vyčistí telefonní zvuk nebo záznamy s velkým šumem (pomocí filtrů Skypu).

• Přizpůsobení přepisů (CRIS): Trénuje vlastní modely převodu řeči na text pro vytváření přepisů specifických pro odvětví. Další informace naleznete v tématu Přizpůsobení jazykového modelu.

• Výčet mluvčích: Mapuje a poznává, který mluvčí řekl která slova a kdy. Šestnáct reproduktorů lze rozpoznat v jediném zvukovém souboru.

• Statistika mluvčího: Poskytuje statistiky pro poměry řeči mluvčího.

• Zmírnění textového obsahu: Detekuje explicitní text v přepisu zvuku.

• Rozpoznávání emocí na základě textu: Emoce, jako je radost, smutek, hněv a strach, které byly zjištěny prostřednictvím analýzy přepisu.

• Překlad: Vytvoří překlad zvukového přepisu v mnoha různých jazycích. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer.

• Detekce zvukových efektů: Detekuje následující zvukové efekty v neřečových segmentech obsahu: alarm nebo sirény, psí štěkání, davové reakce (povzbuzování, tleskání a bučení), výstřel nebo výbuch, smích, rozbíjení skla a ticho.

  Zjištěné akustické události jsou zaznamenány v souboru skrytých titulků. Soubor je možné stáhnout z webu Azure AI Video Indexer. Další informace najdete v tématu Detekce zvukových efektů.

  Poznámka:

  Úplná sada událostí je k dispozici pouze v případě, že při nahrávání souboru zvolíte Rozšířenou analýzu zvuku v předvolbě nahrávání. Ve výchozím nastavení se detekuje pouze ticho.

Modely zvuku a videa (více kanálů)

Při indexování podle jednoho kanálu jsou k dispozici částečné výsledky těchto modelů.

• Extrakce klíčových slov: Extrahuje klíčová slova z řeči a vizuálního textu.
• Extrakce pojmenovaných entit: Extrahuje značek, míst a lidí z řeči a vizuálního textu prostřednictvím zpracování přirozeného jazyka (NLP).
• Odvození tématu: Extrahuje témata na základě různých klíčových slov (to znamená klíčová slova "Stock Exchange", "Wall Street" vytvářejí téma "Ekonomika"). Model používá tři různé ontologie (IPTC, Wikipedie a hierarchické téma Video Indexeru). Model používá přepis (mluvená slova), obsah OCR (vizuální text) a celebrity rozpoznané ve videu pomocí modelu rozpoznávání obličeje Video Indexeru.
• Artefakty: Extrahuje bohatou sadu artefaktů s „další úrovní podrobností“ pro každý z modelů.
• Analýza citového zabarvení: Identifikuje kladná, záporná a neutrální zabarvení řeči a vizuálního textu.

Jak můžu začít s Azure AI Video Indexerem?

Zjistěte, jak začít s Azure AI Video Indexerem.

Po nastavení začněte používat přehledy a podívejte se na další příručky s postupy.

Dodržování předpisů, ochrana osobních údajů a zabezpečení

Poznámka:

Dne 11. června 2020 společnost Microsoft oznámila, že neprodá technologii rozpoznávání obličeje policejním oddělením ve Spojených státech, dokud nebude schválena silná regulace založená na lidských právech. Zákazníci proto nemohou používat funkce rozpoznávání obličeje ani funkce zahrnuté ve službách Azure AI, jako je Face nebo Video Indexer, pokud zákazník je, nebo povoluje používání těchto služeb policejním oddělením nebo pro ně ve Spojených státech.

Poznámka:

Přístup k funkcím rozpoznávání tváře, přizpůsobení a rozpoznávání celebrit je omezený na základě způsobilosti a kritérií použití, aby bylo možné podporovat naše zásady zodpovědné umělé inteligence. Funkce rozpoznávání tváře, přizpůsobení a rozpoznávání celebrit jsou dostupné jenom pro zákazníky a partnery spravované Microsoftem. Pro získání přístupu použijte formulář pro rozpoznávání obličeje.

Musíte dodržovat všechny platné zákony při používání Služby Azure AI Video Indexer a nemůžete používat Službu Azure AI Video Indexer ani žádnou službu Azure způsobem, který porušuje práva ostatních, nebo které by mohly být škodlivé pro ostatní.

Před nahráním jakéhokoli videa nebo obrázku do Azure AI Video Indexeru musíte mít všechna příslušná a zákonná práva k používání videa/obrázku, včetně toho, pokud to vyžaduje zákon, veškeré nezbytné souhlasy jednotlivců (pokud existuje) ve videu nebo obrázku, pro použití, zpracování a ukládání jejich dat v Azure AI Video Indexeru a Azure. Některé jurisdikce mohou uplatňovat zvláštní právní požadavky na shromažďování, online zpracování a ukládání určitých kategorií dat, jako jsou biometrické údaje. Před použitím Azure AI Video Indexeru a Azure ke zpracování a ukládání jakýchkoli údajů, které podléhají zvláštním právním požadavkům, musíte zajistit, aby vaše použití splňovalo všechny takové právní požadavky, které by se mohly vztahovat na vás a vaše zamýšlené použití.

Informace o dodržování předpisů, ochraně osobních údajů a zabezpečení ve službě Azure AI Video Indexer najdete v Centru zabezpečení Microsoftu. Pokud jde o povinnosti společnosti Microsoft v oblasti ochrany osobních údajů, zpracování dat a uchovávání dat, včetně postupu odstranění vašich dat, přečtěte si prohlášení společnosti Microsoft o zásadách ochrany osobních údajů, podmínky online služeb (OST) a dodatek ke zpracování dat (DPA). Použitím Služby Azure AI Video Indexer souhlasíte s tím, že budete vázáni zásadami OST, DPA a prohlášením o zásadách ochrany osobních údajů.