Přehled Služby Azure AI Video Indexer

Důležité

Vzhledem k oznámení o vyřazení služby Azure Media Services vám Azure AI Video Indexer oznámí úpravy funkcí Azure AI Video Indexeru. Informace o tom, co to znamená pro váš účet Azure AI Video Indexer, najdete v tématu Změny související s vyřazením služby Azure Media Service (AMS). Podívejte se na průvodce přípravou na vyřazení AMS: Průvodce aktualizací VI a migrací.

Azure AI Video Indexer je cloudová aplikace, která je součástí služeb Azure AI, která je založená na službách Azure AI (například Face, Translator, Azure AI Vision a Speech). Díky tomu můžete extrahovat přehledy z videí pomocí videomodelů a zvukových modelů Azure AI Video Indexeru.

Azure AI Video Indexer analyzuje video a zvukový obsah spuštěním 30 modelů AI a generuje bohaté přehledy. Tady je obrázek analýzy zvuku a videa prováděné službou Azure AI Video Indexer na pozadí:

Pokud chcete začít extrahovat přehledy pomocí Azure AI Video Indexeru, podívejte se, jak začít .

Co můžu dělat s Azure AI Video Indexerem?

Přehledy Azure AI Video Indexeru je možné použít v mnoha scénářích:

• Hloubkové vyhledávání: Pomocí přehledů extrahovaných z videa můžete vylepšit vyhledávání v knihovně videí. Například indexování mluvených slov a tváří může umožnit hledání momentů ve videu, ve kterém osoba mluvila určitá slova nebo kdy byli dva lidé vidět společně. Vyhledávání založené na těchto přehledech z videí se vztahuje na informační agentury, vzdělávací instituce, vysílání, vlastníky zábavního obsahu, podnikové obchodní aplikace a obecně pro jakékoli odvětví, které má knihovnu videí, kterou uživatelé potřebují hledat.
• Vytváření obsahu: Vytváření přívěsů, zvýraznění kotoučů, obsahu sociálních médií nebo informačních klipů založených na přehledech, které Azure AI Video Indexer extrahuje z vašeho obsahu. Klíčové snímky, značky scén a časová razítka lidí a popisků usnadňují proces vytváření a usnadňující přístup k částem videa, které potřebujete při vytváření obsahu.
• Přístupnost: Jestli chcete obsah zpřístupnit osobám s postižením, nebo pokud chcete, aby byl obsah distribuován do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad, který poskytuje Azure AI Video Indexer ve více jazycích.
• Monetizace: Azure AI Video Indexer může pomoct zvýšit hodnotu videí. Například odvětví, která spoléhají na výnosy z reklam (informační média, sociální média atd.), můžou poskytovat relevantní reklamy pomocí extrahovaných přehledů jako dalších signálů pro reklamní server.
• Con režim stanu ration: Používejte textové a vizuální kon režim stanu rační modely, abyste uživatelům zabránili v bezpečí před nevhodným obsahem a ověřili, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
• Doporučení: Přehledy videí se dají použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazní relevantní video momenty. Označováním jednotlivých videí s dalšími metadaty můžete uživatelům doporučit nejrelevantnější videa a zvýraznit části videa, které odpovídají jejich potřebám.

Funkce umělé inteligence pro video/zvuk

Následující seznam ukazuje přehledy, které můžete načíst z videosouborů a zvukových souborů pomocí video a zvukových funkcí (modelů) Azure AI Video Indexeru.

Pokud neurčíte jinak, je model obecně dostupný.

Modely videa

• Detekce tváří: Detekuje a seskupí tváře, které jsou ve videu zobrazené.

• Identifikace celebrit: Identifikuje více než 1 milion celebrit – jako jsou světoví představitelé, herci, umělci, sportovci, vědci, obchodní a tech manažeři po celém světě. Data o těchto celebritách najdete také na různých webech (IMDB, Wikipedie atd.).

• Identifikace tváře na základě účtu: Trénuje model pro konkrétní účet. Pak rozpozná tváře ve videu na základě natrénovaného modelu. Další informace najdete v tématu Přizpůsobení modelu osob z webu Azure AI Video Indexer a přizpůsobení modelu osob pomocí rozhraní API Azure AI Video Indexeru.

• Extrakce miniatur pro tváře: Identifikuje nejlepší zachycenou tvář v každé skupině tváří (na základě kvality, velikosti a přední pozice) a extrahuje ji jako prostředek obrázku.

• Optické rozpoznávání znaků (OCR): Extrahuje text z obrázků, jako jsou obrázky, pouliční značky a produkty v mediálních souborech, a vytváří tak přehledy.

• Zmírnění vizuálního obsahu: Detekuje vizuální obsah jen pro dospělé nebo nevhodný obsah.

• Identifikace popisků: Identifikuje vizuální objekty a zobrazené akce.

• Segmentace scény: Určuje, kdy se scéna změní ve videu na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se řadou po sobě jdoucích snímků, které jsou sémanticky související.

• Detekce snímků: Určuje, kdy se snímek ve videu změní na základě vizuálních upozornění. Snímek je řada snímků pořízených ze stejné kamery s pohybovým snímkem. Další informace najdete v tématu Scény, snímky a klíčové snímky.

• Detekce černých snímků: Identifikuje černé snímky ve videu.

• Extrakce klíčových snímků: Zjistí stabilní klíčové snímky ve videu.

• Průběžné kredity: Identifikuje začátek a konec kumulativních kreditů na konci televizních pořadů a filmů.

• Detekce typu redakčního snímku: Značky snímky založené na jejich typu (například široký snímek, střední snímek, detail, extrémní detail, dva záběry, více lidí, venku a uvnitř atd.). Další informace najdete v tématu Detekce typu redakčního snímku.

• Sledování pozorovaných osob (Preview): Detekuje pozorované osoby ve videích a poskytuje informace, jako je umístění osoby v rámečku videa (pomocí ohraničujících polí) a přesné časové razítko (začátek, konec) a spolehlivost, když se zobrazí osoba. Další informace najdete v tématu Sledování pozorovaných lidí ve videu.

  • Lidé detekované oblečení (Preview): Detekuje typy oblečení lidí, které se zobrazují ve videu, a poskytuje informace, jako jsou dlouhé nebo krátké rukávy, dlouhé nebo krátké kalhoty a sukně nebo šaty. Zjištěné oblečení je spojené s lidmi, kteří ho nosí, a přesné časové razítko (začátek, konec) spolu s úrovní spolehlivosti detekce jsou k dispozici. Další informace najdete v tématu Zjištěné oděvy.
  • Doporučené oblečení (Preview): Zachycuje vybrané obrázky oblečení, které se zobrazují ve videu. Cílené reklamy můžete vylepšit pomocí doporučeného přehledu oblečení. Informace o tom, jak jsou vybrané obrázky oblečení seřazené a jak získat přehledy, najdete v doporučených oděvech.

• Spárovaná osoba (Preview): Odpovídá lidem, které byly zjištěny ve videu, s odpovídajícími rozpoznanými tvářemi. Shoda mezi pozorovanými lidmi a tvářemi obsahuje úroveň spolehlivosti.

• Rozpoznávání objektů rozpozná jedinečné objekty, které jsou také sledovány, aby se při návratu k rámečku, který rozpoznaly. Zobrazení detekce objektů Azure AI Video Indexeru

• Detekce slate (Preview): Identifikuje následující video postprodukční přehledy při indexování videa pomocí rozšířené možnosti indexování:

  • Detekce klapperboardu s extrakcí metadat
  • Detekce digitálních vzorů, včetně barevných pruhů
  • Detekce bez textu, včetně porovnávání scén.

  Podrobnosti najdete v tématu Detekce slate.

• Rozpoznávání textového loga (Preview): Odpovídá určitému předdefinovanému textu pomocí Azure AI Video IndexerU OCR. Pokud například uživatel vytvořil textové logo Microsoft, bude jako logo Microsoft rozpoznáno jiné vzhledy slova Microsoft . Další informace naleznete v tématu Rozpoznávání textového loga.

Zvukové modely

• Přepis zvuku: Převede řeč na text přes 50 jazyků a umožňuje rozšíření. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer.

• Automatická detekce jazyka: Identifikuje dominantní mluvený jazyk. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer. Pokud jazyk není možné identifikovat s jistotou, Azure AI Video Indexer předpokládá, že mluvený jazyk je angličtina. Další informace najdete v tématu Model identifikace jazyka.

• Identifikace a přepis řeči ve více jazycích: Identifikuje mluvený jazyk v různých segmentech zvuku. Jednotlivé části mediálního souboru se odešlou k přepisu a tyto části přepisu se pak znovu spojí v jeden ucelený přepis. Další informace najdete v tématu Automatická identifikace a přepis vícejazyčného obsahu.

• Tvorba titulků: Vytvoří titulky ve třech formátech: VTT, TTML, SRT.

• Zpracování dvou kanálů: Automaticky detekuje samostatný přepis a slučuje se s jednou časovou osou.

• Snížení šumu: Vyčistí telefonní zvuk nebo záznamy s velkým šumem (pomocí filtrů Skypu).

• Přizpůsobení přepisu (CRIS): Trénuje vlastní řeč na textové modely a vytváří přepisy specifické pro konkrétní odvětví. Další informace najdete v tématu Přizpůsobení jazykového modelu z webu Azure AI Video Indexer a přizpůsobení jazykového modelu pomocí rozhraní API Azure AI Video Indexeru.

• Výčet mluvčích: Mapuje a poznává, který mluvčí řekl která slova a kdy. Šestnáct reproduktorů lze rozpoznat v jediném zvukovém souboru.

• Statistika mluvčího: Poskytuje statistiky pro poměry řeči mluvčího.

• Zmírnění textového obsahu: Detekuje explicitní text v přepisu zvuku.

• Rozpoznávání emocí na základě textu: Emoce, jako je radost, smutek, hněv a strach, které byly zjištěny prostřednictvím analýzy přepisu.

• Překlad: Vytvoří překlad zvukového přepisu do mnoha různých jazyků. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer.

• Detekce zvukových efektů (Preview): Detekuje následující zvukové efekty v neslovných segmentech obsahu: alarm nebo siréna, psí štěkání, davové reakce (cheering, klapání a booing), střelné nebo exploze, smích, rozbíjející sklo a ticho.

  Zjištěné akustické události jsou v zavřeném souboru popis s. Soubor je možné stáhnout z webu Azure AI Video Indexer. Další informace najdete v tématu Detekce zvukových efektů.

  Poznámka:

  Úplná sada událostí je k dispozici pouze v případě, že při nahrávání souboru zvolíte Rozšířenou analýzu zvuku v předvolbě nahrávání. Ve výchozím nastavení se detekuje pouze ticho.

Modely zvuku a videa (více kanálů)

Při indexování podle jednoho kanálu jsou k dispozici částečné výsledky těchto modelů.

• Extrakce klíčových slov: Extrahuje klíčová slova z řeči a vizuálního textu.
• Extrakce pojmenovaných entit: Extrahuje značek, míst a lidí z řeči a vizuálního textu prostřednictvím zpracování přirozeného jazyka (NLP).
• Téma odvozuje: Extrahuje témata na základě různých klíčových slov (to znamená klíčová slova Stock Exchange, Wall Street vytváří téma Economics). Model používá tři různé ontologie (IPTC, Wikipedie a hierarchické téma Video Indexeru). Model používá přepis (mluvená slova), obsah OCR (vizuální text) a celebrity rozpoznané ve videu pomocí modelu rozpoznávání obličeje Video Indexeru.
• Artefakty: Extrahuje bohatou sadu artefaktů s „další úrovní podrobností“ pro každý z modelů.
• Analýza citového zabarvení: Identifikuje kladná, záporná a neutrální zabarvení řeči a vizuálního textu.

Jak můžu začít s Azure AI Video Indexerem?

Zjistěte, jak začít s Azure AI Video Indexerem.

Po nastavení začněte používat přehledy a podívejte se na další příručky s postupy.

Dodržování předpisů, ochrana osobních údajů a zabezpečení

Poznámka:

11. června 2020 Microsoft oznámil, že nebude prodávat technologii rozpoznávání tváří policejním oddělením v USA, dokud nebude zavedena přísná regulace založená na lidských právech. Zákazníci proto nemusí používat funkce rozpoznávání obličeje ani funkce zahrnuté ve službách Azure AI, jako je Rozpoznávání tváře nebo Video Indexeru, pokud je zákazník nebo povoluje používání těchto služeb policejním oddělením v USA.

Poznámka:

Přístup k funkcím rozpoznávání tváře, přizpůsobení a celebrit je omezený na základě kritérií způsobilosti a použití, aby bylo možné podporovat naše zásady zodpovědné umělé inteligence. Funkce rozpoznávání tváře, přizpůsobení a rozpoznávání celebrit jsou dostupné jenom pro zákazníky a partnery spravované Microsoftem. Pro přístup použijte formulář pro příjem rozpoznávání tváře.

Jako důležité připomenutí musíte dodržovat všechny platné zákony ve vašem používání Služby Azure AI Video Indexer a nesmíte používat Azure AI Video Indexer ani žádnou službu Azure způsobem, který porušuje práva ostatních nebo které by mohly být škodlivé pro ostatní.

Před nahráním jakéhokoli videa nebo obrázku do Azure AI Video Indexeru musíte mít všechna správná práva k používání videa/obrázku, včetně všech nezbytných souhlasů jednotlivců (pokud existuje) ve videu nebo obrázku, pro použití, zpracování a uložení jejich dat v Azure AI Video Indexeru a Azure. Některé jurisdikce mohou uplatňovat zvláštní právní požadavky na shromažďování, online zpracování a ukládání určitých kategorií údajů, jako jsou biometrické údaje. Před použitím Služby Azure AI Video Indexer a Azure ke zpracování a ukládání jakýchkoli údajů, které podléhají zvláštním právním požadavkům, musíte zajistit dodržování všech takových právních požadavků, které se na vás můžou vztahovat.

Informace o dodržování předpisů, ochraně osobních údajů a zabezpečení ve službě Azure AI Video Indexer najdete v Centru zabezpečení Microsoftu. Informace o zásadách ochrany osobních údajů, zpracování a uchovávání dat společnosti Microsoft, včetně způsobu odstranění vašich dat, najdete v prohlášení společnosti Microsoft o zásadách ochrany osobních údajů, podmínkách online služeb (OST) a dodatku ke zpracování dat (DPA). Použitím Služby Azure AI Video Indexer souhlasíte s tím, že budete vázáni zásadami OST, DPA a prohlášením o zásadách ochrany osobních údajů.