Přehled Služby Azure AI Video Indexer

Azure AI Video Indexer je komplexní řešení AI, které organizacím umožňuje extrahovat podrobné přehledy z videa (živého a nahraného) a zvukového obsahu. Využívá pokročilé modely strojového učení a generování AI a podporuje širokou škálu funkcí, včetně přepisu, překladu, rozpoznávání objektů a shrnutí videa. Video Indexer je navržený tak, aby byl flexibilní, můžete ho použít v cloudu nebo nasadit do hraničních umístění přes Azure Arc, takže si můžete vybrat model nasazení, který nejlépe vyhovuje vašim provozním potřebám a potřebám dodržování předpisů.

Video Indexer nabízí dvě možnosti použití: jako rozšíření Azure Arc nebo jako cloudovou webovou aplikaci. Tyto nabídky nejsou identické. Liší se v možnostech, podporovaných zdrojích videí a dostupných modelech AI.

Pokračujte ve čtení a najděte si možnost, která nejlépe vyhovuje vašim potřebám.

Zelená pole představují funkce dostupné ve Službě Video Indexer povolené službou Azure Arc.

Video Indexer umožněný službou Azure Arc

Azure AI Video Indexer povolený službou Arc je služba s podporou rozšíření Azure Arc, která spouští analýzu videa a zvuku a generuje AI na hraničních zařízeních. Tento model hybridního nasazení rozšiřuje možnosti VI na hraniční prostředí prostřednictvím clusterů Kubernetes s podporou Azure Arc. Řešení bylo ověřeno v Azure Local, ale je kompatibilní s jakoukoli infrastrukturou Kubernetes. Podporuje nahrané i živé streamy videa a umožňuje analýzu v reálném čase přímo ve zdroji dat. A můžete vytvořit rozšíření Arc, které podporuje oba typy videa nebo jenom jedno. Mějte na paměti, že dostupné přehledy AI se liší podle vybraného typu videa. Tento model je zvláště vhodný pro odvětví s přísnými požadavky na rezidenci dat nebo provozními potřebami s nízkou latencí.

Stream živého videa

Umožňuje extrahovat přehledy v reálném čase ze záznamu živého videa, což vám umožní přizpůsobit analýzu vašim konkrétním potřebám. Živé přehledy můžete zobrazit přímo nad streamem videa s ohraničujícími poli, která zvýrazňují zjištěné objekty. Streamy a přehledy můžete také ukládat jako soubory. A můžete nahrát a indexovat externí mediální soubory. Pomocí Azure AI Video Indexeru můžete vygenerovat stručné souhrny pro segmenty nahrávaných videí, které vám pomůžou rychle zachytit klíčové události bez sledování celého videa.

Pokud chcete začít extrahovat přehledy pomocí Azure AI Video Indexeru povoleného službou Arc, zaregistrujte se v Aplikaci pro Azure AI Video Indexer s podporou Arc. Další informace najdete v tématu Co je Služba Arc povolená službou Azure AI Video Indexer?

Nahraná videa

Umožňuje analyzovat video a zvukový obsah a extrahovat smysluplné přehledy. Používá multimodální modely AI a může generovat bohaté textové souhrny video obsahu, což zlepšuje zjistitelnost.

Cloudový Video Indexer

Azure AI Video Indexer je cloudová aplikace, která je součástí služeb Azure AI. Je založená na službách Azure AI, jako jsou Face, Translator, Azure AI Vision a Speech. Pomocí Azure AI Video Indexeru můžete extrahovat přehledy z videí pomocí jeho video a zvukových modelů.

Azure AI Video Indexer analyzuje video a zvukový obsah spuštěním více než 30 modelů AI. Generuje bohaté přehledy. Následující obrázek znázorňuje analýzu zvuku a videa, kterou Azure AI Video Indexer provádí na pozadí:

Pokud chcete začít extrahovat přehledy pomocí Azure AI Video Indexeru, podívejte se, jak začít .

Co můžu dělat s Azure AI Video Indexerem?

Video Indexer povolený službou Azure Arc i cloudový Video Indexer můžete použít v různých scénářích. Následující části popisují scénáře jednotlivých možností.

Video Indexer umožněný službou Azure Arc

Streamy živého videa

Pomocí živého streamování kamery můžete integrovat službu AI pro analýzu videa v reálném čase, abyste mohli používat detekci založenou na umělé inteligenci z různých umístění. Tato služba analyzuje živá a nahraná videa a mění nezpracované záběry na užitečné přehledy.

• Maloobchod – Optimalizujte rozložení obchodů a vylepšete uživatelské prostředí a bezpečnost. Díky analýze v reálném čase můžete monitorovat počet zákazníků v řádcích pokladny v reálném čase a pomoct maloobchodním prodejcům okamžitě optimalizovat personál a zkrátit dobu čekání.
• Výroba – zajištění kontroly kvality a bezpečnosti pracovníků prostřednictvím analýzy videa. Například pracovníci, kteří nemají ochranné vybavení, které vyžadují detekci kritických událostí v reálném čase a zjišťování konkrétních momentů ve video streamech.
• Moderní bezpečnost – Detekce a identifikace problémů se zabezpečením a bezpečností před tím, než způsobí riziko.

Nahraná videa

• Zásady správného řízení dat – Přeneste AI do obsahu místo naopak. Pokud nemůžete přesunout indexovaný obsah z místního prostředí do cloudu, použijte Azure AI Video Indexer povolený službou Arc, protože:
  • Předpisy.
  • Rozhodnutí o architektuře
  • Úložiště dat je příliš velké, což komplikuje proces metodou "lift and shift" a zvýší její náročnost.
• Místní pracovní postup – Váš proces indexování je součástí místního pracovního postupu a chcete snížit latenci doby trvání indexování, která ovlivňuje tok.
• Předběžné indexování – Před nahráním obsahu do cloudu chcete indexovat. Pokud chcete získat přehlednost, můžete místní archiv videa nebo zvuku odeslat jenom pro standardní nebo pokročilé indexování v cloudu.

Cloudový Video Indexer

Přehledy služby Azure AI Video Indexer můžete použít v mnoha scénářích:

• Hloubkové vyhledávání: Pokud chcete vylepšit vyhledávání v knihovně videí, použijte přehledy extrahované z videa. Například indexování mluvených slov a tváří může umožnit hledání momentů ve videu, ve kterém osoba mluvila určitá slova nebo kdy byli dva lidé vidět společně. Vyhledávání založené na těchto přehledech z videí se vztahuje na informační agentury, vzdělávací instituce, vysílání, vlastníky zábavního obsahu, podnikové obchodní aplikace a obecně pro jakékoli odvětví, které má knihovnu videí, kterou uživatelé potřebují hledat.
• Vytváření obsahu: Vytvářet upoutávky, highlighty, obsah pro sociální média nebo informační klipy na základě zjištění, která Azure AI Video Indexer extrahuje z vašich videí. Klíčové snímky, značky scén a časová razítka pro výskyt osob a popisů usnadňují proces vytváření a umožňují snadný přístup k částem videa, které potřebujete při vytváření obsahu.
• Přístupnost: Jestli chcete obsah zpřístupnit osobám s postižením, nebo pokud chcete, aby byl obsah distribuován do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad, který poskytuje Azure AI Video Indexer ve více jazycích.
• Monetizace: Azure AI Video Indexer může pomoct zvýšit hodnotu videí. Například odvětví, která spoléhají na výnosy z reklamy (informační média, sociální média atd.), můžou poskytovat relevantní reklamy pomocí extrahovaných přehledů jako jiných signálů pro reklamní server.
• Moderace obsahu: Používejte textové a vizuální modely moderace obsahu, abyste chránili své uživatele před nevhodným obsahem a ověřili, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
• Doporučení: Přehledy videí se dají použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazní relevantní video momenty. Označováním jednotlivých videí s více metadaty můžete uživatelům doporučit nejrelevantnější videa a zvýraznit části videa, které odpovídají jejich potřebám.

Funkce umělé inteligence

K extrakci přehledů z videosouborů a zvukových souborů můžete použít různé funkce AI (modely). Následující části popisují funkce AI dostupné v jednotlivých možnostech.

Video Indexer umožněný službou Azure Arc

Azure AI Video Indexer povolený službou Arc podporuje následující předvolby indexování pro nahrané videosoubory:

model	Základní video	Základní zvuk	Základní video a zvuk
Přepis		✔	✔
Překlad		✔	✔
Titulkování		✔	✔
Detekce klíčových snímků	✔		✔
Rozpoznávání objektů	✔		✔
Detekce scén	✔		✔
Detekce záběrů	✔		✔
Summarization	✔	✔	✔

U streamů živého videa můžete vytvořit vlastní předvolby, které zahrnují:

• Detekce první strany (lidé, vozidla)
• Vlastní přehledy AI – vytvořte novou detekci objektů pomocí přirozeného jazyka nebo obrázku. Další informace najdete v tématu (odkaz na novou stránku).

Cloudový Video Indexer

Následující seznam ukazuje přehledy, které můžete načíst z videosouborů a zvukových souborů pomocí funkcí azure AI Video Indexeru a audio AI (modelů).

Poznámka:

Vzhledem k požadavkům na ochranu osobních údajů a zákonným požadavkům jsou některé z těchto funkcí omezené a vyžadují, aby bylo možné plně využívat autorizaci.

Pokud neurčíte jinak, je model obecně dostupný.

Modely videa

• Detekce tváří: Detekuje a seskupí tváře, které jsou ve videu zobrazené.

• Identifikace celebrit: Identifikuje více než 1 milion celebrit, jako jsou světoví představitelé, herci, umělci, sportovci, vědci, podnikání a tech vedoucí po celém světě. Data o těchto celebritách najdete na různých webech, jako je IMDB a Wikipedie.

• Identifikace obličeje podle účtu: Model je trénován pro konkrétní účet. Pak rozpozná tváře ve videu na základě natrénovaného modelu. Další informace najdete v tématu Přizpůsobení modelu osob z webu Azure AI Video Indexer a přizpůsobení modelu osob pomocí rozhraní API Azure AI Video Indexeru.

• Extrakce miniatur pro tváře: Identifikuje nejlepší zachycenou tvář v každé skupině tváří na základě kvality, velikosti a čelní pozice a extrahuje ji jako obrazový prvek.

• Optické rozpoznávání znaků (OCR): Extrahuje text z obrázků, jako jsou obrázky, pouliční znaky a produkty v mediálních souborech, a vytváří tak přehledy.

• Moderování vizuálního obsahu: Rozpozná dospělé a nevhodné vizuály.

• Identifikace popisků: Identifikuje vizuální objekty a zobrazené akce.

• Segmentace scény: Určuje, kdy se scéna změní ve videu na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se řadou po sobě jdoucích snímků, které jsou sémanticky související.

• Detekce snímků: Určuje, kdy se snímek ve videu změní na základě vizuálních upozornění. Snímek je řada snímků pořízených ze stejné kamery s pohybovým snímkem. Další informace najdete v tématu Scény, snímky a klíčové snímky.

• Detekce černých snímků: Identifikuje černé snímky ve videu.

• Extrakce klíčových snímků: Detekuje stabilní klíčové snímky ve videu.

• Průběžné kredity: Identifikuje začátek a konec kumulativních kreditů na konci televizních pořadů a filmů.

• Detekce typu redakčního snímku: Značky snímků na základě jejich typu, jako je široký snímek, střední snímek, zblízka, extrémní detail, dva snímky, více lidí, venku a uvnitř. Další informace viz Detekce typu redakčního snímku.

• Detekce pozorovaných osob: Detekce pozorovaných osob ve videích a poskytování informací, jako je umístění osoby ve snímku pomocí ohraničovacích rámečků, a přesné časové razítko se začátkem, koncem a jistotou, když se osoba objeví. Další informace najdete v tématu Sledování pozorovaných lidí ve videu.

  • Shodná osoba: Spojuje lidi, kteří byli pozorováni ve videu, s odpovídajícími detekovanými obličeji. Proces shody mezi pozorovanými lidmi a tvářemi obsahuje úroveň důvěryhodnosti.
  • Rozpoznané oblečení: Detekuje typy oblečení lidí, kteří se zobrazují ve videu, a poskytuje informace, jako jsou dlouhé nebo krátké rukávy, dlouhé nebo krátké kalhoty a sukně nebo šaty. Zjištěné oblečení je spojeno s lidmi, kteří ho nosí, a přesným časovým razítkem se začátkem, koncem a úrovní spolehlivosti detekce.
  • Doporučené oblečení: Zachycuje obrázky doporučeného oblečení, které se objevují ve videu. Cílené reklamy můžete vylepšit pomocí zvýrazněného přehledu oblečení. Informace o tom, jak jsou vybrané obrázky oblečení seřazené a jak získat přehledy, najdete v doporučených oděvech.

• Detekce objektů: Detekuje jedinečné objekty, které jsou také sledovány, takže když se vrátí do rámce, budou rozpoznány. Viz rozpoznávání objektů Azure AI Video Indexeru.

• Detekce "slate": Identifikuje následující přehledy z videopostprodukce při indexování videa pomocí pokročilé možnosti indexování:

  • Detekce klapky s extrakcí metadat
  • Detekce digitálních vzorů, včetně barevných pruhů
  • Detekce bez textu, včetně porovnávání scén.

  Podrobnosti najdete v tématu Detekce slate.

• Rozpoznávání textového loga: Odpovídá určitému předdefinovanému textu pomocí Azure AI Video IndexerU OCR. Například pokud uživatel vytvořil textové logo: Microsoft, různé vzhledy slova Microsoft jsou rozpoznány jako Microsoft logo. Další informace naleznete v tématu Rozpoznávání textového loga.

Zvukové modely

• Přepis zvuku: Převede řeč na text ve více než 50 jazycích a podporuje rozšíření. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer.

• Automatická detekce jazyka: Identifikuje dominantní mluvený jazyk. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer. Pokud jazyk není možné identifikovat s jistotou, Azure AI Video Indexer předpokládá, že mluvený jazyk je angličtina.

• Identifikace a přepis řeči s více jazyky: Identifikuje mluvený jazyk v různých segmentech zvuku. Odešle každý segment mediálního souboru, který se má přepsat, a potom zkombinuje přepisy do jednoho sjednoceného přepisu. Další informace o přepisu najdete v tématu Přepis.

• Skryté titulky: Vytvoří skryté titulky ve třech formátech: VTTT, TTML a SRT.

• Zpracování dvou kanálů: Automatické rozpoznávání samostatných přepisů a jejich sloučení do jedné časové osy.

• Snížení šumu: Vyčistí telefonní zvuk nebo záznamy s velkým šumem (pomocí filtrů Skypu).

• Přizpůsobení přepisu (CRIS): Trénuje vlastní modely převodu řeči na text a vytváří přepisy specifické pro konkrétní odvětví. Další informace naleznete v tématu Přizpůsobení jazykového modelu.

• Výčet mluvčích: Mapuje a poznává, který mluvčí řekl která slova a kdy. Šestnáct reproduktorů lze rozpoznat v jednom zvukovém souboru.

• Statistika mluvčího: Poskytuje statistiky pro poměry řeči mluvčího.

• Zmírnění textového obsahu: Detekuje explicitní text v přepisu zvuku.

• Rozpoznávání emocí na základě textu: Rozpozná emoce, jako je radost, smutek, hněv a strach, prostřednictvím analýzy přepisu.

• Překlad: Vytvoří překlad zvukového přepisu v mnoha různých jazycích. Další informace najdete v tématu Podpora jazyka Azure AI Video Indexer.

• Detekce zvukových efektů: Detekuje následující zvukové efekty v neřečových segmentech obsahu: alarm nebo sirény, psí štěkání, davové reakce (povzbuzování, tleskání a bučení), výstřel nebo výbuch, smích, rozbíjení skla a ticho.

  Zjištěné akustické události jsou zaznamenány v souboru skrytých titulků. Soubor si můžete stáhnout z webu Azure AI Video Indexer. Další informace najdete v tématu Detekce zvukových efektů.

  Poznámka:

  Úplná sada událostí je k dispozici pouze v případě, že při nahrávání souboru zvolíte Rozšířenou analýzu zvuku v předvolbě nahrávání. Ve výchozím nastavení se detekuje pouze ticho.

Modely videa a zvuku (vícekanálové)

Při indexování podle jednoho kanálu získáte částečné výsledky pro tyto modely.

• Extrakce klíčových slov: Extrahuje klíčová slova z řeči a vizuálního textu.
• Extrakce pojmenovaných entit: Extrahuje značky, místa a lidi z řeči a vizuálního textu prostřednictvím zpracování přirozeného jazyka (NLP).
• Odvozování témat: Extrahuje témata na základě různých klíčových slov (například klíčová slova Stock Exchange a Wall Street vytvářejí téma Economics). Model používá tři různé ontologie (IPTC, Wikipedie a hierarchické téma Video Indexeru). Model používá přepis (mluvená slova), obsah OCR (vizuální text) a celebrity rozpoznané ve videu pomocí modelu rozpoznávání obličeje Video Indexeru.
• Artefakty: Extrahuje bohatou sadu artefaktů "další úrovně podrobností" pro každý z modelů.
• Analýza citového zabarvení: Identifikuje kladná, záporná a neutrální zabarvení řeči a vizuálního textu.

Jak můžu začít s Azure AI Video Indexerem?

Zjistěte, jak začít s Azure AI Video Indexerem povoleným službou Azure Arc.

Zjistěte, jak začít s Azure AI Video Indexerem.

Po nastavení služby začněte používat analýzy a podívejte se na další příručky a návody.

Dodržování předpisů, ochrana osobních údajů a zabezpečení

Poznámka:

Dne 11. června 2020 společnost Microsoft oznámila, že neprodá technologii rozpoznávání obličeje policejním oddělením ve Spojených státech, dokud nebude schválena silná regulace založená na lidských právech. Zákazníci proto nemohou používat funkce rozpoznávání obličeje ani funkce zahrnuté ve službách Azure AI, jako je Face nebo Video Indexer, pokud zákazník je, nebo povoluje používání těchto služeb policejním oddělením nebo pro ně ve Spojených státech.

Poznámka:

Pro podporu našich principů zodpovědné umělé inteligence je přístup k funkcím rozpoznávání tváře, přizpůsobení a rozpoznávání celebrit omezený na základě kritérií způsobilosti a použití. Tyto funkce jsou dostupné jenom pro zákazníky a partnery spravované Microsoftem. Pro získání přístupu použijte formulář pro rozpoznávání obličeje.

Při používání Služby Azure AI Video Indexer musíte dodržovat všechny platné zákony. Službu Azure AI Video Indexer ani žádnou službu Azure nemůžete používat způsobem, který porušuje práva ostatních nebo může být pro ostatní škodlivé.

Před nahráním videa nebo obrázku do Azure AI Video Indexeru musíte mít všechna příslušná a právní práva k používání videa nebo obrázku. V případě, že to zákon vyžaduje, musíte mít všechny nezbytné souhlasy jednotlivců (pokud existuje) ve videu nebo obrázku pro použití, zpracování a uložení jejich dat v Azure AI Video Indexeru a Azure. Některé jurisdikce mohou uplatňovat zvláštní právní požadavky na shromažďování, online zpracování a ukládání určitých kategorií dat, jako jsou biometrické údaje. Před použitím Azure AI Video Indexeru a Azure ke zpracování a ukládání jakýchkoli údajů, na které se vztahují zvláštní právní požadavky, musíte zajistit, aby vaše použití splňovalo všechny takové právní požadavky, které by se mohly vztahovat na vás a vaše zamýšlené použití.

Informace o dodržování předpisů, ochraně osobních údajů a zabezpečení ve službě Azure AI Video Indexer najdete v Centru zabezpečení Microsoftu. Pokud jde o povinnosti společnosti Microsoft v oblasti ochrany osobních údajů, zpracování dat a uchovávání dat, včetně postupu odstranění vašich dat, přečtěte si prohlášení společnosti Microsoft o zásadách ochrany osobních údajů, podmínky online služeb (OST) a dodatek ke zpracování dat (DPA). Použitím Služby Azure AI Video Indexer souhlasíte s tím, že budete vázáni zásadami OST, DPA a prohlášením o zásadách ochrany osobních údajů.