Získání přehledů extrakce pojmenovaných entit
Extrakce pojmenovaných entit
Extrakce pojmenovaných entit používá technologii NLP (Natural Language Processing) k extrakci přehledů o umístěních, lidech a značkách, které se zobrazují ve zvukových a obrázcích v mediálních souborech. Přehled extrakce pojmenovaných entit používá přepis a optické rozpoznávání znaků (OCR).
Případy použití pojmenovaných entit
- Kontextová reklama, například umístění reklamy na pizza řetězec následující záběry na Itálii.
- Hloubkové vyhledávání mediálních archivů pro přehledy o lidech nebo místech pro vytváření zpráv o funkcích
- Vytvoření slovního popisu záběrů prostřednictvím zpracování OCR za účelem zlepšení přístupnosti pro zrakově postižené, například scénáře na pozadí ve filmech.
- Extrahování přehledů o názvech značek
Zobrazení kódu JSON přehledu pomocí webového portálu
Po nahrání a indexování videa jsou přehledy k dispozici ve formátu JSON ke stažení pomocí webového portálu.
- Vyberte kartu Knihovna.
- Vyberte multimédia, se kterými chcete pracovat.
- Vyberte Stáhnout a přehledy (JSON). Soubor JSON se otevře na nové kartě prohlížeče.
- Vyhledejte pár klíčů popsaný v ukázkové odpovědi.
Použití rozhraní API
- Použijte požadavek Získat index videa. Doporučujeme předat
&includeSummarizedInsights=false. - Vyhledejte páry klíčů popsané v ukázkové odpovědi.
Příklad odpovědi
namedPeople: [
{
referenceId: "Satya_Nadella",
referenceUrl: "https://en.wikipedia.org/wiki/Satya_Nadella",
confidence: 1,
description: "CEO of Microsoft Corporation",
seenDuration: 33.2,
id: 2,
name: "Satya Nadella",
appearances: [
{
startTime: "0:01:11.04",
endTime: "0:01:17.36",
startSeconds: 71,
endSeconds: 77.4
},
{
startTime: "0:01:31.83",
endTime: "0:01:37.1303666",
startSeconds: 91.8,
endSeconds: 97.1
},
Důležité
Je důležité si přečíst přehled poznámek transparentnosti pro všechny funkce VI. Každý přehled má také vlastní poznámky k transparentnosti:
Pojmenované entity
- Pečlivě zvažte přesnost výsledků, aby bylo možné zvýšit přesnost detekce, zkontrolovat kvalitu zvuku a obrázků, zvuk s nízkou kvalitou a obrázky může mít vliv na zjištěné přehledy.
- Pojmenované entity detekují přehledy pouze ve zvuku a obrázcích. Loga v názvu značky nemusí být zjištěna.
- Pečlivě vezměte v úvahu, že při použití pro vymáhání práva pojmenované entity nemusí vždy zjišťovat části zvuku. Aby bylo zajištěno spravedlivé a vysoce kvalitní rozhodnutí, vždy zkombinujte pojmenované entity s lidským dohledem.
- Nepoužívejte pojmenované entity pro rozhodnutí, která mohou mít vážné negativní dopady na jednotlivce a skupiny. Modely strojového učení, které extrahují text, můžou vést k nedetekci nebo nesprávnému textovému výstupu. Vaše rozhodnutí na základě nesprávného výstupu můžou mít vážné nepříznivé dopady, kterým se musíte vyhnout. Vždy byste měli zahrnout lidský přezkum rozhodnutí, která mají potenciál pro vážné dopady na jednotlivce.
Komponenty
Během procedury extrakce pojmenovaných entit se mediální soubor zpracuje následujícím způsobem:
| Komponenta | Definice |
|---|---|
| Zdrojový soubor | Uživatel nahraje zdrojový soubor pro indexování. |
| Extrakce textu | – Zvukový soubor se odešle do rozhraní API služby Speech Services k extrakci přepisu. – Ukázkové snímky se odesílají do rozhraní API služby Azure AI Vision k extrakci OCR. |
| Analýzy | Přehledy se pak posílají do rozhraní API Analýza textu a extrahují entity. Například Microsoft, Paříž nebo jméno osoby, jako je Paul nebo Sarah. |
| Zpracování a konsolidace | Výsledky se pak zpracují. Pokud je to možné, odkazy na Wikipedii se přidávají a značky jsou identifikovány prostřednictvím integrovaných a přizpůsobitelných seznamů brandingu Video Indexeru. |
| Hodnota spolehlivosti | Odhadovaná úroveň spolehlivosti každé pojmenované entity se vypočítá jako rozsah 0 až 1. Skóre spolehlivosti představuje jistotu přesnosti výsledku. Například 82% jistota je reprezentována jako skóre 0,82. |