Wat is Azure AI Video Indexer?

Artikel
08/02/2023

Belangrijk

Na de aankondiging van buitengebruikstelling van Azure Media Services doet Azure Video Indexer de volgende aankondigingen: opmerkingen bij de release van juni.

Ook veelgestelde vragen over het uitchecken van AMS-afschaffing.

Notitie

Op 11 juni 2020 kondigde Microsoft aan dat het geen gezichtsherkenningssoftware verkoopt aan politieafdelingen in de Verenigde Staten totdat er solide wetgeving op basis van mensenrechten in werking is getreden. Als zodanig gebruiken klanten mogelijk geen functies voor gezichtsherkenning of functionaliteit in Azure AI-services, zoals Face of Video Indexer, als een klant dergelijke services door of voor een politieafdeling in de Verenigde Staten gebruikt.

Notitie

De toegang tot functies voor gezichtsidentificatie, aanpassing en herkenning van beroemdheden is beperkt op basis van geschiktheids- en gebruikscriteria om onze principes voor verantwoordelijke AI te ondersteunen. Functies voor gezichtsidentificatie, aanpassing en herkenning van beroemdheden zijn alleen beschikbaar voor door Microsoft beheerde klanten en partners. Gebruik het intakeformulier voor gezichtsherkenning om toegang aan te vragen.

Azure AI Video Indexer is een cloudtoepassing, onderdeel van Azure AI-services, gebouwd op Azure Media Services en Azure AI-services (zoals Face, Translator, Azure AI Vision en Speech). Hiermee kunt u de inzichten uit uw video's extraheren met behulp van video- en audiomodellen van Azure AI Video Indexer.

Azure AI Video Indexer analyseert de video- en audio-inhoud door meer dan 30 AI-modellen uit te voeren, waardoor uitgebreide inzichten worden gegenereerd. Hier volgt een illustratie van de audio- en videoanalyse die op de achtergrond wordt uitgevoerd door Azure AI Video Indexer:

Als u wilt beginnen met het extraheren van inzichten met Azure AI Video Indexer, raadpleegt u de sectie Hoe kan ik aan de slag gaan .

Wat kan ik doen met Azure AI Video Indexer?

De inzichten van Azure AI Video Indexer kunnen worden toegepast op veel scenario's, waaronder:

Uitgebreid zoeken: gebruik de inzichten die uit de video zijn geëxtraheerd om de zoekervaring in een videobibliotheek te verbeteren. Het indexeren van gesproken woorden en gezichten kan bijvoorbeeld de zoekervaring mogelijk maken om momenten in een video te vinden waarin een persoon bepaalde woorden heeft gesproken of wanneer twee personen samen zijn gezien. Zoeken op basis van dergelijke inzichten uit video's is van toepassing op nieuwsbureaus, onderwijsinstellingen, omroepen, eigenaren van entertainmentinhoud, zakelijke LOB-apps en in het algemeen op elke branche die een videobibliotheek heeft waarop gebruikers moeten zoeken.
Inhoud maken: maak trailers, markeer rollen, inhoud van sociale media of nieuwsclips op basis van de inzichten die Azure AI Video Indexer uit uw inhoud haalt. Sleutelframes, scènemarkeringen en tijdstempels van de personen en labelweergaven maken het maakproces soepeler en eenvoudiger, zodat u gemakkelijk bij de onderdelen van de video kunt komen die u nodig hebt bij het maken van inhoud.
Toegankelijkheid: Of u uw inhoud nu beschikbaar wilt maken voor mensen met een beperking of als u wilt dat uw inhoud in verschillende regio's met verschillende talen wordt gedistribueerd, u kunt de transcriptie en vertaling van Azure AI Video Indexer in meerdere talen gebruiken.
Inkomsten genereren: Azure AI Video Indexer kan helpen de waarde van video's te verhogen. Branches die bijvoorbeeld afhankelijk zijn van advertentie-inkomsten (nieuwsmedia, sociale media, enzovoort) kunnen relevante advertenties leveren door de geëxtraheerde inzichten te gebruiken als extra signalen voor de advertentieserver.
Beheer van inhoud: gebruik tekstuele en visuele inhoudsbeheermodellen om uw gebruikers te beschermen tegen ongepaste inhoud en te controleren of de inhoud die u publiceert overeenkomt met de waarden van uw organisatie. U kunt bepaalde video's automatisch blokkeren of uw gebruikers waarschuwen over de inhoud.
Aanbevelingen: Video-inzichten kunnen worden gebruikt om de betrokkenheid van gebruikers te verbeteren door de relevante videomomenten voor gebruikers te markeren. Door elke video te taggen met aanvullende metagegevens, kunt u gebruikers de meest relevante video's aanbevelen en de onderdelen van de video markeren die aan hun behoeften voldoen.

AI-functies voor video/audio

De volgende lijst bevat de inzichten die u kunt ophalen uit uw video-/audiobestanden met behulp van video- en audio-AI-functies (modellen) van Azure AI Video Indexer.

Tenzij anders aangegeven, is een model algemeen beschikbaar.

Videomodellen

Gezichtsdetectie: detecteert en groepeert gezichten die worden weergegeven in de video.
Identificatie van beroemdheden: Identificeert meer dan 1 miljoen beroemdheden, zoals wereldleiders, acteurs, kunstenaars, atleten, onderzoekers, zakelijke en technische leiders over de hele wereld. De gegevens over deze beroemdheden zijn ook te vinden op verschillende websites (IMDB, Wikipedia, enzovoort).
Gezichtsidentificatie op basis van accounts: hiermee wordt een model voor een specifiek account getraind. Vervolgens worden gezichten in de video herkend op basis van het getrainde model. Zie Een persoonsmodel aanpassen op de Azure AI Video Indexer-website en Een persoonsmodel aanpassen met de Azure AI Video Indexer-API voor meer informatie.
Miniatuurextractie voor gezichten: identificeert het best vastgelegde gezicht in elke groep gezichten (op basis van kwaliteit, grootte en frontale positie) en extraheert het als afbeeldingsasset.
Optische tekenherkenning (OCR): extraheert tekst uit afbeeldingen zoals afbeeldingen, straattekens en producten in mediabestanden om inzichten te verkrijgen.
Visueel inhoudstoezicht: detecteert inhoud voor volwassenen en/of ongepaste visuele elementen.
Identificatie van labels: identificeert visuele objecten en acties die worden weergegeven.
Scènesegmentatie: bepaalt wanneer een scène in video verandert op basis van visuele aanwijzingen. Een scène toont één gebeurtenis en bestaat uit een reeks opeenvolgende opnamen, die semantisch gerelateerd zijn.
Opnamedetectie: bepaalt wanneer een opname in een video verandert op basis van visuele aanwijzingen. Een opname is een reeks frames die zijn gemaakt van dezelfde filmcamera. Zie Scènes, opnamen en hoofdframes voor meer informatie.
Detectie van zwarte frames: identificeert zwarte frames in de video.
Extractie van sleutelframes: detecteert stabiele sleutelframes in een video.
Doorlopende aftiteling: identificeert het begin en einde van de rollende aftiteling aan het einde van tv-programma's en films.
Detectie van redactioneel opnametype: Tags foto's op basis van hun type (zoals wide shot, medium shot, close up, extreme close-up, two shot, multiple people, outdoor en indoor, enzovoort). Zie Detectie van het type redactionele opname voor meer informatie.
Geobserveerde personen bijhouden (preview): detecteert waargenomen personen in video's en biedt informatie zoals de locatie van de persoon in het videoframe (met begrenzingsvakken) en de exacte tijdstempel (begin, einde) en betrouwbaarheid wanneer een persoon wordt weergegeven. Zie Waargenomen personen traceren in een video voor meer informatie.
- Mensen gedetecteerde kleding (preview): detecteert de kledingtypen van personen die in de video worden weergegeven en biedt informatie zoals lange of korte mouwen, lange of korte broek en rok of jurk. De gedetecteerde kleding is gekoppeld aan de mensen die deze dragen en de exacte tijdstempel (begin, einde) samen met een betrouwbaarheidsniveau voor de detectie worden opgegeven. Zie Gedetecteerde kleding voor meer informatie.
- Aanbevolen kleding (preview): legt aanbevolen kledingafbeeldingen vast die in een video worden weergegeven. U kunt uw gerichte advertenties verbeteren met behulp van het aanbevolen kleding-inzicht. Zie Aanbevolen kleding voor informatie over hoe de aanbevolen kledingafbeeldingen worden gerangschikt en hoe u de inzichten krijgt.
Overeenkomende persoon (preview): komt overeen met personen die in de video zijn waargenomen met de bijbehorende gedetecteerde gezichten. De overeenkomst tussen de waargenomen personen en de gezichten bevat een betrouwbaarheidsniveau.
Slatedetectie (preview): identificeert de volgende film-postproductie-inzichten bij het indexeren van een video met behulp van de geavanceerde indexeringsoptie:
- Clapperboarddetectie met metagegevensextractie.
- Detectie van digitale patronen, inclusief kleurenbalken.
- Tekstloze slatedetectie, inclusief scènekoppeling.
Zie Slate-detectie voor meer informatie.
Tekstuele logodetectie (preview): komt overeen met een specifieke vooraf gedefinieerde tekst met behulp van Azure AI Video Indexer OCR. Als een gebruiker bijvoorbeeld een tekstlogo heeft gemaakt: 'Microsoft', worden verschillende weergaven van het woord Microsoft gedetecteerd als het 'Microsoft'-logo. Zie Tekstlogo detecteren voor meer informatie.

Audiomodellen

Audiotranscriptie: converteert spraak naar tekst in meer dan 50 talen en maakt uitbreidingen mogelijk. Zie Taalondersteuning voor Azure AI Video Indexer voor meer informatie.
Automatische taaldetectie: identificeert de dominante gesproken taal. Zie Taalondersteuning voor Azure AI Video Indexer voor meer informatie. Als de taal niet met vertrouwen kan worden geïdentificeerd, gaat Azure AI Video Indexer ervan uit dat de gesproken taal Engels is. Zie Taalidentificatiemodel voor meer informatie.
Spraakidentificatie en transcriptie in meerdere talen: identificeert de gesproken taal in verschillende segmenten van audio. Elke segment van het mediabestand wordt verzonden voor een transcriptie en deze transcripties worden vervolgens gecombineerd in één uniforme transcriptie. Zie Inhoud in meerdere talen automatisch identificeren en transcriberen voor meer informatie.
Ondertiteling: hiermee maakt u ondertiteling in drie indelingen: VTT, TTML, SRT.
Verwerking met twee kanalen: automatisch detecteert afzonderlijke transcriptie en wordt samengevoegd tot één tijdlijn.
Ruisonderdrukking: hiermee worden telefoonaudio of ruisopnamen gewist (op basis van Skype-filters).
Aanpassing van transcripten (CRIS): traint aangepaste spraak-naar-tekstmodellen om branchespecifieke transcripties te maken. Zie Een taalmodel aanpassen op de Website van Azure AI Video Indexer en Een taalmodel aanpassen met de Azure AI Video Indexer-API's voor meer informatie.
Sprekerinventarisatie: hiermee wordt opgegeven welke spreker welke woorden heeft gesproken en wanneer. Zestien luidsprekers kunnen worden gedetecteerd in één audiobestand.
Sprekerstatistieken: biedt statistieken voor de spraakverhoudingen van sprekers.
Tekstueel inhoudsbeheer: detecteert expliciete tekst in het audiotranscript.
Op tekst gebaseerde emotiedetectie: emoties zoals vreugde, verdriet, woede en angst die zijn gedetecteerd via transcriptanalyse.
Vertaling: hiermee maakt u vertalingen van de audiotranscriptie naar veel verschillende talen. Zie Taalondersteuning voor Azure AI Video Indexer voor meer informatie.
Detectie van audio-effecten (preview): detecteert de volgende audio-effecten in de niet-spraaksegmenten van de inhoud: alarm of sirene, blaffende hond, reacties van het publiek (toejuichen, klappen en boenen), schot of explosie, lachen, glas breken en stilte.

De gedetecteerde akoestische gebeurtenissen bevinden zich in het ondertitelingsbestand. Het bestand kan worden gedownload van de Azure AI Video Indexer-website. Zie Detectie van audio-effecten voor meer informatie.

Notitie

De volledige set gebeurtenissen is alleen beschikbaar wanneer u Geavanceerde audioanalyse kiest bij het uploaden van een bestand, in vooraf ingestelde upload. Standaard wordt alleen stilte gedetecteerd.

Audio- en videomodellen (meerdere kanalen)

Wanneer u indexeert met één kanaal, zijn gedeeltelijke resultaten voor deze modellen beschikbaar.

Extractie van trefwoorden: haalt trefwoorden uit spraak en visuele tekst.
Extractie van benoemde entiteiten: haalt merken, locaties en personen uit spraak en visuele tekst via natuurlijke taalverwerking (NLP).
Onderwerpdeductie: extraheert onderwerpen op basis van verschillende trefwoorden (dat wil gezegd, trefwoorden 'Stock Exchange', 'Wall Street' produceert het onderwerp 'Economie'). Het model maakt gebruik van drie verschillende ontologieën (IPTC, Wikipedia en de hiërarchische onderwerponologie van Video Indexer). Het model maakt gebruik van transcriptie (gesproken woorden), OCR-inhoud (visuele tekst) en beroemdheden die in de video worden herkend met behulp van het Video Indexer-gezichtsherkenningsmodel.
Artefacten: extraheert een grote verscheidenheid aan 'extra gedetailleerde' artefacten voor elk van de modellen.
Gevoelsanalyse: identificeert positieve, negatieve en neutrale gevoelens uit visuele tekst en gesproken woorden.

Hoe kan ik aan de slag gaan met Azure AI Video Indexer?

Meer informatie over hoe u aan de slag gaat met Azure AI Video Indexer.

Zodra u het hebt ingesteld, begint u met het gebruik van inzichten en bekijkt u andere handleidingen.

Compliance, privacy en beveiliging

Ter herinnering: u moet voldoen aan alle toepasselijke wetten voor uw gebruik van Azure AI Video Indexer en u mag Azure AI Video Indexer of een Azure-service niet gebruiken op een manier die de rechten van anderen schendt of die schadelijk kan zijn voor anderen.

Voordat u een video/afbeelding uploadt naar Azure AI Video Indexer, moet u alle juiste rechten hebben om de video/afbeelding te gebruiken, inclusief, indien wettelijk vereist, alle benodigde toestemmingen van personen (indien aanwezig) in de video/afbeelding voor het gebruik, de verwerking en de opslag van hun gegevens in Azure AI Video Indexer en Azure. Sommige jurisdicties kunnen speciale wettelijke vereisten opleggen voor het verzamelen, online verwerken en opslaan van bepaalde typen gegevens, zoals biometrische gegevens. Voordat u Azure AI Video Indexer en Azure gebruikt voor de verwerking en opslag van gegevens die onderhevig zijn aan speciale wettelijke vereisten, moet u ervoor zorgen dat dergelijke wettelijke vereisten die op u van toepassing kunnen zijn, worden nageleefd.

Ga naar het Vertrouwenscentrum van Microsoft voor meer informatie over naleving, privacy en beveiliging in Azure AI Video Indexer. Als u meer wilt weten over de privacyverplichtingen en procedures voor gegevensverwerking en -retentie die Microsoft hanteert ten aanzien van uw gegevens, inclusief het verwijderen van uw gegevens, kunt u de Privacyverklaring van Microsoft, de Voorwaarden voor Online Diensten ('OST') en het Addendum met betrekking tot gegevensverwerking ('DPA') raadplegen. Door Azure AI Video Indexer te gebruiken, gaat u ermee akkoord gebonden te zijn aan de OST, DPA en de privacyverklaring.

Volgende stappen

U bent klaar om aan de slag te gaan met Azure AI Video Indexer. Raadpleeg voor meer informatie de volgende artikelen:

Zie Opmerkingen bij de release van Azure AI Video Indexer voor de nieuwste updates.