Overzicht van Azure AI Video Indexer

Belangrijk

Vanwege de aankondiging van buitengebruikstelling van Azure Media Services kondigt Azure AI Video Indexer-functies aan. Zie Wijzigingen met betrekking tot buitengebruikstelling van Azure Media Service (AMS) om te begrijpen wat dit betekent voor uw Azure AI Video Indexer-account. Zie de handleiding voorbereiden voor AMS-buitengebruikstelling: VI-update en migratiehandleiding.

Azure AI Video Indexer is een cloudtoepassing, onderdeel van Azure AI-services, gebouwd op Azure AI-services (zoals Face, Vertalen, Azure AI Vision en Speech). Hiermee kunt u de inzichten uit uw video's extraheren met behulp van video- en audiomodellen van Azure AI Video Indexer.

Azure AI Video Indexer analyseert de video- en audio-inhoud door 30+ AI-modellen uit te voeren en uitgebreide inzichten te genereren. Hier volgt een afbeelding van de audio- en videoanalyse die wordt uitgevoerd door Azure AI Video Indexer op de achtergrond:

Als u inzichten wilt extraheren met Azure AI Video Indexer, raadpleegt u de sectie Hoe kan ik aan de slag gaan.

Wat kan ik doen met Azure AI Video Indexer?

Inzichten van Azure AI Video Indexer kunnen worden toegepast op veel scenario's:

• Uitgebreide zoekopdracht: Gebruik de inzichten die zijn geëxtraheerd uit de video om de zoekervaring in een videobibliotheek te verbeteren. Het indexeren van gesproken woorden en gezichten kan bijvoorbeeld de zoekervaring van het vinden van momenten in een video mogelijk maken waarin een persoon bepaalde woorden sprak of wanneer twee personen samen werden gezien. Zoeken op basis van dergelijke inzichten van video's is van toepassing op nieuwsbureaus, onderwijsinstituten, omroepen, eigenaren van entertainmentinhoud, zakelijke LOB-apps en in het algemeen op elke branche met een videobibliotheek waarop gebruikers moeten zoeken.
• Inhoud maken: Maak trailers, markeer rollen, sociale media-inhoud of nieuwsclips op basis van de inzichten die Azure AI Video Indexer uit uw inhoud haalt. Keyframes, scènemarkeringen en tijdstempels van de personen en labelweergaven maken het maken soepeler en eenvoudiger, zodat u eenvoudig de onderdelen van de video kunt openen die u nodig hebt bij het maken van inhoud.
• Toegankelijkheid: of u uw inhoud beschikbaar wilt maken voor mensen met een beperking of als u wilt dat uw inhoud in verschillende talen naar verschillende regio's wordt gedistribueerd, kunt u de transcriptie en vertaling van Azure AI Video Indexer in meerdere talen gebruiken.
• Inkomsten genereren: Azure AI Video Indexer kan helpen de waarde van video's te verhogen. Branches die afhankelijk zijn van advertentie-omzet (nieuwsmedia, sociale media, enzovoort) kunnen bijvoorbeeld relevante advertenties leveren met behulp van de geëxtraheerde inzichten als extra signalen voor de advertentieserver.
• Con tentmodus ration: gebruik tekst- en visuele con tentmodus ratiemodellen om uw gebruikers te beschermen tegen ongepaste inhoud en te valideren dat de inhoud die u publiceert overeenkomt met de waarden van uw organisatie. U kunt bepaalde video's automatisch blokkeren of uw gebruikers waarschuwen over de inhoud.
• Aanbevelingen: Video-inzichten kunnen worden gebruikt om de betrokkenheid van gebruikers te verbeteren door de relevante videomomenten voor gebruikers te markeren. Door elke video te taggen met extra metagegevens, kunt u gebruikers de meest relevante video's aanbevelen en de delen van de video markeren die aan hun behoeften voldoen.

AI-functies voor video/audio

De volgende lijst bevat de inzichten die u kunt ophalen uit uw video-/audiobestanden met behulp van Azure AI Video Indexer-video- en audio-AI-functies (modellen).

Tenzij anders opgegeven, is een model algemeen beschikbaar.

Videomodellen

• Gezichtsdetectie: detecteert en groepeert gezichten die worden weergegeven in de video.

• Identificatie van beroemdheden: identificeert meer dan 1 miljoen beroemdheden, zoals wereldberoemde leiders, acteurs, kunstenaars, atleten, onderzoekers, bedrijven en technische leiders over de hele wereld. De gegevens over deze beroemdheden zijn ook te vinden op verschillende websites (IMDB, Wikipedia, enzovoort).

• Gezichtsidentificatie op basis van een account: Hiermee traint u een model voor een specifiek account. Vervolgens worden gezichten in de video herkend op basis van het getrainde model. Zie Een person-model aanpassen op de website van Azure AI Video Indexer en een person-model aanpassen met de Azure AI Video Indexer-API voor meer informatie.

• Miniatuurextractie voor gezichten: Identificeert het beste vastgelegde gezicht in elke groep gezichten (op basis van kwaliteit, grootte en frontale positie) en extraheert deze als afbeeldingsasset.

• Optische tekenherkenning (OCR):extraheert tekst uit afbeeldingen zoals afbeeldingen, straatborden en producten in mediabestanden om inzichten te creëren.

• Visueel inhoudstoezicht: detecteert inhoud voor volwassenen en/of ongepaste visuele elementen.

• Identificatie van labels: identificeert visuele objecten en acties die worden weergegeven.

• Scènesegmentatie: bepaalt wanneer een scène in video verandert op basis van visuele aanwijzingen. Een scène toont één gebeurtenis en bestaat uit een reeks opeenvolgende opnamen, die semantisch gerelateerd zijn.

• Opnamedetectie: bepaalt wanneer een opname verandert in video op basis van visuele aanwijzingen. Een foto is een reeks frames die zijn genomen van dezelfde camera voor animatiebeelden. Zie Scènes, shots en keyframes voor meer informatie.

• Detectie van zwarte frames: identificeert zwarte frames in de video.

• Extractie van sleutelframes: detecteert stabiele sleutelframes in een video.

• Rolling credits: Identificeert het begin en einde van de rolling credits aan het einde van tv-programma's en films.

• Detectie van redactioneel schottype: Tags shots op basis van hun type (zoals wide shot, medium shot, close up, extreme close up, two shot, multiple people, outdoor en indoor, enzovoort). Zie De detectie van het type Redactioneel schot voor meer informatie.

• Geobserveerde personen bijhouden (preview): Detecteert waargenomen personen in video's en biedt informatie zoals de locatie van de persoon in het videoframe (met begrenzingsvakken) en de exacte tijdstempel (begin, einde) en betrouwbaarheid wanneer een persoon wordt weergegeven. Zie Trace geobserveerde personen in een video voor meer informatie.

  • Mensen gedetecteerde kleding (preview): Detecteert de kledingtypen van mensen die in de video verschijnen en biedt informatie zoals lange of korte mouwen, lange of korte broek en rok of jurk. De gedetecteerde kleding is gekoppeld aan de mensen die deze dragen en de exacte tijdstempel (begin, einde) samen met een betrouwbaarheidsniveau voor de detectie. Zie gedetecteerde kleding voor meer informatie.
  • Aanbevolen kleding (preview): Legt aanbevolen kledingafbeeldingen vast die worden weergegeven in een video. U kunt uw gerichte advertenties verbeteren met behulp van het aanbevolen kledingzicht. Zie aanbevolen kleding voor informatie over hoe de aanbevolen kledingafbeeldingen worden gerangschikt en hoe u de inzichten krijgt.

• Overeenkomende persoon (preview): Komt overeen met personen die in de video zijn waargenomen met de overeenkomende gezichten gedetecteerd. De overeenkomst tussen de waargenomen personen en de gezichten bevat een betrouwbaarheidsniveau.

• Objectdetectie Detecteert unieke objecten die ook worden bijgehouden, zodat als ze terugkeren naar het frame dat ze worden herkend. Objectdetectie van Azure AI Video Indexer bekijken

• Slatedetectie (preview): Identificeert de volgende film na productie-inzichten bij het indexeren van een video met behulp van de geavanceerde indexeringsoptie:

  • Clapperboard-detectie met metagegevensextractie.
  • Detectie van digitale patronen, inclusief kleurbalken.
  • Detectie van tekstloze lei, inclusief overeenkomende scènes.

  Zie Slate-detectie voor meer informatie.

• Tekstuele logodetectie (preview): komt overeen met een specifieke vooraf gedefinieerde tekst met behulp van AZURE AI Video Indexer OCR. Als een gebruiker bijvoorbeeld een tekstlogo heeft gemaakt: 'Microsoft', worden verschillende weergaven van het woord Microsoft gedetecteerd als het 'Microsoft'-logo. Zie Tekstlogo detecteren voor meer informatie.

Audiomodellen

• Audiotranscriptie: converteert spraak naar tekst in meer dan 50 talen en staat uitbreidingen toe. Zie de taalondersteuning voor Azure AI Video Indexer voor meer informatie.

• Automatische taaldetectie: identificeert de dominante gesproken taal. Zie de taalondersteuning voor Azure AI Video Indexer voor meer informatie. Als de taal niet met vertrouwen kan worden geïdentificeerd, gaat Azure AI Video Indexer ervan uit dat de gesproken taal Engels is. Zie Taalidentificatiemodel voor meer informatie.

• Spraakidentificatie en transcriptie in meerdere talen: identificeert de gesproken taal in verschillende segmenten van audio. Elke segment van het mediabestand wordt verzonden voor een transcriptie en deze transcripties worden vervolgens gecombineerd in één uniforme transcriptie. Zie Inhoud in meerdere talen automatisch identificeren en transcriberen voor meer informatie.

• Ondertiteling: hiermee maakt u ondertiteling in drie indelingen: VTT, TTML, SRT.

• Twee kanaalverwerking: Automatisch detecteert afzonderlijke transcripties en voegt ze samen tot één tijdlijn.

• Ruisvermindering: schoont telefoonaudio of luide opnamen op (gebaseerd op Skype-filters).

• Transcript aanpassing (CRIS): Traint aangepaste spraak naar tekstmodellen om branchespecifieke transcripties te maken. Zie Een taalmodel aanpassen op de website van Azure AI Video Indexer en een taalmodel aanpassen met de Azure AI Video Indexer-API's voor meer informatie.

• Sprekersopsomming: detecteert en begrijpt welke spreker welke woorden heeft gezegd en wanneer. Zestien luidsprekers kunnen worden gedetecteerd in één audiobestand.

• Sprekerstatistieken: biedt statistieken voor spraakverhoudingen van sprekers.

• Tekstueel inhoudsbeheer: detecteert expliciete tekst in het audiotranscript.

• Op tekst gebaseerde emotiedetectie: Emoties zoals vreugde, verdriet, woede en angst die zijn gedetecteerd via transcriptanalyse.

• Vertaling: Hiermee maakt u vertalingen van het audiotranscript naar veel verschillende talen. Zie de taalondersteuning voor Azure AI Video Indexer voor meer informatie.

• Detectie van audio-effecten (preview): Detecteert de volgende audio-effecten in de niet-spraaksegmenten van de inhoud: alarm of siren, hond blaffen, menigtereacties (cheeren, klappen en drank), schot of explosie, lachen, brekend glas en stilte.

  De gedetecteerde akoestische gebeurtenissen bevinden zich in het gesloten bestand onderschrift s. Het bestand kan worden gedownload van de Website van Azure AI Video Indexer. Zie Detectie van audio-effecten voor meer informatie.

  Notitie

  De volledige set gebeurtenissen is alleen beschikbaar wanneer u Geavanceerde audioanalyse kiest bij het uploaden van een bestand in de vooraf ingestelde upload. Standaard wordt alleen stilte gedetecteerd.

Audio- en videomodellen (meerdere kanalen)

Bij het indexeren met één kanaal zijn gedeeltelijke resultaten voor deze modellen beschikbaar.

• Trefwoorden extraheren: trefwoorden worden geëxtraheerd uit de visuele tekst en spraak.
• Extractie van benoemde entiteiten: haalt merken, locaties en personen uit spraak- en visuele tekst uit via NLP (Natural Language Processing).
• Onderwerpdeductie: Extraheert onderwerpen op basis van verschillende trefwoorden (trefwoorden 'Beurs', 'Wall Street' produceert het onderwerp Economie). Het model maakt gebruik van drie verschillende ontologieën (IPTC, Wikipedia en de hiërarchische onderwerp ontologie van Video Indexer). Het model maakt gebruik van transcriptie (gesproken woorden), OCR-inhoud (visuele tekst) en beroemdheden die in de video worden herkend met behulp van het Video Indexer-model voor gezichtsherkenning.
• Artefacten: extraheert een grote verscheidenheid aan 'extra gedetailleerde' artefacten voor elk van de modellen.
• Gevoelsanalyse: identificeert positieve, negatieve en neutrale gevoelens uit visuele tekst en gesproken woorden.

Hoe kan ik aan de slag met Azure AI Video Indexer?

Meer informatie over hoe u aan de slag gaat met Azure AI Video Indexer.

Zodra u klaar bent, begint u met het gebruik van inzichten en bekijkt u andere handleidingen.

Naleving, privacy en beveiliging

Notitie

Op 11 juni 2020 kondigde Microsoft aan dat het geen gezichtsherkenningssoftware verkoopt aan politieafdelingen in de Verenigde Staten totdat er solide wetgeving op basis van mensenrechten in werking is getreden. Als zodanig kunnen klanten geen gezichtsherkenningsfuncties of -functionaliteit gebruiken die zijn opgenomen in Azure AI-services, zoals Face of Video Indexer, als een klant het gebruik van dergelijke services door of voor een politieafdeling in de Verenigde Staten toestaat.

Notitie

Toegang tot gezichtsidentificatie, aanpassing en beroemdheidsherkenning is beperkt op basis van geschiktheids- en gebruikscriteria om onze verantwoorde AI-principes te ondersteunen. Functies voor gezichtsidentificatie, aanpassing en beroemdheidsherkenning zijn alleen beschikbaar voor door Microsoft beheerde klanten en partners. Gebruik het intakeformulier voor gezichtsherkenning om toegang aan te vragen.

Ter herinnering: u moet voldoen aan alle toepasselijke wetten in uw gebruik van Azure AI Video Indexer en u mag Azure AI Video Indexer of een Azure-service niet gebruiken op een manier die de rechten van anderen schendt of die mogelijk schadelijk zijn voor anderen.

Voordat u een video/afbeelding uploadt naar Azure AI Video Indexer, moet u over alle juiste rechten beschikken om de video/afbeelding te gebruiken, waaronder, indien wettelijk vereist, alle benodigde toestemmingen van personen (indien van toepassing) in de video/afbeelding, voor het gebruik, de verwerking en de opslag van hun gegevens in Azure AI Video Indexer en Azure. Sommige jurisdicties kunnen speciale wettelijke vereisten opleggen voor het verzamelen, online verwerken en opslaan van bepaalde typen gegevens, zoals biometrische gegevens. Voordat u Azure AI Video Indexer en Azure gebruikt voor de verwerking en opslag van gegevens die onderhevig zijn aan speciale wettelijke vereisten, moet u ervoor zorgen dat u voldoet aan dergelijke wettelijke vereisten die op u van toepassing kunnen zijn.

Ga naar het Vertrouwenscentrum van Microsoft voor meer informatie over naleving, privacy en beveiliging in Azure AI Video Indexer. Als u meer wilt weten over de privacyverplichtingen en procedures voor gegevensverwerking en -retentie die Microsoft hanteert ten aanzien van uw gegevens, inclusief het verwijderen van uw gegevens, kunt u de Privacyverklaring van Microsoft, de Voorwaarden voor Online Diensten ('OST') en het Addendum met betrekking tot gegevensverwerking ('DPA') raadplegen. Door Azure AI Video Indexer te gebruiken, gaat u ermee akkoord dat u gebonden bent aan de OST-, DPA- en de privacyverklaring.