Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Scènedetectie vindt wanneer een scène in een video verandert op basis van visuele aanwijzingen. Een scène toont één gebeurtenis en bevat een reeks gerelateerde opnamen. Shots zijn een reeks frames die verschillen per visuele aanwijzingen, zoals plotselinge of geleidelijke wijzigingen in het kleurenschema van aangrenzende frames. Schermafbeeldingsmetagegevens bevatten de begintijd, eindtijd en een lijst met sleutelframes in de opname. Een sleutelframe is een frame van een opname die het beste de opname vertegenwoordigt.
Use cases voor scène-, shot- en keyframedetectie
- Blader, beheer en bewerk eenvoudig uw video-inhoud op basis van verschillende granulariteiten.
- Gebruik de detectie van het type redactioneel beeldtype voor het bewerken van video's in clips, trailers of bij het zoeken naar een specifieke stijl van het hoofdframe.
Scènedetectie
Azure AI Video Indexer bepaalt wanneer een scène in video verandert op basis van visuele aanwijzingen. Een scène toont één gebeurtenis die bestaat uit een reeks opeenvolgende opnamen, die semantisch gerelateerd zijn.
Een miniatuur van een scène is het eerste sleutelbeeld van de onderliggende opname.
Azure AI Video Indexer segmenteert een video in scènes op basis van kleurcoherentie in opeenvolgende opnamen en haalt de begin- en eindtijd van elke scène op.
Video's moeten ten minste drie scènes bevatten.
Schotdetectie
Azure AI Video Indexer bepaalt wanneer een opname in de video verandert op basis van visuele aanwijzingen. Dit doet u door zowel plotselinge als geleidelijke overgangen in het kleurenschema en andere visuele kenmerken van aangrenzende frames te detecteren. De metagegevens van de shot bevatten een begin- en eindtijd en de lijst met sleutelframes die in die opname zijn opgenomen. De opnamen zijn opeenvolgende frames van dezelfde camera op hetzelfde moment.
Notitie
Er kan een tussenruimte zijn tussen opnamen die frames bevatten die deel uitmaken van de overgang. Daarom worden deze frames niet beschouwd als onderdeel van de opname.
Detectie van sleutelframes voor editoriale schotten
Het type opname wordt bepaald op basis van de analyse van het eerste kenmerkende frame van elke opname. Schermafbeeldingen worden geïdentificeerd door de schaal, grootte en locatie van de gezichten die worden weergegeven in hun eerste hoofdframe.
De grootte en schaal van de opname worden bepaald op basis van de afstand tussen de camera en de gezichten die in het frame worden weergegeven. Azure AI Video Indexer detecteert de volgende typen opnamen met behulp van deze eigenschappen:
- Wijde: toont het volledige lichaam van een persoon.
- Gemiddeld: toont het bovenlichaam en gezicht van een persoon.
- Close-up: toont voornamelijk het gezicht van een persoon.
- Extreme close-up: toont het gezicht van een persoon die het scherm vult.
Schottypen kunnen ook worden bepaald door de locatie van de onderwerpen ten opzichte van het midden van het beeld. Deze eigenschap definieert de volgende typen opnamen in Azure AI Video Indexer:
- Linker gezicht: een persoon wordt aan de linkerkant van het frame weergegeven.
- Midden gezicht: een persoon wordt weergegeven in de centrale regio van het frame.
- Rechter gezicht: een persoon wordt aan de rechterkant van het frame weergegeven.
- Buiten: een persoon verschijnt in een buitenomgeving.
- Binnen: een persoon verschijnt in een binnenruimte.
Andere kenmerken:
- Twee opnamen: toont de gezichten van twee personen van middelgroot formaat.
- Meerdere gezichten: meer dan twee personen.
De inzicht-JSON weergeven met de webportal
Nadat u een video hebt geüpload en geïndexeer, downloadt u inzichten in JSON-indeling vanuit de webportal.
- Selecteer het tabblad Bibliotheek .
- Selecteer de gewenste media.
- Selecteer Download en vervolgens Insights (JSON). Het JSON-bestand wordt geopend op een nieuw browsertabblad.
- Zoek het sleutelpaar dat wordt beschreven in het voorbeeldantwoord.
De API gebruiken
- Gebruik een Get Video Index-aanvraag . Doorgeven
&includeSummarizedInsights=false. - Zoek de sleutelparen die worden beschreven in het voorbeeldantwoord.
Voorbeeld van een antwoord
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
De sleutelframes downloaden met de API
Als u elk sleutelframe wilt downloaden, gebruikt u de keyframe-id's met een Get Thumbnails API-aanvraag.
Waarschuwing
Gebruik geen gegevens rechtstreeks uit de map artefacten voor productiedoeleinden. Artefacten zijn tussenliggende uitvoer van het indexeringsproces en zijn onbewerkte uitvoer van verschillende AI-engines die video's analyseren. Het schema voor artefacten kan na verloop van tijd veranderen.
Belangrijk
Lees het overzicht van de transparantienotitie voor alle VI-functies. Elk inzicht heeft ook een eigen transparantienotitie.
Notities voor de detectie van scènes, opnamen en sleutelframes
- De detector werkt het beste op mediabestanden met opnamen en scènes erin.
- Als de video wordt gefilmd met één camera die nooit beweegt, werkt de segmentatie slecht en zijn de hoofdframes mogelijk niet representatief.
- Sleutelframes worden geselecteerd door rekening te houden met het wazigheidsniveau van de frames. Als het grootste deel van de opname wazig is, bijvoorbeeld met beweging, kan het keyframe ook wazig zijn.
- Video's met slechte visuele kwaliteit produceren slechte resultaten.
- De tijd van elke opname/scène/keyframe kan verschuiven (minder dan een seconde).
Scène-, shot- en keyframe-onderdelen
Er zijn geen onderdelen gedefinieerd.
Voorbeeldcode
Bekijk alle voorbeelden voor VI