Videobeolvasási műveletek vektorizálással (4.0-s verzió – előzetes verzió)
Az Azure AI Video Retrieveal API-k az Azure AI Vision részét képezik, és lehetővé teszik a fejlesztők számára, hogy indexet hozzanak létre, dokumentumokat (videókat és képeket) adjanak hozzá, és természetes nyelven keressenek. A fejlesztők az egyes indexek metaadat-sémáit definiálhatják, és a metaadatokat betölthetik a szolgáltatásba, hogy segítsenek a lekérésben. A fejlesztők azt is megadhatják, hogy milyen funkciókat nyerjenek ki az indexből (látás, beszéd), és szűrjék a keresést a funkciók alapján.
Előfeltételek
- Azure-előfizetés – Hozzon létre egyet ingyenesen.
- Miután megkapta az Azure-előfizetését, hozzon létre egy Vision-erőforrást a portálon. Ehhez az előzetes verzióhoz az alábbi régiókban kell létrehoznia az erőforrást : Kelet-Ausztrália, Észak-Svájc, Közép-Svédország vagy AZ USA keleti régiója.
- Azure Storage-erőforrás – Létrehozás
Bemeneti követelmények
Támogatott formátumok
Fájlformátum | Leírás |
---|---|
asf |
ASF (Speciális/ Aktív streamelési formátum) |
avi |
AVI (Audio Video Interleaved) |
flv |
FLV (Flash Videó) |
matroskamm , webm |
Matroska / WebM |
mov ,mp4 ,m4a ,3gp ,3g2 ,mj2 |
QuickTime /MOV |
Támogatott videokodekek
Kodek | Formátum |
---|---|
h264 |
H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 |
h265 |
H.265/HEVC |
libvpx-vp9 |
libvpx VP9 (codec vp9) |
mpeg4 |
MPEG-4 2. rész |
Támogatott hangkódok
Kodek | Formátum |
---|---|
aac |
AAC (speciális hangkódolás) |
mp3 |
MP3 (MPEG audio layer 3) |
pcm |
PCM (tömörítetlen) |
vorbis |
Vorbis |
wmav2 |
Windows Media Audio 2 |
Videobeolvasási API-k meghívása
Ha a Video Retrieveal API-kat egy tipikus mintában szeretné használni, hajtsa végre a következő lépéseket:
- Index létrehozása a PUT használatával – Index létrehozása.
- Videodokumentumok hozzáadása az indexhez a PUT – CreateIngestion használatával.
- Várja meg, amíg a betöltés befejeződik, és ellenőrizze a GET – ListIngestions parancsot.
- Keressen rá egy kulcsszóra vagy kifejezésre a POST – SearchByText használatával.
Videobeolvasási API-k használata metaadatokon alapuló kereséshez
A Video Retrieveal API-k lehetővé teszik a felhasználók számára, hogy metaadatokat adjanak hozzá a videófájlokhoz. A metaadatok olyan videofájlokhoz kapcsolódó további információk, mint például a "Kamera azonosító", az "Időbélyeg" vagy a "Hely", amelyek adott videók rendszerezésére, szűrésére és keresésére használhatók. Ez a példa bemutatja, hogyan hozhat létre indexet, adhat hozzá videofájlokat a társított metaadatokkal, és hogyan végezhet keresést különböző funkciókkal.
1. lépés: Index létrehozása
Először létre kell hoznia egy indexet a videofájlok és a metaadatok tárolásához és rendszerezéséhez. Az alábbi példa bemutatja, hogyan hozhat létre egy "my-video-index" nevű indexet az Index létrehozása API használatával.
curl.exe -v -X PUT "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
'metadataSchema': {
'fields': [
{
'name': 'cameraId',
'searchable': false,
'filterable': true,
'type': 'string'
},
{
'name': 'timestamp',
'searchable': false,
'filterable': true,
'type': 'datetime'
}
]
},
'features': [
{
'name': 'vision',
'domain': 'surveillance'
},
{
'name': 'speech'
}
]
}"
Válasz:
HTTP/1.1 201 Created
Content-Length: 530
Content-Type: application/json; charset=utf-8
request-id: cb036529-d1cf-4b44-a1ef-0a4e9fc62885
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 202
Date: Thu, 06 Jul 2023 18:05:05 GMT
Connection: close
{
"name": "my-video-index",
"metadataSchema": {
"language": "en",
"fields": [
{
"name": "cameraid",
"searchable": false,
"filterable": true,
"type": "string"
},
{
"name": "timestamp",
"searchable": false,
"filterable": true,
"type": "datetime"
}
]
},
"userData": {},
"features": [
{
"name": "vision",
"modelVersion": "2023-05-31",
"domain": "surveillance"
},
{
"name": "speech",
"modelVersion": "2023-06-30",
"domain": "generic"
}
],
"eTag": "\"7966244a79384cca9880d67a4daa9eb1\"",
"createdDateTime": "2023-07-06T18:05:06.7582534Z",
"lastModifiedDateTime": "2023-07-06T18:05:06.7582534Z"
}
2. lépés: Videofájlok hozzáadása az indexhez
Ezután hozzáadhat videofájlokat az indexhez a hozzájuk tartozó metaadatokkal. Az alábbi példa bemutatja, hogyan adhat hozzá két videofájlt az indexhez SAS URL-címek használatával a Create Ingestion API-val.
curl.exe -v -X PUT "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index/ingestions/my-ingestion?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
'videos': [
{
'mode': 'add',
'documentId': '02a504c9cd28296a8b74394ed7488045',
'documentUrl': 'https://example.blob.core.windows.net/videos/02a504c9cd28296a8b74394ed7488045.mp4?sas_token_here',
'metadata': {
'cameraId': 'camera1',
'timestamp': '2023-06-30 17:40:33'
}
},
{
'mode': 'add',
'documentId': '043ad56daad86cdaa6e493aa11ebdab3',
'documentUrl': '[https://example.blob.core.windows.net/videos/043ad56daad86cdaa6e493aa11ebdab3.mp4?sas_token_here',
'metadata': {
'cameraId': 'camera2'
}
}
]
}"
Válasz:
HTTP/1.1 202 Accepted
Content-Length: 152
Content-Type: application/json; charset=utf-8
request-id: ee5e48df-13f8-4a87-a337-026947144321
operation-location: http://api.example.com.trafficmanager.net/retrieval/indexes/my-test-index/ingestions/my-ingestion
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 709
Date: Thu, 06 Jul 2023 18:15:34 GMT
Connection: close
{
"name": "my-ingestion",
"state": "Running",
"createdDateTime": "2023-07-06T18:15:33.8105687Z",
"lastModifiedDateTime": "2023-07-06T18:15:34.3418564Z"
}
3. lépés: Várakozás a betöltés befejezésére
Miután hozzáadta a videofájlokat az indexhez, megkezdődik a betöltési folyamat. A fájlok méretétől és számától függően eltarthat egy ideig. Annak érdekében, hogy a betöltés befejeződött a keresések végrehajtása előtt, a Get Ingestion API használatával ellenőrizheti az állapotot. Várja meg, amíg a hívás visszatér "state" = "Completed"
, mielőtt továbblép a következő lépésre.
curl.exe -v -X GET "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index/ingestions?api-version=2023-05-01-preview&$top=20" -H "ocp-apim-subscription-key: <YOUR_SUBSCRIPTION_KEY>"
Válasz:
HTTP/1.1 200 OK
Content-Length: 164
Content-Type: application/json; charset=utf-8
request-id: 4907feaf-88f1-4009-a1a5-ad366f04ee31
api-supported-versions: 2023-01-15-preview,2023-05-01-preview
x-envoy-upstream-service-time: 12
Date: Thu, 06 Jul 2023 18:17:47 GMT
Connection: close
{
"value": [
{
"name": "my-ingestion",
"state": "Completed",
"createdDateTime": "2023-07-06T18:15:33.8105687Z",
"lastModifiedDateTime": "2023-07-06T18:15:34.3418564Z"
}
]
}
4. lépés: Keresések végrehajtása metaadatokkal
Miután hozzáadta a videofájlokat az indexhez, metaadatok használatával kereshet adott videókat. Ez a példa kétféle keresést mutat be: az egyik a "látás" funkciót használja, a másikat pedig a "beszéd" funkciót.
Keresés a "vision" funkcióval
Ha a "vision" funkcióval szeretne keresést végezni, használja a Keresés szöveg alapján API-t a vision
szűrővel, megadva a lekérdezés szövegét és minden más kívánt szűrőt.
curl.exe -v -X POST "https://<YOUR_ENDPOINT_URL>/computervision/retrieval/indexes/my-video-index:queryByText?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
'queryText': 'a man with black hoodie',
'filters': {
'stringFilters': [
{
'fieldName': 'cameraId',
'values': [
'camera1'
]
}
],
'featureFilters': ['vision']
}
}"
Válasz:
HTTP/1.1 200 OK
Content-Length: 3289
Content-Type: application/json; charset=utf-8
request-id: 4c2477df-d89d-4a98-b433-611083324a3f
api-supported-versions: 2023-05-01-preview
x-envoy-upstream-service-time: 233
Date: Thu, 06 Jul 2023 18:42:08 GMT
Connection: close
{
"value": [
{
"documentId": "02a504c9cd28296a8b74394ed7488045",
"documentKind": "VideoFrame",
"start": "00:01:58",
"end": "00:02:09",
"best": "00:02:03",
"relevance": 0.23974405229091644
},
{
"documentId": "02a504c9cd28296a8b74394ed7488045",
"documentKind": "VideoFrame",
"start": "00:02:27",
"end": "00:02:29",
"best": "00:02:27",
"relevance": 0.23762696981430054
},
{
"documentId": "02a504c9cd28296a8b74394ed7488045",
"documentKind": "VideoFrame",
"start": "00:00:26",
"end": "00:00:27",
"best": "00:00:26",
"relevance": 0.23250913619995117
},
]
}
Keresés a "beszéd" funkcióval
Ha a "speech" funkcióval szeretne keresést végezni, használja a Keresés szöveg alapján API-t a speech
szűrővel, és adja meg a lekérdezés szövegét és minden más kívánt szűrőt.
curl.exe -v -X POST "https://<YOUR_ENDPOINT_URL>com/computervision/retrieval/indexes/my-video-index:queryByText?api-version=2023-05-01-preview" -H "Ocp-Apim-Subscription-Key: <YOUR_SUBSCRIPTION_KEY>" -H "Content-Type: application/json" --data-ascii "
{
'queryText': 'leave the area',
'dedup': false,
'filters': {
'stringFilters': [
{
'fieldName': 'cameraId',
'values': [
'camera1'
]
}
],
'featureFilters': ['speech']
}
}"
Válasz:
HTTP/1.1 200 OK
Content-Length: 49001
Content-Type: application/json; charset=utf-8
request-id: b54577bb-1f46-44d8-9a91-c9326df3ac23
api-supported-versions: 2023-05-01-preview
x-envoy-upstream-service-time: 148
Date: Thu, 06 Jul 2023 18:43:07 GMT
Connection: close
{
"value": [
{
"documentId": "02a504c9cd28296a8b74394ed7488045",
"documentKind": "SpeechTextSegment",
"start": "00:07:07.8400000",
"end": "00:07:08.4400000",
"best": "00:07:07.8400000",
"relevance": 0.8597901463508606
},
{
"documentId": "02a504c9cd28296a8b74394ed7488045",
"documentKind": "SpeechTextSegment",
"start": "00:07:02.0400000",
"end": "00:07:03.0400000",
"best": "00:07:02.0400000",
"relevance": 0.8506758213043213
},
{
"documentId": "02a504c9cd28296a8b74394ed7488045",
"documentKind": "SpeechTextSegment",
"start": "00:07:10.4400000",
"end": "00:07:11.5200000",
"best": "00:07:10.4400000",
"relevance": 0.8474636673927307
}
]
}
Következő lépések
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: