本文說明如何取得 Azure AI 影片索引器的臉部辨識見解。 臉部偵測會在媒體檔案中尋找臉部,並將類似的臉部分組。 系統會在 JSON 檔案中產生臉部偵測資訊做為分類清單。 每個條目都包含縮圖,以及每個人臉的名稱或識別碼。 在入口網站中,當您選取臉部的縮圖時,您會看到詳細數據,例如人員名稱(如果已辨識)、該人員出現的視訊百分比,以及身為名人的人傳記。 您可以在影片中捲動到該人員出現的片段。
名人辨識模型
名人辨識模型涵蓋大約 100 萬張臉部,並且是以經常要求的資料來源為基礎。 影片索引器偵測到無法辨識為名人的臉部,但沒有對其進行命名。 您可以建置自己的自訂人員模型,定型 Video Indexer 以辨識預設無法辨識的臉部。
重要
為了支援Microsoft負責任的 AI 原則,存取臉部識別、自定義和名人辨識功能會受到限制,並依據資格和使用準則。 臉部識別、自訂和名人辨識功能適用於 Microsoft 受控的客戶和合作夥伴。 若要申請存取權,請使用臉部辨識受理表單。
臉部偵測使用案例
下列清單描述臉部偵測常見使用案例的範例:
- 摘要演員在電影中的出現場景,或透過深入搜尋組織檔案中的特定人臉來重複利用影片,以獲得對特定名人的深入見解。
- 當您在新聞社或體育機構撰寫新聞特寫時,獲得更高的效率。 範例包括深度搜尋組織封存中的名人或足球運動員。
- 您可以使用影片中顯示的臉部來建立宣傳片、預告片或精彩片段。 Video Indexer 可以藉由新增主要畫面格、場景標記、時間戳記和標籤來提供協助,讓內容編輯者花更少的時間檢閱許多檔案。
關鍵字詞
術語 | 定義 |
---|---|
臉部辨識 | 分析影像以識別影像中出現的臉部。 此程序是透過 Azure AI 臉部 API 實作。 |
註冊 | 註冊個人的圖像以建立範本,從而辨識這些個人。 當人員註冊到用於驗證的驗證系統時,其範本也會與主要標識符相關聯。 標識碼用來判斷要與探查範本比較的範本。 高品質影像和代表一個人外觀自然變化的影像 (例如戴眼鏡和不戴眼鏡) 會產生高品質的註冊範本。 |
範本 | 註冊的人員影像會轉換成範本,然後用於臉部辨識。 機器可解譯的功能會從一或多個個人的影像擷取,以建立該個人的範本。 臉部 API 不會儲存註冊或探查影像。 無法根據範本重新建構原始映像。 範本品質是結果中正確性的關鍵決定因素。 |
使用網頁平台檢視 insight JSON
上傳影片並編製索引之後,請從入口網站下載 JSON 格式的深入解析。
- 選取 資料庫 索引標籤。
- 選取您想要的媒體。
- 選取 下載,然後選取 洞察 (JSON)。 JSON 檔案會在新的瀏覽器索引標籤開啟。
- 尋找範例回應中所述的密鑰組。
使用此 API
- 使用 取得影片索引 要求。 傳遞
&includeSummarizedInsights=false
。 - 尋找範例回應中所述的密鑰組。
重要
當您在 UI 中檢閱臉部偵測時,可能不會看到影片中出現的所有臉部。 我們只公開信賴度超過 0.5 的臉部群組,且臉部必須至少出現 4 秒或 video_duration
值的 10%。 只有當符合這些條件時,我們才會在 UI 和 Insights.json 檔案中顯示臉部。 您可以隨時使用 API 從臉部成品檔案擷取所有臉部影像:https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]
。
範例回應
"faces": [
{
"id": 1785,
"name": "Emily Tran",
"confidence": 0.7855,
"description": null,
"thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
"knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
"title": null,
"imageUrl": null,
"thumbnails": [
{
"id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
"fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:00.033",
"start": "0:00:00",
"end": "0:00:00.033"
}
]
},
{
"id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
"fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
"instances": [
{
"adjustedStart": "0:00:05",
"adjustedEnd": "0:00:05.033",
"start": "0:00:05",
"end": "0:00:05.033"
}
]
},
]
}
]
重要
閱讀所有 VI 功能的 透明度附註概觀 。 每個深入解析也有自己的透明度附註。
臉部偵測附註
臉部偵測是許多產業在負責任且謹慎使用時的工具。 為了尊重他人的隱私權和安全,以及遵守當地和全球法規,建議您遵循下列使用指導方針:
- 請仔細考慮結果的正確性。 若要提升更精確的偵測,請檢查影片的品質。 低品質影片可能會影響所呈現的深入解析。
- 如果您使用臉部偵測作為執法用途,請謹慎檢閱結果。 如果人員很小、坐下、蹲下或被物體或其他人員遮蔽,則可能無法偵測到。 為了確保公平和高品質的決策,請將臉部偵測型自動化與人為監督相結合。
- 請勿將臉部偵測用於可能會有嚴重負面影響的決策。 根據不正確輸出做出的決策可能會產生嚴重負面影響。 建議對可能產生嚴重影響個人的決定進行人工審查。
臉部偵測元件
下表描述在臉部偵測程序期間如何處理媒體檔案中的影像:
元件 | 定義 |
---|---|
來源檔案 | 使用者上傳來源檔案以編製索引。 |
偵測和匯總 | 臉部偵測器會識別每個畫面中的臉部。 然後這些臉部會被彙總並分組。 |
辨識 / 認可 | 名人模型會處理彙總的群組來辨識名人。 如果您已建立自己的人員模型,該模型也會處理群組來辨識其他人員。 如果無法辨識人員,則會標示為 Unknown1、Unknown2,依此類推。 |
信賴度值 | 如果適用於已知臉部或在可自訂清單中識別的臉部,則每個標籤的估計信賴度等級會計算為 0 到 1 的範圍。 信賴度分數代表結果正確性的確定性。 例如,82% 的確定性會以分數 0.82 表示。 |