Share via

臉部偵測

  • 發行項

重要

由於 Azure 媒體服務 淘汰公告，Azure AI 影片索引器會宣告 Azure AI 影片索引器功能調整。 請參閱 Azure 媒體服務 （AMS） 淘汰 的相關變更，以瞭解 Azure AI 影片索引器帳戶的意義。 請參閱準備AMS淘汰：VI更新和移轉指南。

臉部偵測是 Azure AI 影片索引器的功能，會自動偵測媒體檔案中的臉部，然後將類似臉部的實例匯總成群組。 然後，名人辨識模型會執行來辨識名人。

名人辨識模型涵蓋大約100萬張臉部，並且以常用的數據源為基礎。 影片索引器無法辨識為名人的臉部仍會偵測到，但未命名。 您可以建置自己的自定義 人員模型 來訓練影片索引器，以辨識預設無法辨識的臉部。

臉部偵測深入解析會在 JSON 檔案中產生為分類清單，其中包含縮圖和每個臉部的名稱或標識符。 選取臉部的縮圖會顯示資訊，例如人員名稱（如果他們被辨識）、該人員出現的視訊百分比，以及該人員的傳記，如果是名人。 您也可以在影片中出現的實例之間捲動。

重要

為了支援 Microsoft 負責任 AI 原則，存取臉部識別、自定義和名人辨識功能會受到限制，且會根據資格和使用準則。 臉部識別、自定義和名人辨識功能可供 Microsoft 管理的客戶和合作夥伴使用。 若要申請存取，請使用 臉部辨識攝入量形式。

必要條件

檢閱 Azure AI 影片索引器透明度注意事項。

一般準則

本文討論臉部偵測，以及負責任地使用這項技術的重要考慮。 當您決定如何使用及實作 AI 支援的功能時，您需要考慮許多重要因素，包括：

  • 這項功能會在您的案例中執行良好嗎？ 在案例中部署臉部偵測之前，請先使用實際數據來測試其執行方式。 請確定它可以提供您需要的精確度。
  • 您是否有能力識別和回應錯誤？ AI 支援的產品和功能並不精確 100%，因此請考慮您將如何識別並回應任何發生的錯誤。

關鍵字詞

詞彙 定義
洞察 力 您衍生自處理和分析視訊和音訊檔案的信息和知識。 深入解析可以包含偵測到的物件、人員、臉部、主要畫面格，以及翻譯或轉譯。
臉部辨識 分析影像以識別影像中出現的臉部。 此程式是透過 Azure AI 臉部 API 實作。
template 註冊的人影像會轉換成範本，然後用於臉部辨識。 機器可解譯的功能會從一或多個個別的影像擷取，以建立該個人的範本。 註冊或探查影像不會由臉部 API 儲存，而且無法根據範本重新建構原始影像。 範本質量是結果中精確度的關鍵決定因素。
招生 註冊個人映像以建立範本的程式，以便辨識這些映像。 當人員註冊到用於驗證的驗證系統時，其範本也會與用來判斷要與探查範本比較之範本的主要標識符相關聯。 高品質的影像和影像，代表一個人外觀的自然變化（例如戴眼鏡，不戴眼鏡）會產生高品質的註冊範本。
深層搜尋 藉由在擷取的深入解析中搜尋特定字詞，只從影片媒體櫃擷取相關的視訊和音訊檔案的能力。

檢視深入解析

若要查看 Azure AI 影片索引器網站上的臉部偵測實例：

  1. 當您上傳媒體檔案時，請在 [上傳和索引 ] 對話框中，選取 [ 進階設定]。
  2. 在左側功能表上，選取 [人員 模型]。 選取要套用至媒體檔案的模型。
  3. 上傳並編製索引檔案之後，請移至 [深入解析]，然後捲動至 人員。

若要查看 JSON 檔案中的臉部偵測見解：

  1. 在 Azure AI 影片索引器網站上，開啟上傳的影片。

  2. 選取 [下載>深入解析] [JSON]。

  3. 在下 insights，複製 元素， faces 並將其貼到 JSON 查看器中。

    "faces": [
    {
    "id": 1785,
    "name": "Emily Tran",
    "confidence": 0.7855,
    "description": null,
    "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
    "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
    "title": null,
    "imageUrl": null,
    "thumbnails": [
        {
        "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
        "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:00.033",
            "start": "0:00:00",
            "end": "0:00:00.033"
            }
        ]
        },
        {
        "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
        "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:05",
            "adjustedEnd": "0:00:05.033",
            "start": "0:00:05",
            "end": "0:00:05.033"
            }
        ]
        },
    ]
    }
]

若要透過 API 下載 JSON 檔案，請移至 Azure AI 影片索引器開發人員入口網站。

重要

當您在 UI 中檢閱臉部偵測時，可能不會看到影片中出現的所有臉部。 我們只會公開信賴度超過0.5的臉部群組，且臉部必須至少顯示4秒或10%的值 video_duration。 只有在符合這些條件時，我們才會在UI和 Insights.json檔案中顯示臉部。 您一律可以使用 API，從臉部成品檔案擷取所有臉部實例： https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]。

臉部偵測元件

下表描述在臉部偵測程式期間如何處理媒體檔案中的影像：

元件 定義
來源檔案 用戶上傳要編製索引的來源檔案。
偵測和匯總 臉部偵測器會識別每個畫面中的臉部。 然後，臉部會匯總並分組。
辨識 名人模型會處理匯總的群組來辨識名人。 如果您已建立自己的人員模型，它也會處理群組來辨識其他人。 如果無法辨識人員，則會標示為 Unknown1、Unknown2 等等。
信賴值 如果適用於可自定義清單中識別的已知臉部或臉部，則每個標籤的估計信賴等級會計算為 0 到 1 的範圍。 信賴分數代表結果精確度的確定性。 例如，82% 的確定性會以 0.82 分數表示。

範例使用案例

下列清單描述臉部偵測常見使用案例的範例：

  • 摘要說明動作項目在電影中出現的位置，或透過深入搜尋組織檔案中的特定臉部來重複使用影片，以深入瞭解特定名人。
  • 當您在通訊社或體育機構建立功能故事時，獲得更高的效率。 範例包括深入搜尋組織檔案中的名人或足球運動員。
  • 使用出現在影片中的臉部來建立促銷、預告片或醒目提示。 影片索引器可以藉由新增主要畫面格、場景標記、時間戳和標籤來協助，讓內容編輯器花更少的時間檢閱許多檔案。

選擇使用案例的考慮

臉部偵測是許多產業在負責任且謹慎使用時的重要工具。 若要尊重他人的隱私權和安全性，以及遵守當地和全球法規，建議您遵循下列使用指導方針：

  • 請仔細考慮結果的正確性。 若要提升更精確的偵測，請檢查影片的品質。 低品質影片可能會影響所呈現的深入解析。
  • 如果您使用臉部偵測進行執法，請仔細檢閱結果。 如果 人員 是小型、坐著、蹲下或被物體或其他人員阻礙，則可能無法偵測到。 為了確保公平和高品質的決策，請將臉部偵測型自動化與人為監督相結合。
  • 請勿針對可能具有嚴重、不利影響的決策使用臉部偵測。 根據不正確輸出的決策可能會產生嚴重、不良的影響。 建議包括人類對個人有嚴重影響的決定進行人工審查。
  • 永遠尊重個人的隱私權，並只針對合法和合理的目的內嵌影片。
  • 不要故意披露有關年幼兒童、名人的家庭成員或其他可能有害或對個人個人自由構成威脅內容的不當內容。
  • 致力於在分析媒體的設計和部署中尊重和促進人權。
  • 如果您使用第三方數據，請先留意任何現有的著作權或必要許可權，再發佈衍生自它們的內容。 
  • 如果您使用來自未知來源的內容，請一律尋求法律建議。 
  • 請務必取得適當的法律和專業建議，以確保您上傳的影片受到保護，並具備適當的控制措施，以保留內容完整性，並防止未經授權的存取。
  • 提供意見反應通道，可讓用戶和個人回報服務可能會遇到的問題。
  • 請注意您區域中任何有關處理、分析及共用功能人員媒體的適用法律或法規。 
  • 將人類保留在迴圈中。 請勿使用任何解決方案來取代人為監督和決策。
  • 完整檢查並檢閱您用來瞭解其功能和限制的任何 AI 模型的潛力。 

相關內容

深入瞭解負責任 AI：

Azure AI 影片索引器深入解析：