Share via


具名實體擷取

重要

由於 Azure 媒體服務 淘汰公告,Azure AI 影片索引器會宣告 Azure AI 影片索引器功能調整。 請參閱 Azure 媒體服務 (AMS) 淘汰 的相關變更,以瞭解 Azure AI 影片索引器帳戶的意義。 請參閱準備AMS淘汰:VI更新和移轉指南

具名實體擷取是 Azure AI 影片索引器 AI 功能,其使用自然語言處理 (NLP) 來擷取媒體檔案中音訊和影像中出現的位置和品牌見解。 具名實體擷取會自動與轉譯和 OCR 搭配使用,而且其深入解析是根據這些程式期間擷取的實體。 產生的深入解析會顯示在 [ 深入解析 ] 索引標籤中,並篩選成位置、人員和品牌類別。 按兩下具名實體,在媒體檔案中顯示其實例。 它也會顯示實體的描述,以及可辨識實體的 [在 Bing 上尋找] 連結。

必要條件

檢閱 透明度附注概觀

一般準則

本文討論具名實體,以及負責任地使用這項技術的重要考慮。 決定如何使用和實作 AI 支援的功能時,需要考慮許多事項:

  • 這項功能是否會在我的案例中表現良好? 將具名實體擷取部署到您的案例之前,請先測試其如何使用實際數據執行,並確定它可以提供您需要的正確性。
  • 我們是否有能力識別和因應錯誤? AI 支援的產品和功能不會正確 100%,因此請考慮您將如何識別並回應可能發生的任何錯誤。

檢視深入解析

若要查看網站中的深入解析,請執行下列動作:

  1. 移至 [檢視] 並檢查 [具名實體]。
  2. 移至 [深入解析],然後捲動至具名實體。

若要在 JSON 檔案中顯示具名實體擷取深入解析,請執行下列動作:

  1. 按兩下 [下載],然後按兩下 [深入解析] (JSON)。

  2. 具名實體分成三個:

    • 品牌
    • Location
    • 人員
  3. 複製文字並貼到 JSON 查看器中。

    namedPeople: [
    {
    referenceId: "Satya_Nadella",
    referenceUrl: "https://en.wikipedia.org/wiki/Satya_Nadella",
    confidence: 1,
    description: "CEO of Microsoft Corporation",
    seenDuration: 33.2,
    id: 2,
    name: "Satya Nadella",
    appearances: [
    {
    startTime: "0:01:11.04",
    endTime: "0:01:17.36",
    startSeconds: 71,
    endSeconds: 77.4
    },
    {
    startTime: "0:01:31.83",
    endTime: "0:01:37.1303666",
    startSeconds: 91.8,
    endSeconds: 97.1
    },
    

若要透過 API 下載 JSON 檔案,請使用 Azure AI 影片索引器開發人員入口網站

具名實體擷取元件

在具名實體擷取程序期間,會處理媒體檔案,如下所示:

元件 定義
來源檔案 用戶上傳要編製索引的來源檔案。
文字擷取 - 音訊檔案會傳送至語音服務 API 以擷取轉譯。
- 取樣框架會傳送至 Azure AI 視覺 API 以擷取 OCR。
分析 接著會將深入解析傳送至 文字分析 API 以擷取實體。 例如,Microsoft、巴黎或像保羅或莎拉這樣的人名稱。
處理和合併 然後會處理結果。 在適用的情況下,會新增維琪百科連結,並透過影片索引器內建和可自定義的品牌清單來識別品牌。
信賴值 每個具名實體的估計信賴等級會計算為 0 到 1 的範圍。 信賴分數代表結果精確度的確定性。 例如,82% 的確定性會以 0.82 分數表示。

範例使用案例

  • 例如,內容廣告在義大利上貼上披薩連鎖店的廣告。
  • 深入搜尋媒體檔案,以深入了解人員或位置,以建立新聞的功能故事。
  • 透過 OCR 處理建立影片的口頭描述,以增強視覺受損者的輔助功能,例如電影中的背景講故事者。
  • 擷取品牌 na 的深入解析

選擇使用案例時的考慮和限制

  • 請仔細考慮結果的正確性,以促進更精確的偵測,檢查音訊和影像的品質,低品質的音訊和影像可能會影響偵測到的見解。
  • 具名實體只會偵測音訊和影像中的深入解析。 可能不會偵測到品牌名稱中的標誌。
  • 請仔細考慮使用 執法具名實體時,不一定會偵測音訊的一部分。 為了確保公平和高品質的決策,請將具名實體與人為監督相結合。
  • 請勿將具名實體用於可能對有嚴重不利影響的決策。 擷取文字的機器學習模型可能會導致無法偵測或不正確的文字輸出。 根據不正確的輸出做出決策可能會對產生嚴重負面影響。 此外,建議將人類對可能對個人產生嚴重影響的決定納入人類審查。

負責任且謹慎地使用 Azure AI 影片索引器時,是許多產業的寶貴工具。 若要尊重他人的隱私權和安全性,以及遵守當地和全球法規,我們建議下列各項:

  • 一律尊重個人的隱私權,只針對合法和合理的目的內嵌影片。
  • 不要故意披露有關年幼兒童或名人家庭成員或其他內容可能有害或對個人個人自由構成威脅的不當內容。
  • 致力於在分析媒體的設計和部署中尊重和促進人權。
  • 使用第三方數據時,在發佈衍生自它們的內容之前,請注意任何現有的著作權或許可權。
  • 使用來自不明來源的內容時,請一律尋求法律建議。
  • 請務必取得適當的法律和專業建議,以確保您上傳的影片受到保護,並具有適當的控制,以保留內容的完整性,並防止未經授權的存取。
  • 提供意見反應通道,可讓用戶和個人回報服務的問題。
  • 請注意您區域中任何有關處理、分析和共用包含人員之媒體的適用法律或法規。
  • 將人類保留在迴圈中。 請勿使用任何解決方案來取代人為監督和決策。
  • 完整檢查並檢閱您用來瞭解其功能和限制的任何 AI 模型的潛力。