Azure AI 影片索引器概觀

  • 發行項

重要

由於 Azure 媒體服務 淘汰公告，Azure AI 影片索引器會宣告 Azure AI 影片索引器功能調整。 請參閱 Azure 媒體服務 （AMS） 淘汰 的相關變更，以瞭解 Azure AI 影片索引器帳戶的意義。 請參閱準備AMS淘汰：VI更新和移轉指南。

Azure AI 影片索引器是雲端應用程式，是 Azure AI 服務的一部分，建置在 Azure AI 服務上（例如臉部、翻譯工具、Azure AI 視覺和語音）。 它可讓您使用 Azure AI 影片索引器影片和音訊模型，從影片中擷取深入解析。

Azure AI 影片索引器會執行 30 個以上的 AI 模型來分析視訊和音訊內容，併產生豐富的見解。 以下是 Azure AI 影片索引器在背景中執行的音訊和視訊分析圖例：

Azure AI 影片索引器流程的圖表。

若要開始使用 Azure AI 影片索引器來擷取深入解析，請參閱 如何開始使用 一節。

我可以使用 Azure AI 影片索引器做什麼？

Azure AI 影片索引器深入解析可以套用至許多案例：

  • 深入搜尋：使用從影片擷取的深入解析，以增強影片庫中的搜尋體驗。 例如，編製口語和臉部的索引，可以讓搜尋體驗在影片中尋找某個人說出特定單字或兩個人在一起時尋找時刻。 根據來自影片的這類深入解析進行搜尋，適用於新聞機構、教育機構、廣播公司、娛樂內容擁有者、企業LOB應用程式，以及一般適用於具有使用者需要搜尋之影片庫的任何產業。
  • 內容建立：根據 Azure AI 影片索引器從內容擷取的深入解析，建立預告片、醒目提示卷軸、社交媒體內容或新聞剪輯。 主要畫面格、場景標記和人員時間戳和標籤外觀的時間戳可讓建立程式更順暢且更容易，讓您輕鬆瞭解建立內容時所需的視訊部分。
  • 輔助功能：無論您想要讓內容可供殘障人士使用，還是想要使用不同語言將內容散發到不同區域，都可以使用多種語言的 Azure AI 影片索引器所提供的轉譯和翻譯。
  • 獲利：Azure AI 影片索引器可協助增加影片的價值。 例如，依賴廣告收入的產業（新聞媒體、社交媒體等）可以使用擷取的深入解析作為廣告伺服器的額外訊號來提供相關廣告。
  • Con 帳篷模式 ration：使用文字和視覺 con 帳篷模式 ration 模型，讓您的使用者安全不受不適當的內容，並驗證您發佈的內容是否符合貴組織的值。 您可以自動封鎖特定影片，或向使用者警示內容。
  • 建議：影片深入解析可用來將相關的影片時刻醒目提示給使用者，以改善用戶參與度。 藉由使用其他元數據標記每個影片，您可以建議使用者最相關的影片，並醒目提示符合其需求的視訊部分。

視訊/音訊 AI 功能

下列清單顯示您可以使用 Azure AI 影片索引器視訊和音訊 AI 功能（模型）從視訊/音訊檔案擷取的深入解析。

除非另有指定，否則模型已正式推出。

影片模型

  • 臉部偵測：偵測並群組出現在影片中的臉部。

  • 名人識別：識別超過100萬名人，例如世界領導者、演員、藝術家、運動員、研究人員、商業和技術領導者。 這些名人的相關數據也可以在各種網站上找到（IMDB、維琪百科等等）。

  • 以帳戶為基礎的臉部識別：為特定帳戶定型模型。 然後，它會根據定型的模型辨識影片中的臉部。 如需詳細資訊，請參閱 從 Azure AI 影片索引器網站 自定義人員模型和使用 Azure AI 影片索引器 API 自定義人員模型。

  • 臉部的縮圖擷取：識別每個臉部群組中的最佳擷取臉部（根據品質、大小和正面位置），並將其擷取為影像資產。

  • 光學字元辨識（OCR）：從圖片、街道標誌和媒體檔案中的產品等影像擷取文字，以建立見解。

  • Visual con 帳篷模式 ration：偵測成人和/或猥褻視覺效果。

  • 標籤識別：識別顯示的視覺對象和動作。

  • 場景分割：根據視覺提示決定影片中的場景何時變更。場景描述單一事件，由一系列連續拍攝所組成，其語意相關。

  • 拍攝偵測：根據視覺提示決定影片中的拍攝何時變更。拍攝是一系列從同一個電影相機拍攝的畫面。 如需詳細資訊，請參閱 場景、鏡頭和主要畫面格。

  • 黑色畫面偵測：識別影片中顯示的黑色畫面。

  • 主要畫面格擷取：偵測影片中的穩定主要畫面格。

  • 滾動點數：識別電視節目和電影結尾滾動點數的開始和結束。

  • 編輯拍攝類型偵測：標記根據他們的類型拍攝（如寬鏡頭，中鏡頭，特寫，極端特寫，兩槍，多人，戶外和室內等等）。 如需詳細資訊，請參閱 編輯拍攝類型偵測。

  • 觀察到的人員追蹤 （預覽）：偵測影片中觀察到的人員，並提供資訊，例如人員在視訊畫面中的位置（使用周框方塊），以及個人出現時的確切時間戳（開始、結束）和信賴度。 如需詳細資訊，請參閱 追蹤影片中觀察到的人員。

    • 人員 偵測到的服裝（預覽）：偵測視頻中出現的服裝類型，並提供長袖、長褲或短褲、裙子或連衣裙等資訊。 偵測到的服裝與穿它的人相關聯，並提供偵測的確切時間戳（開始、結束）以及偵測的信賴等級。 如需詳細資訊，請參閱 偵測到的服裝。
    • 精選服裝 （預覽）：擷取出現在影片中的精選服裝影像。 您可以使用精選服裝深入解析來改善您的針對性廣告。 如需精選服裝影像的排名方式，以及如何取得見解的資訊，請參閱 精選服裝。

  • 相符人員 （預覽）：比對影片中觀察到的人與偵測到的對應臉部。 觀察人員與臉部之間的比對包含信賴等級。

  • 物件偵測 偵測也會追蹤的唯一物件，以便在它們返回畫面時辨識它們。 請參閱 Azure AI 影片索引器對象偵測

  • Slate 偵測 （預覽）：使用進階索引選項為影片編製索引時，識別下列電影後影片深入解析：

    • 使用元數據擷取的 Clapperboard 偵測。
    • 數位模式偵測，包括色條。
    • 無文字石板偵測，包括場景比對。

    如需詳細資訊，請參閱 Slate 偵測。

  • 文字標誌偵測 （預覽）：使用 Azure AI 影片索引器 OCR 比對特定預先定義的文字。 例如，如果使用者建立文字標誌：「Microsoft」，Microsoft 將偵測到 Microsoft 這個字的不同外觀為 「Microsoft」 標誌。 如需詳細資訊，請參閱 偵測文字標誌。

音訊模型

  • 音訊轉譯：將語音轉換成超過50種語言的文字，並允許擴充功能。 如需詳細資訊，請參閱 Azure AI 影片索引器語言支援。

  • 自動語言偵測：識別佔主導地位的口語語言。 如需詳細資訊，請參閱 Azure AI 影片索引器語言支援。 如果無法以信賴方式識別語言，Azure AI 影片索引器會假設口語是英文。 如需詳細資訊，請參閱語言識別模型。

  • 多語言語音辨識和轉譯：識別不同音訊區段中的口語。 其會傳送所要轉譯媒體檔案的每個區段，然後將轉譯結果回頭合併為一個整合起來的轉譯。 如需詳細資訊，請參閱自動識別並轉譯多語言內容。

  • 關閉 標題：以三種格式建立封閉式 標題：VTT、TTML、SRT。

  • 兩個通道處理：自動偵測個別的文字記錄，並合併至單一時間軸。

  • 減少噪音：清除電話語音音訊或嘈雜的錄音（根據 Skype 篩選器）。

  • 文字記錄自定義 （CRIS）：將自訂語音定型為文字模型，以建立產業特定的文字記錄。 如需詳細資訊，請參閱 從 Azure AI 影片索引器網站 自定義語言模型，以及 使用 Azure AI 影片索引器 API 自定義語言模型。

  • 說話者列舉：地圖 並瞭解哪些說話者說話的文字和時機。 單一音訊檔案中可以偵測到十六個喇叭。

  • 說話者統計數據：提供說話者語音比率的統計數據。

  • 文字轉換 帳篷模式：偵測音訊文字記錄中的明確文字。

  • 以文字為基礎的情感偵測：透過文字記錄分析偵測到的情緒，例如快樂、悲傷、憤怒和恐懼。

  • 翻譯：為許多不同的語言建立音訊文字記錄的翻譯。 如需詳細資訊，請參閱 Azure AI 影片索引器語言支援。

  • 音訊效果偵測 （預覽）：在內容的非語音區段中偵測下列音訊效果：警報或警笛、狗叫、人群反應（歡呼、鼓掌和噓）、槍聲或爆炸、笑聲、破玻璃和沉默。

    偵測到的聲場事件位於已關閉的 標題 檔案中。 您可以從 Azure AI 影片索引器網站下載此檔案。 如需詳細資訊，請參閱 音訊效果偵測。

    注意

    只有在您在上傳檔案時選擇 [進階音訊分析] 時，才能使用完整的事件集，在上傳預設中。 根據預設，只會偵測到無聲。

音訊和視訊模型 （多頻道）

依一個通道編製索引時，可以使用這些模型的部分結果。

  • 關鍵詞擷取：從語音和視覺文字擷取關鍵詞。
  • 具名實體擷取：透過自然語言處理從語音和視覺文字擷取品牌、位置和人員。
  • 主題推斷：根據各種關鍵詞擷取主題（也就是關鍵詞 』Stock Exchange'，'Wall Street' 會產生主題 '經濟學'）。 此模型使用三種不同的文體（IPTC、 維琪百科 和影片索引器階層式主題本體學）。 此模型使用轉譯（口語字）、OCR內容（視覺文字），以及使用影片索引器臉部辨識模型辨識的名人。
  • 成品：針對每個模型擷取一組豐富的「下一層詳細數據」成品。
  • 情感分析：識別語音和視覺文字中的正面、負面和中性情感。

如何開始使用 Azure AI 影片索引器？

瞭解如何 開始使用 Azure AI 影片索引器。

設定之後，開始使用 深入解析 並查看其他 操作指南。

合規性、隱私權和安全性

注意

Microsoft 於 2020 年 6 月 11 日宣佈，除非已制訂立基於人權的健全監管法規，否則不會將臉部辨識技術銷銷售給美國的警察部門。 因此，客戶不得使用 Azure AI 服務中包含的臉部辨識特徵或功能，例如臉部或視訊索引器，如果客戶是或允許使用 美國 中的員警部門這類服務。

注意

臉部識別、自定義和名人辨識功能存取會根據資格和使用準則而受到限制，以支援我們的負責任 AI 原則。 臉部識別、自定義和名人辨識功能僅適用於 Microsoft 受控客戶和合作夥伴。 請使用臉部辨識受理表單以申請存取。

提醒您，您必須遵守使用 Azure AI 影片索引器時的所有適用法律，而且不得以違反他人權利或可能有害他人的方式使用 Azure AI 影片索引器或任何 Azure 服務。

將任何影片/影像上傳至 Azure AI 影片索引器之前，您必須擁有使用影片/影像的所有適當許可權，包括視訊/影像中個人（如果有的話）的所有必要同意，以在 Azure AI 影片索引器和 Azure 中使用、處理和儲存其數據。 某些司法管轄區可能會對特定類別數據的收集、在線處理和儲存施加特殊法律要求，例如生物特徵辨識數據。 在使用 Azure AI 影片索引器和 Azure 來處理及儲存任何受限於特殊法律需求的數據之前，您必須確保符合任何可能適用於您的任何此類法律需求。

若要瞭解 Azure AI 影片索引器中的合規性、隱私權和安全性，請造訪 Microsoft 信任中心。 如需 Microsoft 隱私權義務、數據處理和保留做法，包括如何刪除您的數據，請檢閱 Microsoft 的 隱私聲明、 在線服務條款 （“OST”） 和 數據處理增補（ “DPA”）。 藉由使用 Azure AI 影片索引器，您同意受 OST、DPA 和隱私聲明的約束。