取得物件偵測深入解析

發行項
10/09/2024

物件偵測

Azure AI 影片索引器會偵測影片中的物件，例如汽車、手提包和背包，以及膝上型電腦。

支援的物件

飛機
蘋果
背包
香蕉
棒球手套
床
板凳
自行車
船
book
瓶
bowl
花椰菜
公車
蛋糕

汽車
胡蘿蔔
行動電話
椅子
clock
電腦滑鼠
長椅
杯子
餐桌
環圈
消防栓
分叉 (Fork)
飛盤

電吹風
手提包
熱狗
鍵盤
風箏
刀子
膝上型電腦
微波
機車
電腦滑鼠
領帶
橘子
oven
停車收費表
pizza
盆栽

三明治
剪刀
接收
滑板
滑雪板
滑雪板
勺子
運動球
停止標誌
手提箱
衝浪板
泰迪熊

網球拍
toaster
廁所
牙刷
號誌燈
train
雨傘
花瓶
紅酒杯

使用入口網站檢視深入解析 JSON

上傳影片並編製索引之後，您可以使用入口網站以 JSON 格式下載深入解析。

選取 [連結 庫] 索引標籤 。
選取您想要使用的媒體。
選取 [下載] 和 [深入解析] [JSON]。 JSON 檔案會在新的瀏覽器索引標籤開啟。
尋找範例回應中所述的密鑰組。

使用 API

使用取得影片索引要求。我們建議傳遞 &includeSummarizedInsights=false。
尋找範例回應中所述的密鑰組。

範例回應

偵測到和追蹤的物件會出現在下載 的insights.json 檔案中的「偵測到的物件」底下。每次偵測到唯一物件時，都會提供識別碼。也會追蹤該物件，這表示模型會監看已偵測物件回到畫面格。如果這樣做，則會將另一個執行個體新增至具有不同開始和結束時間的物件執行個體。

在此範例中，偵測到第一部車輛，並指定識別碼 1，因為其也是第一個偵測到的物件。然後，偵測到不同的車輛，該車輛獲指定識別碼 23，因為其是偵測到的第 23 個物件。稍後第一部車輛再次出現，另一個執行個體已新增至 JSON。以下是產生的 JSON：

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

索引鍵	[定義]
識別碼	媒體檔案中已偵測物件的增量識別碼數目
類型	物件類型，例如「車輛」
ThumbnailID	GUID，表示物件的單一偵測
displayName	要顯示在 VI 入口網站體驗中的名稱
WikiDataID	WikiData 結構中的唯一識別碼
執行個體	已追蹤的所有執行個體清單
信賴度	介於 0-1 之間的分數，指出物件偵測信賴度
adjustedStart	使用編輯器時，影片的已調整開始時間
adjustedEnd	使用編輯器時，影片的已調整結束時間
start	物件出現在畫面格中的時間
end	物件不再出現在畫面格中的時間

元件

未定義用於物件偵測的元件。

透明度注意事項

重要

請務必閱讀所有 VI 功能的透明度附注概觀。每個深入解析也有自己的透明度注意事項：

每個畫面最多有 20 個偵測，適用於標準和進階處理，每個類別有 35 個曲目。
物件大小不應大於畫面格的 90%。無法辨識跨框架大部分的極大型物件。
小型或模糊的物件可能難以偵測。他們可以錯過或誤分類（葡萄酒杯，杯）。
無法辨識暫時性且出現在極少數畫面格中的物件。
可能影響物件偵測精確度的其他因素包括低光條件、相機動作和遮蔽。
Azure AI 影片索引器僅支持真實世界物件。不支持動畫或 CGI。計算機產生的圖形（如新聞貼紙）可能會產生奇怪的結果。
系結器、摺頁冊和其他書面材料往往被偵測為“書籍”。

範例指令碼

查看 VI 的所有範例

共用方式為