共用方式為

適用於 Azure IoT Edge 視覺 AI 的相機選擇

  • 發行項

計算機視覺系統中最重要的元件之一是相機。 相機必須擷取並呈現人工智慧（AI）或機器學習（ML）模型可以正確評估並識別的影像。 本文提供不同相機類型、功能和考慮的深入瞭解。

相機類型

相機類型包括區域掃描、行掃描和內嵌智慧相機。 這些相機有許多不同的製造商。 選取符合特定需求的廠商。

區域掃描相機

區域掃描相機會產生傳統的相機影像。 此相機通常具有圖元感測器的矩陣。 相機會擷取 2D 影像，並將其傳送至 Azure IoT Edge 硬體進行評估。

區域掃描相機會查看大型區域，而且適合用來偵測變更。 可使用區域掃描相機的工作負載範例是工作場所安全性，或偵測或計算環境中的物件。

線條掃描相機

線條掃描相機有一列線性像素感測器。 相機會連續拍攝 1 像素寬度的影像，將它們縫合成視訊串流，並將串流傳送至 IoT Edge 裝置進行處理。

線條掃描相機適用於視覺工作負載，其中專案會移過相機，或需要旋轉才能偵測瑕疵。 然後，線條掃描相機會產生連續影像串流以供評估。 最適合使用線條掃描相機的工作負載范例如下：

  • 在輸送帶上移動的零件上的專案瑕疵偵測
  • 需要旋轉才能查看圓柱形物件的工作負載
  • 需要輪替的工作負載

內嵌智能相機

內嵌智慧相機是獨立的獨立系統，可以處理及取得影像。 內嵌智慧相機可以使用區域掃描或線條掃描相機來擷取影像，雖然線條掃描智慧相機很少見。 這些相機通常具有 RS232 或乙太網路輸出埠，因此可以直接整合到可程式化邏輯控制器 （PLC） 或其他工業 IoT （IIoT） 控制器中。

相機功能

選取視覺工作負載的相機時，有幾個功能需要考慮。 下列各節將討論感測器大小、解析度和速度。 要考慮的其他相機功能包括：

  • 鏡頭選取
  • 焦距
  • 單色或色彩深度
  • 立體聲深度
  • 觸發程序
  • 實體大小
  • 支援

相機製造商可協助您瞭解應用程式所需的特定功能。

感測器大小

感測器大小是相機中評估的最重要因素之一。 感測器是相機內的硬體，可擷取目標並將它轉換成訊號，然後產生影像。 感測器包含數百萬個稱為 photoites 的半導光導器。

較高的百萬像素計數不一定會產生更好的影像。 例如，具有 1200 萬光片和 1 英吋感測器的相機會產生比具有 1200 萬光片和 1/2 英寸感測器的相機更清晰、更銳利的影像。 計算機視覺工作負載的相機通常具有介於 1/4 英吋和 1 英吋之間的感測器大小。 在某些情況下，可能需要更大的感測器。

如果您的視覺工作負載具有下列資訊，請選擇較大的感測器：

  • 精確度測量的需求
  • 較低的光線條件
  • 較短的曝光時間或快速移動專案

解決方法

解析度是相機選擇的另一個重要因素。 如果您的工作負載需要更高的解析度相機：

  • 必須識別精細的功能，例如在積體電路晶元上寫入
  • 正在嘗試偵測臉部
  • 需要從遠處識別車輛

下列影像顯示針對指定使用案例使用錯誤解決方式的問題。 這兩張照片都距離汽車20英尺遠。 小紅色方塊代表一個圖元。

  • 下圖採用 480 個水準圖元：

    480 像素的汽車照片。

  • 下圖採用5184個水準圖元：

    5184 像素的汽車照片。

速度

如果您的視覺工作負載需要每秒擷取許多影像，則兩個因素很重要。 第一個因素是相機介面連接的速度。 第二個因素是感測器的類型。 感測器有兩種類型，即充電耦合裝置（CCD）和主動圖元感測器（IMF）。 來自相片的SMX感測器有直接的讀取，因此它們通常提供較高的幀速率。

相機位置

您需要在視覺工作負載中擷取的項目會決定相機放置的位置和角度。 相機位置也可以與感測器類型、鏡頭類型和相機主體類型互動。 判斷相機放置的最重要因素有兩個是光源和視野。

相機光源

在計算機視覺工作負載中，光源對於相機放置至關重要。 您可以套用數個不同的光源條件。 適用於一個視覺工作負載的光源條件可能會在不同的工作負載中產生不想要的效果。

計算機視覺工作負載有數種常見的光源類型：

  • 直接光源 是最常見的光源條件。 光源投影在要擷取的物件上。
  • 線條光源 是用於線條掃描相機的單一光源數位。 線條光源會在相機焦點處建立單一光線線。
  • 擴散光源 照亮物件，但會防止嚴酷的陰影。 擴散光源主要用於反射或反射物件周圍。
  • 擴散光源 通常與高反射物件搭配使用，或防止遮蔽部分的陰影。
  • 背面光源 會用在物件後面，產生物件的剪影。 背面光源最適用於測量、邊緣偵測或物件方向。
  • 自定義網格線光源 是結構化光源條件，可配置物件上的光線網格。 已知的網格線投影提供更精確的專案元件、元件和放置量測。
  • Strobe 光源 用於高速移動元件。 Strobe 必須與相機同步，才能 凍結 物件的評估。 Strobe 光源有助於防止動作模糊效果。
  • 深色場光源 會使用數個具有不同角度的光線來擷取元件。 例如，如果元件在輸送帶上平躺，則燈會以 45 度的角度指向皮帶。 深色場光源最適用於高反射透明物體，通常用於 鏡頭劃痕偵測。

下圖示範光源的角度位置：

此圖顯示IoT Edge視覺工作負載光源的角度位置。

視野

在規劃視覺工作負載時，您必須知道您要評估之對象的檢視欄位（FOV）。 FOV 在相機選擇、感測器選擇和鏡頭組態中扮演了角色。 FOV 元件包括：

  • 與對象的距離。 例如，在輸送帶上監視的物件，其上方有兩英尺以上的相機，還是穿過停車場？ 不同距離的相機感測器和鏡頭組態不同。
  • 涵蓋範圍區域。 計算機視覺嘗試監視小型或大型的區域嗎？ 這個因素直接與相機的解析度、鏡頭和感測器類型相互關聯。
  • 太陽的方向。 如果計算機視覺工作負載在戶外，您應該考慮全天太陽的方向。 隨著太陽移動的角度可能會影響計算機視覺模型。 如果相機在鏡頭中得到直射陽光，它可能會蒙蔽，直到太陽的角度改變。 如果太陽在受監視的物件上投射陰影，物件可能會遮蔽。
  • 對對象的相機角度。 如果相機太高或太低，可能會遺漏工作負載嘗試擷取的詳細數據。

通訊介面

在規劃電腦視覺工作負載時，請務必瞭解相機輸出如何與系統的其餘部分互動。 相機與IoT Edge裝置通訊的標準方式有數種：

  • 即時串流通訊協定 （RTSP） 是應用層級的網路通訊協定，可控制串流視訊伺服器。 RTSP 會透過 TCP/IP 連線，將即時視訊資料從相機傳輸到 IoT Edge 計算端點。

  • 開放網路視頻介面論壇（ONVIF） 是一個全球開放產業論壇，開發以IP為基礎的相機開放標準。 這些標準描述IP攝影機與下游系統、互操作性和 開放原始碼之間的通訊。

  • 通用序列總線（USB）連接的相機會透過 USB 埠直接連線到 IoT Edge 計算裝置。 此連線較不複雜，但會限制相機可從IoT Edge裝置找到的距離。

  • 數位相機序列介面 （CSI） 包含來自行動產業處理器介面 （MIPI） 聯盟的數個標準。 CSI 描述如何在相機與主機處理器之間進行通訊。 CSI-2 於 2005 年發行，有數層：

    • 實體層 （C-PHY 或 D-PHY）
    • 巷道合併層
    • 低階通訊協定層
    • 圖元到位元組轉換層
    • 應用程式層

    CSI-2 v3.0 新增了RAW-24色彩深度、統一序列連結和智慧區域感興趣的支援。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主體作者：

若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。

下一步

Azure IoT Edge 視覺 AI 中的硬體加速