Selezione della fotocamera per l'intelligenza artificiale visione di Azure IoT Edge

Uno dei componenti più critici in un sistema di visione artificiale è la fotocamera. La fotocamera deve acquisire e presentare immagini che i modelli di intelligenza artificiale o Machine Learning (ML) possono valutare e identificare correttamente. Questo articolo fornisce una conoscenza approfondita dei diversi tipi di fotocamera, funzionalità e considerazioni.

Tipi di fotocamere

I tipi di fotocamera includono analisi dell'area, analisi linea e fotocamere intelligenti incorporate. Ci sono molti produttori diversi per queste fotocamere. Selezionare un fornitore adatto alle proprie esigenze specifiche.

Telecamere di analisi dell'area

Le fotocamere di analisi dell'area generano un'immagine della fotocamera tradizionale. Questa fotocamera ha in genere una matrice di sensori pixel. La fotocamera acquisisce un'immagine 2D e la invia all'hardware azure IoT Edge per la valutazione.

Le telecamere di scansione dell'area esaminano un'area estesa e sono buone per rilevare le modifiche. Esempi di carichi di lavoro che possono usare telecamere di analisi dell'area sono la sicurezza del luogo di lavoro o il rilevamento o il conteggio degli oggetti in un ambiente.

Fotocamere di analisi linea

Una fotocamera di analisi linea ha una singola riga di sensori di pixel lineari. La fotocamera acquisisce immagini di 1 pixel in rapida successione, le unisce in un flusso video e invia il flusso al dispositivo IoT Edge per l'elaborazione.

Le fotocamere di analisi linea sono valide per i carichi di lavoro di visione in cui gli elementi si spostano oltre la fotocamera o devono essere ruotati per rilevare i difetti. La fotocamera di analisi linea produce quindi un flusso di immagini continuo per la valutazione. Esempi di carichi di lavoro che funzionano meglio con le fotocamere di analisi linea sono:

• Rilevamento dei difetti degli elementi su parti che si spostano su un nastro trasportatore
• Carichi di lavoro che richiedono la rotazione per visualizzare un oggetto cilindrico
• Carichi di lavoro che richiedono la rotazione

Fotocamere intelligenti incorporate

Una fotocamera intelligente incorporata è un sistema autonomo e autonomo in grado di elaborare e acquisire immagini. Le fotocamere intelligenti incorporate possono usare un'analisi dell'area o una fotocamera per l'acquisizione di immagini, anche se una smart camera di analisi linea è rara. Queste fotocamere in genere hanno una porta di output RS232 o Ethernet, in modo che possano integrarsi direttamente in un controller per la logica programmabile (PLC) o in un altro controller IoT industriale (IIoT).

Funzionalità della fotocamera

Quando si seleziona una fotocamera per un carico di lavoro di visione, è necessario prendere in considerazione diverse funzionalità. Le sezioni seguenti illustrano le dimensioni, la risoluzione e la velocità del sensore. Altre funzionalità della fotocamera da considerare includono:

• Selezione lente
• Distanza focale
• Profondità monocromatica o colore
• Profondità stereo
• Trigger
• Dimensioni fisiche
• Supporto tecnico

I produttori di fotocamere possono aiutare a comprendere le funzionalità specifiche richieste dall'applicazione.

Dimensioni del sensore

La dimensione del sensore è uno dei fattori più importanti da valutare in una fotocamera. Il sensore è l'hardware all'interno di una fotocamera che acquisisce la destinazione e lo converte in segnali, che quindi producono un'immagine. Il sensore contiene milioni di fotodettori semiconduttori chiamati photosite.

Un conteggio più alto non comporta sempre un'immagine migliore. Ad esempio, una fotocamera con 12 milioni di fotoite e un sensore da 1 pollice produce un'immagine più chiara e nitida rispetto a una fotocamera con 12 milioni di fotoite e un sensore da 1/2 pollici. Le fotocamere per i carichi di lavoro di visione artificiale hanno in genere dimensioni del sensore comprese tra 1/4 e 1 pollice. Alcuni casi potrebbero richiedere sensori molto più grandi.

Scegliere sensori più grandi se il carico di lavoro della visione ha:

• Necessità di misurazioni di precisione
• Condizioni di luce inferiori
• Tempi di esposizione più brevi o elementi in spostamento rapido

Risoluzione

La risoluzione è un altro fattore importante nella selezione della fotocamera. Se il carico di lavoro è necessario disporre di fotocamere con risoluzione superiore:

• Deve identificare caratteristiche fine, ad esempio la scrittura su un chip di circuito integrato
• Sta tentando di rilevare i visi
• Deve identificare i veicoli a distanza

Le immagini seguenti mostrano il problema relativo all'uso della risoluzione errata per un determinato caso d'uso. Entrambe le immagini sono state scattate a 20 piedi dalla macchina. Le piccole caselle rosse rappresentano un pixel.

• L'immagine seguente è stata scattata con 480 pixel orizzontali:

  

• L'immagine seguente è stata scattata con 5184 pixel orizzontali:

  

Velocità

Se il carico di lavoro della visione richiede l'acquisizione di molte immagini al secondo, due fattori sono importanti. Il primo fattore è la velocità della connessione dell'interfaccia della fotocamera. Il secondo fattore è il tipo di sensore. I sensori sono disponibili in due tipi, dispositivi a accoppiamento di carica (CCD) e sensori pixel attivi ():. I sensori SENSOR hanno un readout diretto dai photosite, quindi in genere offrono una frequenza di fotogrammi più elevata.

Posizionamento della fotocamera

Gli elementi che è necessario acquisire nel carico di lavoro della visione determinano le posizioni e gli angoli per il posizionamento della fotocamera. La posizione della fotocamera può anche interagire con il tipo di sensore, il tipo di lente e il tipo di corpo della fotocamera. Due dei fattori più critici per determinare la posizione della fotocamera sono l'illuminazione e il campo di visualizzazione.

Illuminazione fotocamera

In un carico di lavoro di visione artificiale, l'illuminazione è fondamentale per il posizionamento della fotocamera. È possibile applicare diverse condizioni di illuminazione. Le condizioni di illuminazione utili per un carico di lavoro di visione possono produrre effetti indesiderati in un carico di lavoro diverso.

Esistono diversi tipi di illuminazione comuni per i carichi di lavoro di Visione artificiale:

• L'illuminazione diretta è la condizione di illuminazione più comune. La sorgente di luce viene proiettata nell'oggetto da acquisire.
• L'illuminazione linea è una singola matrice di luci più usate con fotocamere di scansione linea. L'illuminazione linea crea una singola linea di luce a fuoco della fotocamera.
• L'illuminazione diffusa illumina un oggetto ma impedisce ombre dure. L'illuminazione diffusa viene usata principalmente intorno a oggetti speculari, o riflettenti.
• L'illuminazione diffusa assiale viene spesso usata con oggetti altamente riflettenti o per impedire l'acquisizione di ombre nella parte.
• L'illuminazione posteriore viene utilizzata dietro l'oggetto, producendo una silhouette dell'oggetto. L'illuminazione posteriore è più utile per le misurazioni, il rilevamento dei bordi o l'orientamento dell'oggetto.
• L'illuminazione griglia personalizzata è una condizione di illuminazione strutturata che espone una griglia di luce sull'oggetto. La proiezione griglia nota fornisce misurazioni più accurate di componenti, parti e posizionamento degli elementi.
• L'illuminazione strobe viene usata per parti mobili ad alta velocità. Lo strobe deve essere sincronizzato con la fotocamera per prendere un blocco dell'oggetto per la valutazione. L'illuminazione strobe aiuta a prevenire effetti di sfocatura del movimento.
• L'illuminazione del campo scuro usa diverse luci con angoli diversi per la parte da catturare. Ad esempio, se la parte è appiattita su un nastro trasportatore, le luci si trovano ad un angolo di 45 gradi per la cintura. L'illuminazione del campo scuro è più utile con oggetti molto riflettenti e viene comunemente usata per i rilevamenti dei graffi delle lenti.

La figura seguente illustra la posizione angolare delle sorgenti di luce:

Campo visivo

Nella pianificazione di un carico di lavoro di visione è necessario conoscere il campo di visualizzazione (FOV) degli oggetti che si sta valutando. FOV fa parte della selezione della fotocamera, della selezione del sensore e della configurazione dell'obiettivo. I componenti FOV includono:

• Distanza da oggetti. Ad esempio, l'oggetto monitorato su un nastro trasportatore con la telecamera a due piedi sopra di esso o attraverso un parcheggio? I sensori della fotocamera e le configurazioni degli obiettivi sono diversi per distanze diverse.
• Area di copertura. L'area in cui la visione artificiale sta cercando di monitorare piccole o grandi dimensioni? Questo fattore è direttamente correlato alla risoluzione, all'obiettivo e al tipo di sensore della fotocamera.
• Direzione del sole. Se il carico di lavoro visione artificiale è all'aperto, è consigliabile prendere in considerazione la direzione del sole durante tutto il giorno. L'angolo del sole mentre si sposta potrebbe influire sul modello di visione artificiale. Se la fotocamera ottiene luce solare diretta nell'obiettivo, potrebbe essere accecato fino a quando l'angolo del sole cambia. Se il sole proietta un'ombra sull'oggetto monitorato, l'oggetto potrebbe essere nascosto.
• Angolo della fotocamera per gli oggetti. Se la fotocamera è troppo alta o troppo bassa, potrebbero mancare i dettagli che il carico di lavoro sta tentando di acquisire.

Interfaccia di comunicazione

Nella pianificazione di un carico di lavoro di visione artificiale, è importante comprendere in che modo l'output della fotocamera interagisce con il resto del sistema. Esistono diversi modi standard in cui le fotocamere comunicano con i dispositivi IoT Edge:

• Il protocollo RTSP (Real Time Streaming Protocol) è un protocollo di rete a livello di applicazione che controlla i server video di streaming. RTSP trasferisce i dati video in tempo reale dalla fotocamera all'endpoint di calcolo IoT Edge tramite una connessione TCP/IP.

• Open Network Video Interface Forum (ONVIF) è un forum di settore globale aperto che sviluppa standard aperti per fotocamere basate su IP. Questi standard descrivono la comunicazione tra fotocamere IP e sistemi downstream, interoperabilità e open source.

• Le fotocamere connesse al bus seriale universale (USB) si connettono direttamente sulla porta USB al dispositivo di calcolo IoT Edge. Questa connessione è meno complessa, ma limita la distanza della fotocamera dal dispositivo IoT Edge.

• Camera Serial Interface (CSI) include diversi standard della Mobile Industry Processor Interface (MIPI) Alliance. CSI descrive come comunicare tra una fotocamera e un processore host. CSI-2, rilasciato nel 2005, ha diversi livelli:

  • Livello fisico (C-PHY o D-PHY)
  • Livello di fusione corsia
  • Livello di protocollo di basso livello
  • Livello di conversione da pixel a byte
  • Livello applicazione

  CSI-2 v3.0 ha aggiunto il supporto per la profondità di colore RAW-24, il collegamento seriale unificato e l'area intelligente di interesse.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

• Keith Hill | Senior PM Manager

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

Accelerazione hardware nell'intelligenza artificiale visione di Azure IoT Edge