Condividi tramite

Interfacce utente e scenari per l'intelligenza artificiale visione di Azure IoT Edge

  • Articolo

Questo articolo finale della serie di intelligenza artificiale visione di Azure IoT Edge illustra come gli utenti interagiscono con Internet delle cose (IoT) e soluzioni di intelligenza artificiale (IoT). L'articolo presenta anche due scenari di intelligenza artificiale visione di IoT Edge di esempio.

Interfacce utente

Gli utenti interagiscono con i sistemi informatici tramite un'interfaccia utente. I requisiti dell'interfaccia utente variano a seconda degli obiettivi complessivi. I sistemi IoT in genere hanno quattro tipi di interfaccia utente:

  • L'interfaccia utente dell'amministratore consente l'accesso completo al provisioning dei dispositivi, alla configurazione di dispositivi e soluzioni e alla gestione degli utenti. Queste funzionalità possono far parte di una soluzione o di soluzioni separate.
  • Un'interfaccia utente dell'operatore fornisce l'accesso ai componenti operativi della soluzione, ad esempio la gestione dei dispositivi, il monitoraggio degli avvisi e la configurazione.
  • Un'interfaccia utente consumer si applica solo alle soluzioni rivolte ai consumer. L'interfaccia utente è simile all'interfaccia di un operatore, ma è limitata ai dispositivi di proprietà dell'utente.
  • Un'interfaccia utente di analisi è un dashboard interattivo che fornisce visualizzazioni di telemetria e altre analisi dei dati.

Scelte di tecnologia

Ecco alcuni dei servizi e del software che è possibile usare per creare interfacce utente per i sistemi di intelligenza artificiale visione di IoT Edge:

  • app Azure Service è una piattaforma che consente agli sviluppatori di creare, distribuire e ridimensionare rapidamente app Web e per dispositivi mobili. servizio app supporta framework come .NET, .NET Core, Node.js, Java, PHP, Ruby o Python. Le app possono trovarsi in contenitori o in qualsiasi sistema operativo supportato, dispositivo mobile o hardware IoT Edge. La piattaforma di servizio app completamente gestita soddisfa i requisiti di prestazioni, sicurezza e conformità di livello aziendale.

  • Servizio Azure SignalR aggiunge comunicazioni e report in tempo reale ai dati alle app, senza richiedere competenze approfondite sulle comunicazioni in tempo reale. Servizio SignalR si integra facilmente con molti servizi di Azure.

  • Mappe di Azure è una tecnologia per i progetti di visualizzazione IoT e visione artificiale. Mappe di Azure consente di creare app Web e per dispositivi mobili con riconoscimento della posizione usando servizi geospaziali semplici e sicuri, API e SDK. Mappe di Azure dispone di intelligence di posizione integrata di partner tecnologici di tutto il mondo. È possibile offrire esperienze senza problemi in base ai dati geospaziali.

  • Microsoft Entra ID fornisce l'accesso Single Sign-On e l'autenticazione a più fattori per proteggere le app e le interfacce utente.

  • Power BI è un set di servizi di analisi, app e connettori che trasformano i dati in visualizzazioni e dashboard personalizzabili e interattivi. Power BI è disponibile come servizio gestito o pacchetto self-hosted e si connette a molti sistemi di database e servizi dati più diffusi. Con Power BI Embedded è possibile creare report e dashboard rivolti ai clienti e personalizzarli come app personalizzate. Power BI consente di risparmiare risorse per sviluppatori automatizzando il monitoraggio, la gestione e la distribuzione dell'analisi.

Scenario utente 1: Controllo qualità

Contoso Boards produce schede di circuito di alta qualità usate nei computer. Il loro prodotto numero uno è una scheda madre.

Contoso Boards ha visto un aumento dei problemi di posizionamento dei chip sulla scheda. L'indagine ha determinato che le schede di circuito sono state posizionate in modo errato sulla linea di montaggio. Contoso Boards aveva bisogno di un modo per identificare e controllare il posizionamento corretto della scheda di circuito.

I data scientist di Contoso Boards hanno familiarità con TensorFlow e volevano continuare a usarli come struttura principale del modello di Machine Learning. Contoso Boards voleva anche centralizzare la gestione di diverse linee di assemblaggio che producono le schede madri.

La soluzione Contoso Boards è incentrata sul rilevamento perimetrale.

Fotocamera

Le opzioni seguenti per la fotocamera supportano questo carico di lavoro:

  • Fotocamera posizionamento: la fotocamera è direttamente sopra a 90 gradi e circa 16 pollici dalla parte.
  • Fotocamera tipo: poiché il sistema trasportatore si sposta relativamente lentamente, la soluzione può usare una fotocamera di scansione dell'area con un otturatore globale.
  • Frequenza dei fotogrammi: per questo caso d'uso, la fotocamera acquisisce circa 30 fotogrammi al secondo.
  • Soluzione: la formula per la risoluzione richiesta è Res=(object size) / (details to capture). In base a questa formula, Res=16"/8" fornisce 2 route (MP) in x e 4MP in y, quindi Contoso Boards necessita di una fotocamera in grado di risoluzione 4MP.
  • Tipo di sensore: le destinazioni non sono in movimento veloce e richiedono solo il rilevamento dei bordi, quindi un sensore SENSOR funziona bene.
  • Illuminazione: la soluzione usa una luce posteriore di filtro diffusa bianca. Questa illuminazione rende la parte quasi nera, con contrasto elevato per il rilevamento dei bordi.
  • Colore: monocromatica restituisce i bordi più nitidi per il modello di rilevamento di intelligenza artificiale.

L'immagine seguente mostra cosa acquisisce la fotocamera in questo scenario:

Immagine che mostra cosa acquisisce la fotocamera in questo scenario di IoT Edge.

Accelerazione hardware

In base al carico di lavoro, l'uso di TensorFlow e l'utilizzo in diverse linee di montaggio, l'hardware basato su GPU è la scelta migliore per l'accelerazione hardware.

Modello di ML

I data scientist hanno familiarità con TensorFlow, quindi l'apprendimento di ONNX o altri framework ml rallenta lo sviluppo di modelli. Azure Stack Edge offre una soluzione perimetrale gestita centralmente per tutte le linee di assemblaggio.

Scenario utente 2: Cassaforte ty

Contoso Shipping ha avuto diversi incidenti pedonali nei banchi di caricamento. La maggior parte degli incidenti si è verificata quando un camion ha lasciato il porto di carico e l'autista non ha visto un addetto al molo che cammina davanti al camion. Contoso Shipping aveva bisogno di una soluzione di intelligenza artificiale di visione che potesse guardare le persone, prevedere la direzione di viaggio e avvisare i conducenti di potenziali collisioni.

La maggior parte dei data scientist di Contoso Shipping aveva familiarità con OpenVINO e voleva riutilizzare i modelli di soluzione su hardware futuro. La soluzione è necessaria anche per supportare l'efficienza energetica e usare il minor numero possibile di fotocamere. Infine, Contoso Shipping voleva gestire la soluzione in remoto per gli aggiornamenti.

Fotocamere

La soluzione utilizza 11 telecamere monocromatiche, 10MP IMAGE con alloggi IPX67 o scatole meteo, montati su poli da 17 piedi, a 100 metri di distanza dai camion. Le sezioni seguenti descrivono come Contoso Shipping ha determinato queste specifiche.

Posizionamento della fotocamera

Fotocamera devono essere distanti 100 piedi dai fronti dei camion. Fotocamera focus doveva essere di 10 piedi davanti e dietro i fronti dei camion, dando una profondità di 20 piedi di messa a fuoco. Le leggi locali di suddivisione in zone limitano l'altezza della telecamera di sorveglianza a 20 piedi.

La figura seguente illustra il posizionamento della fotocamera per questo scenario:

Illustrazione del posizionamento della fotocamera per uno scenario di intelligenza artificiale visione di IoT Edge.

Risoluzione e campo di visualizzazione

La soluzione deve acquisire solo dettagli sufficienti per rilevare una persona nel frame. I pixel per piede (PPF) possono essere circa 15-20, anziché 80 PPF necessari per il riconoscimento facciale.

La formula per il campo di visualizzazione (FOV) è FOV=(horizontal resolution) / (PPF). Per la risoluzione, la fotocamera deve usare il sensore corretto per il caso d'uso.

Questa soluzione usa le lenti della fotocamera che consentono un FOV a 16 piedi. Usando la formula precedente, un FOV a 16 piedi fornisce circa 17,5 PPF, che rientra nel PPF richiesto 15-20. Questo FOV significa che la soluzione deve usare fotocamere 10MP, che hanno una risoluzione orizzontale di circa 5184 pixel.

Poiché le telecamere possono guardare un percorso di 16 piedi, un dock di caricamento lungo 165 piedi diviso per un FOV da 16 piedi offre 10,3125 fotocamere. Quindi la soluzione richiede 11, 5184 pixel orizzontali o fotocamere da 10MP.

Tipo di sensore

Le fotocamere sono all'aperto, quindi il tipo di sensore non dovrebbe consentire la fioritura. Bloom è quando la luce colpisce il sensore e sovraccarica il sensore, causando sovraesposizione o whiteout. LA SOLUZIONE È il sensore preferito.

Colore e illuminazione

Contoso Shipping opera 24/7 e deve anche proteggere il personale notturno. Monochrome gestisce condizioni di scarsa luce meglio del colore. In questo caso, le informazioni sul colore non sono necessarie. Anche i sensori monocromatici sono costi inferiori.

Modello di ML

Poiché i data scientist hanno familiarità con OpenVINO, la soluzione compila modelli di dati in ONNX.

Accelerazione hardware

La distanza tra le fotocamere e i server è troppo lontana per la connettività Gigabit Ethernet o USB, ma c'è una rete Wi-Fi di grandi dimensioni. L'hardware deve connettersi tramite Wi-Fi e usare il minor risparmio di energia possibile.

In base a questi requisiti, la soluzione usa processori FPGA. La soluzione potrebbe anche usare processori ASIC, ma i chip ASIC creati appositamente non soddisfano i requisiti per l'usabilità futura.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

Questa serie di articoli descrive come creare un carico di lavoro di intelligenza artificiale per la visione con Azure IoT Edge. Per gli altri articoli di questa serie, vedere:

Per altre informazioni sulle reti CNN, l'intelligenza artificiale per la visione artificiale, Azure Machine Learning e Azure IoT Edge, vedere la documentazione seguente:

Per altre architetture di visione artificiale, esempi e idee che usano Azure IoT, vedere gli articoli seguenti: