Share via

Interfaces de usuario y escenarios en la inteligencia artificial de visión de Azure IoT Edge

  • Artículo

En este último artículo de la serie de inteligencia artificial de visión de Azure IoT Edge, se describe cómo interactúan los usuarios con las soluciones de Internet de las cosas (IoT) e inteligencia artificial (IA). En el artículo, también se presentan dos ejemplos escenarios de inteligencia artificial de visión de IoT Edge de ejemplo.

Interfaces de usuario

Los usuarios interactúan con los sistemas informáticos mediante una interfaz de usuario (UI). Los requisitos de la interfaz de usuario varían en función de los objetivos generales. Los sistemas IoT suelen tener cuatro tipos de interfaz de usuario:

  • La interfaz de usuario de administrador permite el acceso total al aprovisionamiento de dispositivos, la configuración de dispositivos y soluciones, y la administración de usuarios. Estas características pueden formar parte de una solución o de soluciones independientes.
  • Una interfaz de usuario de operador proporciona acceso a los componentes operativos de la solución, como la administración de dispositivos, la supervisión de alertas y la configuración.
  • Una interfaz de usuario de consumidor solo se aplica a las soluciones orientadas al consumidor. La interfaz de usuario es similar a la interfaz de un operador, pero se limita a los dispositivos que posee el usuario.
  • Una interfaz de usuario de análisis es un panel interactivo que proporciona visualizaciones de telemetría y otros análisis de datos.

Opciones de tecnología

Estos son algunos de los servicios y software que puede usar para crear interfaces de usuario para los sistemas de inteligencia artificial de visión de IoT Edge:

  • Azure App Service es una plataforma para que los desarrolladores creen, implementen y escalen rápidamente aplicaciones web y móviles. App Service admite plataformas como .NET, .NET Core, Node.js, Java, PHP, Ruby o Python. Las aplicaciones pueden estar en contenedores o ejecutarse en cualquier sistema operativo, dispositivo móvil o hardware IoT Edge compatible. La plataforma totalmente administrada de App Service cumple los requisitos de rendimiento, seguridad y cumplimiento de clase empresarial.

  • Azure SignalR Service agrega comunicaciones e informes de datos en tiempo real a las aplicaciones, sin necesidad de conocimientos de comunicaciones en tiempo real. SignalR Service se integra fácilmente con muchos servicios de Azure.

  • Azure Maps es una tecnología para proyectos de visualización de IoT y Computer Vision. Azure Maps le permite crear aplicaciones móviles y web que reconozcan la ubicación con servicios geoespaciales, API y SDK sencillos y seguros. Azure Maps tiene inteligencia de ubicación integrada de asociados tecnológicos de todo el mundo. Puede ofrecer experiencias sin problemas basadas en datos geoespaciales.

  • Microsoft Entra ID proporciona inicio de sesión único y autenticación multifactor para proteger las aplicaciones y las interfaces de usuario.

  • Power BI es un conjunto de servicios de análisis, aplicaciones y conectores que convierten los datos en visualizaciones y paneles personalizables e interactivos. Power BI está disponible como un servicio administrado o como paquete autohospedado, y se conecta a muchos sistemas de base de datos y servicios de datos populares. Con Power BI Embedded, puede crear informes y paneles orientados al cliente y asignarles su imagen de marca como a sus propias aplicaciones. Power BI puede ahorrar recursos de desarrollo mediante la automatización de la supervisión, administración e implementación del análisis.

Escenario de usuario 1: control de calidad

Contoso Boards produce placas de circuitos de alta calidad utilizadas en equipos informáticos. Su producto número uno es una placa base.

Contoso Boards ha observado un aumento de los problemas con la colocación de los chips en las placas. La investigación determinó que las placas de circuito se colocaban incorrectamente en la línea de ensamblado. Contoso Boards necesita una manera de identificar y comprobar la ubicación correcta de la placa de los circuitos.

Los científicos de datos de Contoso Boards están familiarizados con TensorFlow y desean seguir utilizándolo como su estructura de modelo de ML principal. Contoso Boards quiere centralizar la administración de varias líneas de ensamblado que producen las placas base.

La solución de Contoso Boards se centra en la detección perimetral.

Cámara

Las siguientes opciones de cámara admiten esta carga de trabajo:

  • Ubicación de la cámara: la cámara está directamente por encima a 90 grados y a unos 40 centímetros de la pieza.
  • Tipo de cámara: dado que el sistema del transportador se mueve relativamente lento, podemos usar una cámara de examen de área con un obturador global.
  • Velocidad de fotogramas: en este caso de uso, la cámara captura aproximadamente 30 fotogramas por segundo.
  • Resolución: la fórmula para la resolución necesaria es Res=(object size) / (details to capture). En función de esta fórmula, Res=16"/8" proporciona 2 megapíxeles (MP) en el eje x y 4 MP en el eje y, por lo que Contoso Boards necesita una cámara de una resolución de 4 MP.
  • Tipo de sensor: los objetivos no se mueven rápidamente y solo requieren la detección de bordes, por lo que un sensor CMOS funciona bien.
  • Iluminación: la solución usa una luz de fondo de filtro difuso blanco. Esta iluminación hace que la pieza parezca casi negra, con un contraste alto para la detección de bordes.
  • Color: monocromática produce los bordes más nítidos para el modelo de detección de IA.

En la imagen siguiente, se muestra lo que captura la cámara en este escenario:

Imagen que muestra lo que captura la cámara en este escenario de IoT Edge.

Aceleración de hardware

En función de la carga de trabajo, el uso de TensorFlow y el uso en varias líneas de ensamblado, el hardware basado en GPU es la mejor opción para la aceleración de hardware.

Modelo de ML

Los científicos de datos están más familiarizados con TensorFlow, por lo que el aprendizaje de ONNX u otros marcos de ML ralentizaría el desarrollo del modelo. Azure Stack Edge proporciona una solución perimetral administrada centralmente para todas las líneas de ensamblado.

Escenario de usuario 2: seguridad

Contoso Shipping ha tenido varios accidentes de peatones en sus muelles de carga. La mayoría de los accidentes se produjo cuando un camión salió del muelle de carga y el conductor no vio a un trabajador del muelle delante del camión. Contoso Shipping necesitaba una solución de inteligencia artificial de visión que pudiera observar a las personas, predecir su dirección de viaje y advertir a los conductores de posibles colisiones.

La mayoría de los científicos de datos de Contoso Shipping estaban familiarizados con OpenVINO y querían reutilizar los modelos de la solución en hardware futuro. La solución también necesitaba admitir la eficiencia energética y usar el menor número posible de cámaras. Por último, Contoso Shipping quería una manera de administrar la solución de forma remota para las actualizaciones.

Cámaras

La solución usa 11 cámaras CMOS monocromáticas de 10 MP con alojamientos IPX67 o cajas de intemperie, montadas en postes de 5 metros, a 30 metros de los camiones. En las secciones siguientes, se describe cómo ha determinado Contoso Shipping estas especificaciones.

Selección de ubicación de la cámara

Las cámaras tenían que estar a 30 metros de distancia del frontal de los camiones. El foco de la cámara tenía que estar a 3 metros por delante y detrás de los camiones, lo que da una profundidad de enfoque de 6 metros. Las leyes urbanas locales limitaban la altura de la cámara de vigilancia a 6 metros.

En la ilustración siguiente, se muestra la ubicación de la cámara para este escenario:

Ilustración de la colocación de la cámara para un escenario de IA de visión de IoT Edge.

Resolución y campo de visión

La solución debe capturar solo los detalles suficientes para detectar a una persona en el fotograma. Los píxeles por pie (PPF) pueden estar alrededor de 15 a 20, en lugar de los 80 PPF que necesita el reconocimiento facial.

La fórmula para el campo de visión (FOV) es FOV=(horizontal resolution) / (PPF). Para la resolución, la cámara debe usar el sensor adecuado para el caso de uso.

Esta solución usa lentes de cámara que permiten un FOV de 5 metros. Con la fórmula anterior, un FOV de 5 metros proporciona aproximadamente 17,5 PPF, que se encuentra dentro de los 15 a 20 PPF necesarios. Este FOV significa que la solución debe usar cámaras de 10 MP, que tienen una resolución horizontal de aproximadamente 5184 píxeles.

Dado que las cámaras pueden mirar una ruta de 5 metros, un muelle de carga de 50 metros dividido por un FOV de 5 metros nos da 10,3125 cámaras. Por lo tanto, la solución necesita 11 cámaras de 5184 píxeles horizontales o cámaras de 10 MP.

Tipo de sensor

Las cámaras están en el exterior, por lo que el tipo de sensor no debe permitir el cegado. El cegado se produce cuando la luz alcanza el sensor y sobrecarga el sensor, lo que provoca una sobreexposición o un quemado de la imagen. CMOS es el sensor elegido aquí.

Color e iluminación

Contoso Shipping opera las 24 horas del día 7 días a la semana y también debe proteger al personal del turno de noche. Las cámaras monocromáticas controlan mejor las condiciones de poca luz que el color. En este caso, la información de color no es necesaria. Los sensores monocromáticos también tienen un costo menor.

Modelo de ML

Dado que los científicos de datos están familiarizados con OpenVINO, la solución crea modelos de datos en ONNX.

Aceleración de hardware

La distancia entre las cámaras y los servidores es demasiado grande para la conectividad Gigabit Ethernet o USB, pero hay una malla grande de red Wi-Fi. El hardware debe conectarse mediante Wi-Fi y usar el mínimo de energía posible.

En función de estos requisitos, la solución usa procesadores FPGA. La solución también podría usar procesadores ASIC, pero los chips ASIC creados de forma personalizada no cumplen el requisito de facilidad de uso futura.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

En esta serie de artículos, se describe cómo crear una carga de trabajo de inteligencia artificial de visión con Azure IoT Edge. Para ver los demás artículos de esta serie, consulte:

Para más información sobre las CNN, la inteligencia artificial de visión, Azure Machine Learning y Azure IoT Edge, consulte la siguiente documentación:

Para conocer más arquitecturas, ejemplos e ideas de Computer Vision que usan Azure IoT, consulte los siguientes artículos: