Ejercicio: Diseño de una solución de visión artificial
En este módulo, compilará una solución de reconocimiento de imágenes con un dispositivo IoT Edge capaz de enviar comunicaciones por audio. Esta solución usará tres servicios de Azure, cada uno con servicios de nivel Gratis.
Configurará un entorno de ejecución de IoT Edge para que el equipo Linux actúe como dispositivo IoT Edge. Usará Visual Studio Code para implementar la solución en el perímetro.
Componentes de soluciones
La solución se ejecuta en Azure IoT Edge y consta de varios servicios que funcionan conjuntamente.
- El módulo de captura de cámara escanea los artículos mediante una cámara.
- El módulo de clasificación de imágenes identifica el artículo. Este módulo consta de un modelo de aprendizaje automático que se ha entrenado con imágenes de frutas para clasificar los artículos escaneados.
- El módulo Text to Speech convierte la etiqueta del artículo en voz. Después, se reproduce el nombre del artículo escaneado por el altavoz. El módulo Text to Speech convierte el nombre del elemento escaneado en voz mediante Azure Speech Services.
- Una cámara USB captura imágenes de los artículos que se comprarán.
- Se usa un altavoz para reproducir el artículo reconocido a partir de texto.
- Azure IoT Hub (nivel Gratis) administra los dispositivos de Azure IoT Edge que se usan para implementar la solución.
- Azure Speech Services (nivel Gratis) genera voz natural para proporcionar información sobre el artículo escaneado a los compradores.
- El servicio Azure Custom Vision se usa para crear el modelo de fruta empleado en la clasificación de imágenes.
- Visual Studio Code es un editor de código fuente. Usaremos Visual Studio Code como herramienta de desarrollo del dispositivo IoT.
Pasos a seguir
Los pasos generales del módulo son los siguientes:
Configurar un dispositivo IoT Edge.
a. Creación de un IoT Hub
b. Crear un dispositivo perimetral en el centro.
c. Instalar el entorno de ejecución de Azure IoT Edge en Linux.
d. Establecer la cadena de conexión en Azure IoT Edge.
Clonación del repositorio
Crear un servicio de voz de Azure
Compilar e implementar la solución.
Supervisión de la solución
Después de completar el módulo, el equipo Linux actuará como dispositivo IoT Edge y se configurará para el centro de IoT. Tendrá los módulos implementados en el dispositivo perimetral. La solución resultante realizará la clasificación de imágenes mediante los servicios de Azure AI para el escenario de cajas de autoservicio.