Creación de una solución de visión sin código en Azure Percept Studio

  • Artículo

Importante

Retirada de Azure Percept DK:

Actualización 22 de febrero de 2023: una actualización de firmware para los componentes de accesorios Percept DK Vision y Audio (también conocidos como Vision y Audio SOM) ya está disponible aquí y permitirá que los componentes del accesorio sigan funcionando más allá de la fecha de retirada.

La versión preliminar pública de Azure Percept evolucionará para admitir nuevas plataformas de dispositivos perimetrales y experiencias de desarrollador. Como parte de esta evolución, Azure Percept DK y el accesorio Audio y los servicios auxiliares de Azure asociados para Percept DK se retirarán el 30 de marzo de 2023.

A partir del 30 de marzo de 2023, los servicios de Azure Percept DK y el accesorio Audio ya no serán compatibles con ningún servicio de Azure, incluidas las Azure Percept Studio, las actualizaciones del sistema operativo, las actualizaciones de contenedores, la visualización de secuencias web y la integración de Custom Vision. Microsoft ya no proporcionará soporte técnico al cliente ni ningún servicio auxiliar asociado. Para obtener más información, consulte la entrada de blog Aviso de retirada.

Azure Percept Studio le permite crear e implementar soluciones personalizadas de visión computarizada, sin necesidad de código. En este artículo:

  • Creará un proyecto de visión en Azure Percept Studio.
  • Recopilará imágenes de entrenamiento con el kit de desarrollo.
  • Etiquetará las imágenes de entrenamiento en Custom Vision.
  • Entrenará el modelo personalizado de detección y clasificación de objetos.
  • Implementará el modelo en el kit de desarrollo.
  • Mejorará el modelo mediante la configuración del nuevo entrenamiento.

Este tutorial es adecuado para desarrolladores con poca o ninguna experiencia en inteligencia artificial y para aquellos que acaban de empezar a usar Azure Percept.

Requisitos previos

  • Kit de desarrollo Azure Percept DK
  • Suscripción de Azure
  • Experiencia de instalación de Azure Percept DK: ya ha conectado el kit de desarrollo a una red Wi-Fi, creado una instancia de IOT Hub y conectado el kit a esta instancia.

Creación de un prototipo de visión

  1. Inicie el explorador y vaya a Azure Percept Studio.

  2. En la página de información general, haga clic en la pestaña Demostraciones & tutoriales. Azure Percept Studio pantalla de información general.

  3. En Vision tutorials and demos (Tutoriales y demostraciones de visión), haga clic en Create a vision prototype (Crear un prototipo de visión).

    Pantalla de demostraciones y tutoriales de Azure Percept Studio.

  4. En la página New Azure Percept Custom Vision prototype (Nuevo prototipo de Custom Vision para Azure Percept), haga lo siguiente:

    1. En el cuadro Project name (Nombre del proyecto), escriba un nombre para el prototipo de visión.

    2. Escriba una descripción del prototipo de visión en el cuadro Project description (Descripción del proyecto).

    3. Seleccione Azure Percept DK en el menú desplegable Device type (Tipo de dispositivo).

    4. Seleccione un recurso en el menú desplegable Resource (Recurso) o haga clic en Create a new resource (Crear un nuevo recurso). Si opta por crear un nuevo recurso, haga lo siguiente en la ventana Create (Crear):

      1. Escriba un nombre para el nuevo recurso.
      2. Seleccione la suscripción de Azure.
      3. seleccione un grupo de recursos o cree uno.
      4. Seleccione la región que prefiera.
      5. Seleccione el plan de tarifa (se recomienda S0).
      6. En la parte inferior de la ventana, haga clic en Create (Crear).

      Ventana para crear recurso.

    5. En Project type (Tipo de proyecto), elija si el proyecto de visión realizará la detección de objetos o la clasificación de imágenes. Para más información sobre los tipos de proyecto, haga clic en Help me choose (Ayúdame a elegir).

    6. En Optimization (Optimización), seleccione si desea optimizar el proyecto para conseguir precisión, latencia de red baja o un equilibrio entre ambas opciones.

    7. Haga clic en el botón Crear.

      Pantalla para crear prototipo de Custom Vision.

Conexión de un dispositivo al proyecto y captura de imágenes

Después de crear una solución de visión, debe agregar el kit de desarrollo y las instancias de IoT Hub correspondientes a ella.

  1. Encienda el kit de desarrollo.

  2. En el menú desplegable IoT Hub, seleccione la instancia de IoT Hub a la que conectó el kit de desarrollo durante la configuración rápida.

  3. En el menú desplegable Devices (Dispositivos), seleccione el kit de desarrollo.

A continuación, debe cargar imágenes o capturarlas para entrenar el modelo de inteligencia artificial. Se recomienda cargar al menos 30 imágenes por tipo de etiqueta. Por ejemplo, si desea crear un detector de perros y gatos, debe cargar al menos 30 imágenes de perros y 30 imágenes de gatos. Para capturar imágenes con el módulo de sistema de visión del kit de desarrollo, haga lo siguiente:

  1. En la ventana Image capture (Captura de imagen), seleccione View Device Stream (Ver flujo de dispositivo) para ver la secuencia de vídeo del módulo de sistema de visión.

  2. Compruebe el flujo de vídeo para asegurarse de que la cámara del módulo de sistema esté correctamente alineada para tomar las imágenes de entrenamiento. Realice los ajustes necesarios.

  3. En la ventana Image capture (Captura de imagen), haga clic en Take photo (Tomar foto).

    Pantalla Captura de imagen.

  4. Como alternativa, configure una captura de imagen automatizada para recopilar una gran cantidad de imágenes a la vez; para ello, active la casilla Automatic image capture (Captura de imagen automática). Seleccione la velocidad de creación de imágenes preferida en Capture rate (Velocidad de captura) y el número total de imágenes que quiere recopilar en Target (Destino). Haga clic en Set automatic capture (Establecer captura automática) para iniciar el proceso de captura automática de imágenes.

    Menú desplegable Captura de imagen automática.

Cuando tenga suficientes fotos, haga clic en Next: Tag images and model training (Siguiente: Etiquetar imágenes y entrenamiento del modelo) en la parte inferior de la pantalla. Todas las imágenes se guardarán en Custom Vision.

Nota

Si opta por cargar imágenes de entrenamiento directamente en Custom Vision, tenga en cuenta que el tamaño del archivo de imagen no puede superar los 6 MB.

Etiquetado de imágenes y entrenamiento del modelo

Antes de entrenar el modelo, agregue etiquetas a las imágenes.

  1. En la página Tag images and model training (Etiquetar imágenes y entrenamiento del modelo), haga clic en Open project in Custom Vision (Abrir proyecto en Custom Vision).

  2. En el lado izquierdo de la página Custom Vision, haga clic en Untagged (Sin etiquetas) en Tags (Etiquetas) para ver las imágenes que acaba de recopilar en el paso anterior. Seleccione una o varias de las imágenes sin etiquetar.

  3. En la ventana Image Detail (Detalles de la imagen), haga clic en la imagen para comenzar el etiquetado. Si ha seleccionado la detección de objetos como tipo de proyecto, también debe dibujar un rectángulo de selección alrededor de los objetos específicos que desea etiquetar. Ajuste el rectángulo de selección según sea necesario. Escriba la etiqueta de objeto y haga clic en + para aplicar la etiqueta. Por ejemplo, para crear una solución de visión que le notificara cuando una estantería de una tienda necesita reabastecerse, agregue la etiqueta "Estantería vacía" a las imágenes de estanterías vacías y agregue la etiqueta "Estantería llena" a las imágenes de estanterías llenas. Repita el procedimiento con todas las imágenes sin etiquetar.

    Pantalla de etiquetado de imágenes de Custom Vision.

  4. Después de etiquetar las imágenes, haga clic en el icono X en la esquina superior derecha de la ventana. Haga clic en Tagged (Etiquetada) en Tags (Etiquetas) para ver todas las imágenes recién etiquetadas.

  5. Una vez que las imágenes estén etiquetadas, estará listo para entrenar el modelo de inteligencia artificial. Para ello, haga clic en Train (Entrenar) cerca de la parte superior de la página. Debe tener al menos 15 imágenes por tipo de etiqueta para entrenar el modelo (se recomienda usar al menos 30). El entrenamiento normalmente tarda unos 30 minutos, pero puede tardar más tiempo si el conjunto de imágenes es extremadamente grande.

    Selección de imágenes de entrenamiento con el botón Entrenar resaltado.

  6. Cuando se haya completado el entrenamiento, la pantalla mostrará el rendimiento del modelo. Para más información sobre la evaluación de estos resultados, consulte la documentación sobre evaluación de modelos. Después del entrenamiento, puede que también desee probar el modelo en imágenes adicionales y volver a entrenar según sea necesario. Cada vez que entrena el modelo, se guardará como una nueva iteración. Consulte la documentación de Custom Vision para más información sobre cómo mejorar el rendimiento del modelo.

    Resultados del entrenamiento del modelo.

    Nota

    Si opta por probar el modelo en imágenes adicionales en Custom Vision, tenga en cuenta que el tamaño del archivo de imagen de prueba no puede superar los 4 MB.

Una vez que esté satisfecho con el rendimiento del modelo, cierre la pestaña del explorador para cerrar Custom Vision.

Implementación del modelo de inteligencia artificial

  1. Vuelva a la pestaña Azure Percept Studio y haga clic en Next: Evaluate and deploy (Siguiente: Evaluación e implementación) en la parte inferior de la pantalla.

  2. La ventana Evaluate and deploy (Evaluar e implementar) mostrará el rendimiento de la iteración del modelo seleccionada. Seleccione la iteración que desea implementar en el kit de desarrollo en el menú desplegable Model iteration (Iteración del modelo) y haga clic en Deploy model (Implementar modelo) en la parte inferior de la pantalla.

    Pantalla de implementación de modelo.

  3. Después de implementar el modelo, vea la secuencia de vídeo del dispositivo para ver la inferencia de modelos en acción.

    Flujo de dispositivo que muestra el detector de auriculares en acción.

Después de cerrar esta ventana, puede volver atrás y editar el proyecto de visión en cualquier momento; para ello, haga clic en Vision en AI Projects (Proyectos de IA) en la página principal de Azure Percept Studio y seleccione el nombre de su proyecto de visión.

Página del proyecto de visión.

Mejora del modelo mediante la configuración del nuevo entrenamiento

Una vez que haya entrenado el modelo y lo haya implementado en el dispositivo, puede mejorar el rendimiento del modelo si configura los parámetros de repetición del entrenamiento para capturar más datos de entrenamiento. Esta característica se usa para mejorar el rendimiento de un modelo entrenado, ya que ofrece la posibilidad de capturar imágenes en función de un intervalo de probabilidad. Por ejemplo, puede configurar el dispositivo para que solo capture imágenes de entrenamiento cuando la probabilidad sea baja. A continuación se ofrecen algunas instrucciones adicionales sobre cómo agregar más imágenes y equilibrar los datos de entrenamiento.

  1. Para configurar la repetición del entrenamiento, vuelva al Proyectoy, a continuación, a Resumen del proyecto

  2. En la pestaña Captura de imágenes, seleccione Captura de imágenes automática y Configurar el nuevo entrenamiento.

  3. Puede configurar la captura de imágenes automática para recopilar una gran cantidad de imágenes a la vez; para ello, active la casilla Captura de imágenes automática.

  4. Seleccione la velocidad de creación de imágenes preferida en Capture rate (Velocidad de captura) y el número total de imágenes que quiere recopilar en Target (Destino).

  5. En la sección Configurar el nuevo entrenamiento, seleccione la iteración para la que desea capturar más datos de entrenamiento y, a continuación, seleccione el intervalo de probabilidad. Solo se cargarán en el proyecto las imágenes que cumplan la tasa de probabilidad.

    Captura de imagen.

Limpieza de recursos

Si ha creado un nuevo recurso de Azure para este tutorial y ya no desea desarrollar ni usar la solución de visión, realice los pasos siguientes para eliminar el recurso:

  1. Vaya a Azure Portal.
  2. Haga clic en Todos los recursos.
  3. Haga clic en la casilla situada junto al recurso creado durante este tutorial. El tipo de recurso se mostrará como Cognitive Services.
  4. Haga clic en el icono Eliminar situado cerca de la parte superior de la pantalla.

Tutorial en vídeo

Para ver un tutorial visual de los pasos descritos anteriormente, consulte el siguiente vídeo:



Pasos siguientes

A continuación, consulte los artículos de procedimientos de visión para más información sobre las características adicionales de la solución en Azure Percept Studio.