Exercice - Concevoir une solution de vision par ordinateur

Effectué

Dans ce module, vous allez créer une solution de reconnaissance d’images avec un appareil IoT Edge capable de communiquer au moyen de messages audio. Cette solution utilisera trois services Azure, qui proposent chacun des services gratuits.

• Azure IoT Hub
• Azure Custom Vision
• Services de reconnaissance vocale Azure

Vous allez configurer le runtime IoT Edge pour votre ordinateur Linux afin que celui-ci agisse comme un appareil IoT Edge. Vous allez utiliser Visual Studio Code pour déployer votre solution en périphérie.

Composants de la solution

La solution s’exécute sur Azure IoT Edge et se compose de plusieurs services qui fonctionnent ensemble.

• Le module de capture vidéo scanne les articles à l’aide d’une caméra.
• Le module de classification des images identifie les articles. Le module de classification des images se compose d’un modèle Machine Learning qui a été entraîné à l’aide d’images de fruits et qui classe les articles scannés par catégorie.
• Le module de synthèse vocale convertit l’étiquette de l’article en parole. Après cela, le nom de l’article scanné est diffusé via le haut-parleur. Le module de synthèse vocale convertit le nom de l’article scanné en audio à l’aide des services Azure Speech.
• Une caméra USB capture les images des articles à acheter.
• Un haut-parleur est utilisé pour la diffusion audio du nom de l’article identifié.
• Azure IoT Hub (niveau gratuit) gère les appareils Azure IoT Edge utilisés pour implémenter la solution.
• Les services de reconnaissance vocale Azure (niveau gratuit) génèrent une voix naturelle qui apporte des informations sur l’article scanné.
• Le service Azure Custom Vision est utilisé pour créer le modèle de fruit qui sert à la classification des images.
• Visual Studio Code est un éditeur de code source. Vous utilisez Visual Studio Code comme outil de développement pour l’appareil IoT.

Procédure à suivre

Les étapes générales du module sont les suivantes :

1. Configurer un appareil IoT Edge

   a. Création d’un IoT Hub

   b. Créer un appareil périphérique dans votre hub

   c. Installer le runtime IoT Edge sur Linux

   d. Définir la chaîne de connexion sur Azure IoT Edge

2. Cloner le référentiel

3. Créer un service de reconnaissance vocale Azure

4. Création et déploiement de la solution

5. Surveiller la solution

À la fin de ce module, votre ordinateur Linux fera office d’appareil IoT Edge et sera configuré sur IoT Hub. Les modules seront déployés sur l’appareil périphérique. La solution obtenue va effectuer une classification d’images à l’aide d’Azure AI services pour le scénario de la caisse automatique.