Créer une solution de vision sans code dans Azure Percept Studio

  • Article

Important

Mise hors service d’Azure Percept DK :

Mise à jour du 9 novembre 2022 : Une mise à jour du microprogramme qui permet au SoM de vision et au SoM audio de conserver leurs fonctionnalités avec le DK au-delà de la date de mise hors service sera disponible avant la date de mise hors service.

La préversion publique d’Azure Percept évoluera pour prendre en charge de nouvelles plateformes d’appareils périphériques et de nouvelles expériences de développement. Dans le cadre de cette évolution, Azure Percept DK et Audio Accessory et les services Azure de prise en charge associés pour Percept DK seront mis hors service le 30 mars 2023.

À compter du 30 mars 2023, Azure Percept DK et Audio Accessory ne seront plus pris en charge par aucun des services Azure, notamment Azure Percept Studio, les mises à jour du système d’exploitation, les mises à jour de conteneurs, l’affichage de flux web et l’intégration de Custom Vision. Microsoft ne fournira plus de support client ni aucun des services de support associés. Pour plus d’informations, consultez le Billet de blog d’avis de mise hors service.

Azure Percept Studio vous permet de créer et de déployer des solutions de vision par ordinateur personnalisées, sans nécessiter de code. En lisant cet article, vous pourrez :

  • Créer un projet de vision dans Azure Percept Studio
  • Collecter des images d’entraînement avec votre devkit
  • Étiqueter vos images d’entraînement dans Custom Vision
  • Entraîner votre modèle de détection ou de classification des objets personnalisé
  • Déployer votre modèle sur votre devkit
  • Améliorer le modèle en configurant le réentraînement

Ce tutoriel est conçu pour les développeurs qui ont peu d’expérience en IA, voire aucune, et qui débutent avec Azure Percept.

Prérequis

  • DK (devkit) Azure Percept
  • Abonnement Azure
  • Expérience d’installation du DK Azure Percept : vous avez connecté votre devkit à un réseau Wi-Fi, créé un hub IoT et connecté votre devkit au hub IoT

Créer un prototype de vision

  1. Démarrez votre navigateur pour accéder à Azure Percept Studio.

  2. Sur la page vue de présentation, cliquez sur l’onglet Démonstrations et tutoriel. Écran de présentation d’Azure Percept Studio.

  3. Dans Tutoriels et démonstrations de vision, cliquez sur Créer un prototype de vision.

    Écran des tutoriels et démonstrations Azure Percept Studio.

  4. Dans la page Nouveau prototype Custom Vision Azure Percept, effectuez les étapes suivantes :

    1. Dans la zone Nom du projet, entrez un nom pour votre prototype de vision.

    2. Entrez la description du prototype de vision dans la zone Description du projet.

    3. Sélectionnez DK Azure Percept dans le menu déroulant Type d’appareil.

    4. Sélectionnez une ressource dans le menu déroulant Ressources, ou cliquez sur Créer une ressource. Si vous choisissez de créer une ressource, effectuez les étapes suivantes dans la fenêtre Créer :

      1. Entrez le nom de votre nouvelle ressource.
      2. Sélectionnez votre abonnement Azure.
      3. Sélectionnez un groupe de ressources ou créez-en un.
      4. Sélectionnez votre région préférée.
      5. Sélectionnez votre niveau tarifaire (nous vous recommandons S0).
      6. En bas de la fenêtre, cliquez sur Créer.

      Fenêtre Créer une ressource.

    5. Pour Type de projet, indiquez si votre projet de vision implique la détection d’objets ou la classification d’images. Pour plus d’informations sur les types de projets, cliquez sur M’aider à choisir.

    6. Pour Optimisation, indiquez si vous souhaitez optimiser votre projet afin de bénéficier d’une justesse optimale, d’une faible latence réseau, ou d’un équilibre entre les deux.

    7. Cliquez sur le bouton Créer.

      Écran Créer un prototype de vision personnalisé.

Connecter un appareil à votre projet et capturer des images

Après avoir créé une solution de vision, vous devez lui ajouter votre devkit et le hub IoT correspondant.

  1. Mettez votre devkit sous tension.

  2. Dans le menu déroulant IoT Hub, sélectionnez le hub IoT auquel votre devkit était connecté lors de l’expérience OOBE.

  3. Dans le menu déroulant Appareils, sélectionnez votre devkit.

Ensuite, vous devez charger ou capturer des images en vue de l’entraînement de votre modèle d’intelligence artificielle. Nous vous recommandons de charger au moins 30 images par type d’étiquette. Par exemple, si vous souhaitez créer un détecteur de chiens et de chats, vous devez charger au moins 30 images de chiens et 30 images de chats. Pour capturer des images avec le SoM de vision de votre devkit, effectuez les étapes suivantes :

  1. Dans la fenêtre Capture d’image, sélectionnez Afficher le flux de l’appareil pour afficher le flux vidéo du SoM de vision.

  2. Vérifiez le flux vidéo afin de vous assurer que la caméra de votre SoM de vision est correctement alignée pour prendre les photos d’entraînement. Apportez les modifications nécessaires.

  3. Dans la fenêtre Capture d’image, cliquez sur Prendre une photo.

    Écran Capture d’image.

  4. Vous pouvez également configurer une capture d’image automatisée pour collecter une grande quantité d’images à la fois. Pour cela, cochez la case Capture d’image automatique. Sélectionnez votre taux d’acquisition d’images par défaut sous Taux de capture, ainsi que le nombre total d’images que vous souhaitez collecter sous Cible. Cliquez sur Définir la capture automatique pour commencer le processus de capture d’image automatique.

    Menu déroulant de la capture d’image automatique.

Lorsque vous avez suffisamment de photos, cliquez sur Suivant : Étiqueter les images et entraîner le modèle en bas de l’écran. Toutes les images seront enregistrées dans Custom Vision.

Notes

Si vous choisissez de charger des images d’entraînement directement dans Custom Vision, notez que la taille du fichier image ne doit pas dépasser 6 Mo.

Étiqueter les images et entraîner le modèle

Avant d’entraîner votre modèle, ajoutez des étiquettes à vos images.

  1. Dans la page Étiqueter les images et entraîner le modèle, cliquez sur Ouvrir un projet dans Custom Vision.

  2. Sur le côté gauche de la page Custom Vision, cliquez sur Sans étiquette sous Étiquettes pour afficher les images que vous avez collectées à l’étape précédente. Sélectionnez une ou plusieurs images sans étiquette.

  3. Dans la fenêtre Détails de l’image, cliquez sur l’image pour commencer l’étiquetage. Si vous avez sélectionné la détection d’objets comme type de projet, vous devez également dessiner un cadre englobant autour des objets que vous souhaitez étiqueter. Ajustez le cadre englobant si nécessaire. Tapez l’étiquette de votre objet, puis cliquez sur + pour l’appliquer. Par exemple, si vous créez une solution de vision qui doit vous informer quand un rayon de magasin a besoin d’être réapprovisionné, ajoutez l’étiquette « Rayon vide » aux images montrant des rayons vides, et ajoutez l’étiquette « Rayon plein » aux images montrant des rayons entièrement réapprovisionnés. Répétez cette opération pour toutes les images non étiquetées.

    Écran Étiquetage des images dans Custom Vision.

  4. Après avoir étiqueté vos images, cliquez sur l’icône X en haut à droite de la fenêtre. Cliquez sur Étiqueté sous Étiquettes pour afficher toutes les images récemment étiquetées.

  5. Une fois vos images étiquetées, vous êtes prêt à effectuer l’entraînement de votre modèle d’IA. Pour ce faire, cliquez sur Entraîner en haut de la page. Vous devez disposer d’au moins 15 images par type d’étiquette pour entraîner votre modèle (nous vous recommandons d’en utiliser au moins 30). L’entraînement prend généralement 30 minutes. Toutefois, il peut prendre davantage de temps si votre jeu d’images est très grand.

    Sélection des images d’entraînement avec le bouton Entraîner mis en évidence.

  6. Une fois l’entraînement terminé, votre écran affiche les performances de votre modèle. Pour plus d’informations sur l’évaluation de ces résultats, consultez la documentation concernant l’évaluation des modèles. Après l’entraînement, vous souhaiterez peut-être également tester votre modèle sur d’autres images et le réentraîner si nécessaire. Chaque fois que vous entraînez votre modèle, celui-ci est enregistré en tant que nouvelle itération. Pour plus d’informations sur l’amélioration des performances d’un modèle, consultez la documentation Custom Vision.

    Résultats de l’entraînement du modèle.

    Notes

    Si vous choisissez de tester votre modèle sur d’autres images dans Custom Vision, notez que la taille du fichier image de test ne doit pas dépasser 4 Mo.

Une fois que vous êtes satisfait des performances de votre modèle, fermez Custom Vision en fermant l’onglet du navigateur.

Déployer votre modèle d’IA

  1. Revenez à l’onglet Azure Percept Studio, puis cliquez sur Suivant : Évaluer et déployer en bas de l’écran.

  2. La fenêtre Évaluer et déployer affiche les performances de l’itération de modèle sélectionnée. Sélectionnez l’itération que vous souhaitez déployer sur votre devkit dans le menu déroulant Itération de modèle, puis cliquez sur Déployer le modèle en bas de l’écran.

    Écran Déploiement du modèle.

  3. Une fois le modèle déployé, affichez le flux vidéo de celui-ci pour voir l’inférence de votre modèle à l’œuvre.

    Flux d’appareil montrant le détecteur de casque à l’œuvre.

Après avoir fermé cette fenêtre, vous pouvez revenir en arrière pour modifier votre projet de vision à tout moment. Pour cela, cliquez sur Vision sous Projets d’IA dans la page d’accueil d’Azure Percept Studio, puis sélectionnez le nom de votre projet de vision.

Page Projet de vision.

Améliorer le modèle en configurant le réentraînement

Une fois que vous avez entraîné votre modèle et que vous l’avez déployé sur l’appareil, vous pouvez définir des paramètres de réentraînement pour capturer d’autres données d’apprentissage. Cette fonctionnalité permet d’améliorer le niveau de performance d’un modèle entraîné en offrant la possibilité de capturer des images en fonction d’une plage de probabilités. Par exemple, vous pouvez configurer votre appareil de sorte qu’il ne capture que les images d’apprentissage pour lesquelles la probabilité est faible. Voici quelques conseils supplémentaires sur l’ajout d’images et l’équilibrage des données d’apprentissage.

  1. Pour configurer le réentraînement, revenez à votre Projet, puis au Résumé du projet.

  2. Dans l’onglet Capture d’images, sélectionnez Capture d’images automatique et Configurer le réentraînement.

  3. Configurez la capture d’image automatisée pour collecter une grande quantité d’images à la fois en cochant la case Capture d’images automatique.

  4. Sélectionnez votre taux d’acquisition d’images par défaut sous Taux de capture, ainsi que le nombre total d’images que vous souhaitez collecter sous Cible.

  5. Dans la section Configurer le réentraînement, sélectionnez l’itération pour laquelle vous souhaitez capturer d’autres données d’apprentissage, puis sélectionnez la plage de probabilités. Seules les images conformes au taux de probabilité sont chargées dans votre projet.

    Capture d’images.

Nettoyer les ressources

Si vous avez créé une ressource Azure pour ce tutoriel et si vous ne souhaitez plus développer ni utiliser votre solution de vision, effectuez les étapes suivantes pour supprimer votre ressource :

  1. Accédez au portail Azure.
  2. Cliquez sur Toutes les ressources.
  3. Cochez la case en regard de la ressource créée pendant ce tutoriel. Le type de ressource sera listé sous Cognitive Services.
  4. Cliquez sur l’icône Supprimer en haut de l’écran.

Vidéo de procédure pas à pas

Pour un aperçu visuel de la procédure décrite ci-dessus, consultez la vidéo suivante :



Étapes suivantes

Consultez ensuite les guides pratiques sur les projets de vision pour en savoir plus sur les autres fonctionnalités de la solution de vision dans Azure Percept Studio.