Een vision-oplossing zonder code maken in Azure Percept Studio

  • Artikel

Belangrijk

Buitengebruikstelling van Azure Percept DK:

Update 22 februari 2023: Een firmware-update voor de percept DK Vision- en Audio-accessoireonderdelen (ook wel bekend als Vision en Audio SOM) is nu hier beschikbaar en zorgt ervoor dat de accessoireonderdelen na de buitengebruikstellingsdatum kunnen blijven functioneren.

De openbare preview van Azure Percept wordt ontwikkeld ter ondersteuning van nieuwe edge-apparaatplatforms en ontwikkelaarservaringen. Als onderdeel van deze evolutie worden de Azure Percept DK en audioaccessoire en de bijbehorende ondersteunende Azure-services voor de Percept DK op 30 maart 2023 buiten gebruik gesteld.

Vanaf 30 maart 2023 worden de Azure Percept DK en Audio Accessory niet meer ondersteund door Azure-services, waaronder Azure Percept Studio, updates van het besturingssysteem, updates voor containers, webstreams weergeven en Custom Vision-integratie. Microsoft biedt geen ondersteuning meer voor klantsucces en eventuele bijbehorende ondersteunende services. Ga voor meer informatie naar het blogbericht over buitengebruikstelling.

Azure Percept Studio stelt u in staat om aangepaste Computer Vision-oplossingen te bouwen en te implementeren, zonder dat u hoeft te coderen. In dit artikel gaat u het volgende doen:

  • Een vision-project maken in Azure Percept Studio
  • Trainingsinstallatiekopieën verzamelen met uw devkit
  • Uw trainingsafbeeldingen labelen in Custom Vision
  • Uw aangepaste objectdetectie- of classificatiemodel trainen
  • Uw model implementeren in uw devkit
  • Uw model verbeteren door hertraining in te stellen

Deze zelfstudie is geschikt voor ontwikkelaars met weinig tot geen AI-ervaring en voor ontwikkelaars die net aan de slag gaan met Azure Percept.

Vereisten

  • Azure Percept DK (devkit)
  • Azure-abonnement
  • Installatie-ervaring voor Azure Percept DK: u hebt uw devkit verbonden met een Wi-Fi netwerk, een IoT Hub gemaakt en uw devkit verbonden met de IoT Hub

Een vision-prototype maken

  1. Start uw browser en ga naar Azure Percept Studio.

  2. Klik op de overzichtspagina op het tabblad Demo's & zelfstudies. Azure Percept Studio overzichtsscherm.

  3. Klik onder Vision-zelfstudies en demo's op Een vision-prototype maken.

    Azure Percept Studio demo's en zelfstudies.

  4. Ga als volgt te werk op de pagina New Azure Percept Custom Vision prototype:

    1. Voer in het vak Projectnaam een naam in voor uw vision-prototype.

    2. Voer een beschrijving in van het vision-prototype in het vak Projectbeschrijving .

    3. Selecteer Azure Percept DK in de vervolgkeuzelijst Apparaattype .

    4. Selecteer een resource in de vervolgkeuzelijst Resource of klik op Een nieuwe resource maken. Als u ervoor kiest om een nieuwe resource te maken, gaat u als volgt te werk in het venster Maken :

      1. Voer een naam in voor de nieuwe resource.
      2. Selecteer uw Azure-abonnement.
      3. Selecteer een resourcegroep of maak een nieuwe.
      4. Selecteer uw voorkeursregio.
      5. Selecteer uw prijscategorie (we raden S0 aan).
      6. Klik onder aan het venster op Maken .

      Venster Resource maken.

    5. Kies bij Projecttype of uw vision-project objectdetectie of afbeeldingsclassificatie moet uitvoeren. Klik op Help mij kiezen voor meer informatie over de projecttypen.

    6. Bij Optimalisatie selecteert u of u uw project wilt optimaliseren voor nauwkeurigheid, lage netwerklatentie of een balans van beide.

    7. Klik op de knop Maken.

      Maak een custom vision-prototypescherm.

Een apparaat verbinden met uw project en afbeeldingen vastleggen

Nadat u een vision-oplossing hebt gemaakt, moet u uw devkit en de bijbehorende IoT Hub toevoegen.

  1. Schakel uw devkit in.

  2. Selecteer in de vervolgkeuzelijst IoT Hub de IoT-hub waarmee uw devkit is verbonden tijdens de OOBE.

  3. Selecteer uw devkit in het vervolgkeuzemenu Apparaten .

Vervolgens moet u afbeeldingen laden of afbeeldingen vastleggen voor het trainen van uw AI-model. We raden u aan ten minste 30 afbeeldingen per tagtype te uploaden. Als u bijvoorbeeld een honden- en kattendetector wilt bouwen, moet u ten minste 30 afbeeldingen van honden en 30 afbeeldingen van katten uploaden. Ga als volgt te werk om afbeeldingen vast te leggen met de Vision SoM van uw devkit:

  1. Selecteer in het venster Image capturede optie Apparaatstream weergeven om de Vision SoM-videostream weer te geven.

  2. Controleer de videostream om ervoor te zorgen dat uw Vision SoM-camera correct is uitgelijnd om de trainingsfoto's te maken. Breng indien nodig aanpassingen aan.

  3. Klik in het venster Afbeelding vastleggen op Foto maken.

    Scherm voor het vastleggen van afbeeldingen.

  4. U kunt ook een geautomatiseerde afbeeldingsopname instellen om een grote hoeveelheid afbeeldingen tegelijk te verzamelen door het selectievakje Automatische afbeeldingsopname in te schakelen. Selecteer de gewenste opnamefrequentie onder Opnamesnelheid en het totale aantal afbeeldingen dat u wilt verzamelen onder Doel. Klik op Automatische opname instellen om het proces voor het automatisch vastleggen van afbeeldingen te starten.

    Vervolgkeuzemenu automatische installatiekopieën vastleggen.

Als u voldoende foto's hebt, klikt u onder aan het scherm op Volgende: Afbeeldingen taggen en modeltraining . Alle afbeeldingen worden opgeslagen in Custom Vision.

Notitie

Als u ervoor kiest om trainingsafbeeldingen rechtstreeks naar Custom Vision te uploaden, moet u er rekening mee houden dat de grootte van het afbeeldingsbestand niet groter mag zijn dan 6 MB.

Afbeeldingen taggen en uw model trainen

Voordat u uw model traint, voegt u labels toe aan uw afbeeldingen.

  1. Klik op de pagina Tagafbeeldingen en modeltraining op Project openen in Custom Vision.

  2. Klik aan de linkerkant van de Custom Vision pagina op Zonder vlag onder Tags om de afbeeldingen weer te geven die u zojuist in de vorige stap hebt verzameld. Selecteer een of meer van uw afbeeldingen zonder vlag.

  3. Klik in het venster Afbeeldingsdetails op de afbeelding om te beginnen met taggen. Als u objectdetectie hebt geselecteerd als uw projecttype, moet u ook een begrenzingsvak tekenen rond specifieke objecten die u wilt taggen. Pas het begrenzingsvak zo nodig aan. Typ uw objecttag en klik + om de tag toe te passen. Als u bijvoorbeeld een vision-oplossing maakt die u op de hoogte stelt wanneer een winkelschap opnieuw moet worden gevuld, voegt u de tag 'Lege plank' toe aan afbeeldingen van lege schappen en voegt u de tag 'Volledige plank' toe aan afbeeldingen van volledig gevulde schappen. Herhaal dit voor alle afbeeldingen zonder vlag.

    Scherm voor het taggen van afbeeldingen in Custom Vision.

  4. Nadat u uw afbeeldingen hebt getagd, klikt u op het pictogram X in de rechterbovenhoek van het venster. Klik op Gelabeld onder Tags om al uw zojuist getagde afbeeldingen weer te geven.

  5. Nadat uw afbeeldingen zijn gelabeld, bent u klaar om uw AI-model te trainen. Klik hiervoor boven aan de pagina op Trainen . U moet ten minste 15 afbeeldingen per tagtype hebben om uw model te trainen (we raden u aan ten minste 30 te gebruiken). De training duurt doorgaans ongeveer 30 minuten, maar het kan langer duren als uw afbeeldingenset extreem groot is.

    Selectie van trainingsafbeelding met de knop Trainen gemarkeerd.

  6. Wanneer de training is voltooid, worden de prestaties van uw model weergegeven op het scherm. Raadpleeg de documentatie voor modelevaluatie voor meer informatie over het evalueren van deze resultaten. Na de training wilt u uw model mogelijk ook testen op aanvullende afbeeldingen en zo nodig opnieuw trainen. Telkens wanneer u uw model traint, wordt het opgeslagen als een nieuwe iteratie. Raadpleeg de Custom Vision documentatie voor meer informatie over het verbeteren van modelprestaties.

    Resultaten van modeltraining.

    Notitie

    Als u ervoor kiest om uw model te testen op aanvullende afbeeldingen in Custom Vision, moet u er rekening mee houden dat de bestandsgrootte van het testafbeeldingsbestand niet groter mag zijn dan 4 MB.

Zodra u tevreden bent met de prestaties van uw model, sluit u Custom Vision door het browsertabblad te sluiten.

Uw AI-model implementeren

  1. Terug naar het tabblad Azure Percept Studio en klik onder aan het scherm op Volgende: Evalueren en implementeren.

  2. In het venster Evalueren en implementeren worden de prestaties van de geselecteerde model-iteratie weergegeven. Selecteer de iteratie die u wilt implementeren in uw devkit in de vervolgkeuzelijst Model iteratie en klik onder aan het scherm op Model implementeren .

    Scherm modelimplementatie.

  3. Nadat u uw model hebt geïmplementeerd, bekijkt u de videostream van uw apparaat om uw model in actie te zien.

    Apparaatstream met hoofdtelefoondetector in actie.

Nadat u dit venster hebt gesloten, kunt u op elk gewenst moment teruggaan en uw vision-project bewerken door te klikken op Vision onder AI-projecten op de startpagina van Azure Percept Studio en de naam van uw vision-project te selecteren.

Vision-projectpagina.

Uw model verbeteren door hertraining in te stellen

Nadat u uw model hebt getraind en op het apparaat hebt geïmplementeerd, kunt u de prestaties van het model verbeteren door parameters voor opnieuw trainen in te stellen om meer trainingsgegevens vast te leggen. Deze functie wordt gebruikt om de prestaties van een getraind model te verbeteren door u de mogelijkheid te bieden om afbeeldingen vast te leggen op basis van een waarschijnlijkheidsbereik. U kunt uw apparaat bijvoorbeeld instellen om alleen trainingsafbeeldingen vast te leggen wanneer de waarschijnlijkheid laag is. Hier volgen enkele aanvullende richtlijnen voor het toevoegen van meer afbeeldingen en het balanceren van trainingsgegevens.

  1. Als u hertraining wilt instellen, gaat u terug naar uw Project en vervolgens naar Projectoverzicht

  2. Selecteer op het tabblad Afbeelding vastleggende optie Automatisch vastleggen van afbeeldingen en Opnieuw trainen instellen.

  3. Stel de geautomatiseerde installatiekopieën in om een grote hoeveelheid afbeeldingen tegelijk te verzamelen door het selectievakje Automatische installatiekopieën vastleggen in te schakelen.

  4. Selecteer de gewenste opnamefrequentie onder Opnamesnelheid en het totale aantal afbeeldingen dat u wilt verzamelen onder Doel.

  5. Selecteer in de sectie Hertraining instellen de iteratie waarvoor u meer trainingsgegevens wilt vastleggen en selecteer vervolgens het waarschijnlijkheidsbereik. Alleen afbeeldingen die voldoen aan de waarschijnlijkheidsfrequentie, worden geüpload naar uw project.

    afbeeldingsopname.

Resources opschonen

Als u een nieuwe Azure-resource voor deze zelfstudie hebt gemaakt en u uw vision-oplossing niet meer wilt ontwikkelen of gebruiken, voert u de volgende stappen uit om uw resource te verwijderen:

  1. Ga naar de Azure Portal.
  2. Klik op Alle resources.
  3. Schakel het selectievakje in naast de resource die tijdens deze zelfstudie is gemaakt. Het resourcetype wordt weergegeven als Cognitive Services.
  4. Klik boven aan het scherm op het pictogram Verwijderen .

Video-overzicht

Zie de volgende video voor een visueel overzicht van de hierboven beschreven stappen:



Volgende stappen

Bekijk vervolgens de instructieartikelen van Vision voor informatie over aanvullende vision-oplossingsfuncties in Azure Percept Studio.