Oefening: Azure Custom Vision integreren
In deze module leert u hoe u Azure Custom Vision gebruikt. U neemt een set foto's van een bijgehouden object, uploadt deze naar de Custom Vision-service en start het trainingsproces. Vervolgens gebruikt u de service om het bijgehouden object te detecteren door foto's van de webcamfeed vast te leggen.
Inzicht in Azure AI Custom Vision
Azure AI Custom Vision maakt deel uit van de Cognitive Services-serie en wordt gebruikt om afbeeldingsclassificaties te trainen. De afbeeldingsclassificatie is een AI-service die gebruikmaakt van het getrainde model om overeenkomende tags toe te passen. Onze toepassing gebruikt deze classificatiefunctie om bijgehouden objecten te detecteren.
Meer informatie over Custom Vision.
Custom Vision voorbereiden
Voordat u kunt beginnen, moet u een Custom Vision-project maken. De snelste manier om uw Custom Vision-project te maken, is met behulp van de Custom Vision-portal.
Volg deze quickstart-zelfstudie om uw account en project in te stellen. Volg de stappen in de sectie Afbeeldingen uploaden en taggen . U moet één tag maken met vijf afbeeldingen.
Waarschuwing
Als u een model wilt trainen, moet u ten minste twee tags en vijf afbeeldingen per tag hebben. Later voegen we meer installatiekopieën toe via de toepassing. Als u deze toepassing wilt gebruiken, moet u echter ten minste één tag met vijf afbeeldingen maken, zodat het trainingsproces later niet meer zal mislukken.
De scène voorbereiden
Navigeer in het venster Project naar de MRTK assets>. De map Tutorials.AzureCloudServices Prefabs>Manager.>
Sleep hier de prefab ObjectDetectionManager naar de scènehiërarchie.
Zoek en selecteer het object ObjectDetectionManager in het venster Hierarchy. De prefab ObjectDetectionManager bevat het onderdeel ObjectDetectionManager (script) en, zoals u kunt zien in het Inspector-venster, is dit afhankelijk van Azure-instellingen en Project-instellingen.
Azure API-resourcereferenties ophalen
U kunt de benodigde referenties voor de ObjectDetectionManager-instellingen (script) ophalen uit de Azure-portal en de Custom Vision-portal.
Azure-instellingenreferenties ophalen
Zoek en zoek de Custom Vision-resource van het Cognitive Services-type dat u hebt gemaakt in de sectie De scène voorbereiden van deze zelfstudie. Selecteer Daar Overzicht of Sleutels en Eindpunt om de benodigde referenties op te halen.
- Azure Resource Subscription Id: Gebruik de abonnements-id in de sectie Overzicht .
- Azure-resourcegroepnaam: gebruik de naam van de resourcegroep in de sectie Overzicht .
Gebruik voor de naam van de Cognitive Service-groep de naam van de Custom Vision-resource gevolgd door -Prediction.
- Voorspellingseindpunt van resourcebasis: gebruik het eindpunt uit de sleutels en het eindpunt in de Custom Vision-voorspellingsresource.
- Api-voorspellingssleutel: Gebruik sleutel 1 uit de sleutels en het eindpunt in de Custom Vision-voorspellingsresource.
Referenties voor projectinstellingen ophalen
Open in het Custom Vision-dashboard het project dat u voor deze zelfstudie hebt gemaakt en selecteer vervolgens het pictogram Instellingen (tandwiel) in de rechterbovenhoek van de pagina om de Instellingen pagina te openen. U vindt de benodigde referenties in de sectie Resources aan de rechterkant en de sectie Algemeen aan de linkerkant.
- Resourcebasiseindpunt : gebruik het eindpunt uit de sectie Resources . Dit moet overeenkomen met het eindpunt onder Sleutels en Eindpunt in de Custom Vision-resource.
- Api-sleutel: gebruik de sleutel uit de sectie Resources . Dit moet overeenkomen met de sleutel onder Sleutels en Eindpunt in de Custom Vision-resource.
- Project-id: Gebruik de project-id uit de sectie Algemeen .
Nu objectDetectionManager (script) correct is ingesteld, zoekt u het ScèneController-object in uw scènehiërarchie en selecteert u het.
Het veld Objectdetectiebeheer in het onderdeel SceneController is leeg. Sleep objectDetectionManager van de hiërarchie naar het onderdeel SceneController en sla de scène op.
Afbeeldingen maken en uploaden
Voer de scène uit en selecteer Object instellen. Voer de naam in voor een van de bijgehouden objecten die u in de vorige les hebt gemaakt. Selecteer de knop Computer Vision onderaan de objectkaart.
Er wordt een nieuw venster geopend. U neemt zes foto's om het model te trainen voor afbeeldingsherkenning. Selecteer de knop Camera en voer een AirTap uit om het object te zien dat u wilt bijhouden. Doe dit zes keer.
Tip
Als u de modeltraining wilt verbeteren, probeert u elke afbeelding vanuit verschillende hoeken en belichtingsomstandigheden te maken.
Zodra u voldoende afbeeldingen hebt, selecteert u de knop Trainen om het modeltrainingsproces in de cloud te starten. Hiermee worden alle afbeeldingen geüpload en wordt de training gestart. Het proces kan enkele minuten duren. Een bericht in het menu geeft de huidige voortgang aan. Zodra wordt aangegeven dat het proces is voltooid, kunt u de toepassing stoppen.
Tip
ObjectDetectionManager (script) uploadt rechtstreeks gemaakte afbeeldingen naar de Custom Vision-service. Als alternatief accepteert de Custom Vision-API URL's voor de afbeeldingen. Als oefening kunt u de ObjectDetectionManager (script) wijzigen om de afbeeldingen te uploaden naar een Blob-opslag.
Waarschuwing
Als de training mislukt, controleert u uw Custom Vision-dashboard en zorgt u ervoor dat u ten minste twee tags hebt en dat elke tag ten minste vijf afbeeldingen heeft.
Objecten detecteren
U kunt het getrainde model nu aan de test toevoegen. Voer de toepassing uit. Selecteer Zoekobject in het hoofdmenu en voer de naam in van het betreffende bijgehouden object. De objectkaart wordt weergegeven. Selecteer vervolgens de knop Custom Vision . De *ObjectDetectionManager begint met het maken van afbeeldingsopnamen op de achtergrond van de camera. Het menu geeft de voortgang van de toepassing aan. Wijs de camera aan het object dat u hebt gebruikt om het model te trainen. Binnenkort moet het object worden gedetecteerd.