Erstellen einer Vision-Lösung ohne Code in Azure Percept Studio

Artikel
11/18/2022

Wichtig

Einstellung von Azure Percept DK:

Update vom 9. November 2022: Ein Firmwareupdate, mit dem Vision SoM und Audio SOM ihre Funktionalität mit dem DK über das Ausmusterungsdatum hinaus beibehalten können, wird vor dem Ausmusterungsdatum zur Verfügung gestellt.

Die Public Preview von Azure Percept wird weiterentwickelt und soll neue Edgegeräteplattformen und Entwicklerfunktionen unterstützen. Im Rahmen dieser Weiterentwicklung werden Azure Percept DK und Audio Accessory sowie die zugehörigen unterstützenden Azure-Dienste für Percept DK am 30. März 2023 eingestellt.

Ab dem 30. März 2023 werden Azure Percept DK und Audio Accessory von keinem Azure-Dienst mehr unterstützt, einschließlich Azure Percept Studio, Betriebssystemupdates, Containerupdates, Anzeige von Webstreams und Custom Vision-Integration. Ab diesem Zeitpunkt bietet Microsoft keinen Kundenerfolgssupport und keine unterstützenden Dienste mehr. Weitere Informationen finden Sie im Blogbeitrag zur Außerbetriebnahme.

Mit Azure Percept Studio können Sie benutzerdefinierte Lösungen für maschinelles Sehen (Computer Vision) entwickeln und bereitstellen, ohne Code schreiben zu müssen. In diesem Artikel werden die folgenden Themen behandelt:

Erstellen eines Vision-Projekts in Azure Percept Studio
Erfassen von Trainingsbildern mit Ihrem DevKit
Versehen Ihrer Trainingsbilder mit einer Bezeichnung in Custom Vision
Trainieren Ihres benutzerdefinierten Modells für die Objekterkennung oder Klassifizierung
Bereitstellen Ihres Modells für Ihr DevKit
Verbessern Ihres Modells durch Einrichten des erneuten Trainings

Dieses Tutorial ist für Entwickler geeignet, die über wenig oder gar keine KI-Erfahrung verfügen bzw. die gerade mit der Verwendung von Azure Percept beginnen.

Voraussetzungen

Azure Percept DK (DevKit)
Azure-Abonnement
Azure Percept DK-Setup: Sie haben Ihr DevKit mit einem WLAN verbunden, eine IoT Hub-Instanz erstellt und das DevKit mit der IoT Hub-Instanz verbunden.

Erstellen eines Prototyps für das Vision-Projekt

Starten Sie Ihren Browser, und navigieren Sie zu Azure Percept Studio.
Klicken Sie auf der Übersichtsseite auf die Registerkarte Demos und Tutorials.
Klicken Sie unter Vision tutorials and demos (Vision-Tutorials und -Demos) auf Create a vision prototype (Vision-Prototyp erstellen).
Gehen Sie auf der Seite New Azure Percept Custom Vision prototype (Neuer Azure Percept Custom Vision-Prototyp) wie folgt vor:
1. Geben Sie im Feld Projektname einen Namen für Ihren Vision-Prototyp ein.
2. Geben Sie im Feld Projektbeschreibung eine Beschreibung des Vision-Prototyps ein.
3. Wählen Sie im Dropdownmenü Gerätetyp die Option Azure Percept DK aus.
4. Wählen Sie im Dropdownmenü Ressource eine Ressource aus, oder klicken Sie auf Neue Ressource erstellen. Führen Sie im Fenster Erstellen Folgendes durch, falls Sie eine neue Ressource erstellen möchten:
  1. Geben Sie einen Namen für die neue Ressource ein.
  2. Wählen Sie Ihr Azure-Abonnement aus.
  3. Wählen Sie eine vorhandene Ressourcengruppe aus, oder erstellen Sie eine neue.
  4. Wählen Sie Ihre bevorzugte Region aus.
  5. Wählen Sie Ihren Tarif aus (Empfehlung: S0).
  6. Klicken Sie unten im Fenster auf Erstellen.
5. Wählen Sie unter Projekttyp aus, ob im Rahmen Ihres Vision-Projekts die Objekterkennung oder die Bildklassifizierung durchgeführt werden soll. Weitere Informationen zu den Projekttypen erhalten Sie, wenn Sie auf Entscheidungshilfe klicken.
6. Wählen Sie unter Optimierung aus, ob Ihr Projekt in Bezug auf Genauigkeit, geringe Netzwerklatenz oder (soweit möglich) beides optimiert werden soll.
7. Klicken Sie auf die Schaltfläche Erstellen .

Verbinden eines Geräts mit Ihrem Projekt und Erfassen von Bildern

Nach dem Erstellen einer Vision-Lösung müssen Sie dieser Ihr DevKit und die zugehörige IoT Hub-Instanz hinzufügen.

Schalten Sie Ihr DevKit ein.
Wählen Sie im Dropdownmenü IoT Hub die IoT Hub-Instanz aus, mit der Sie Ihr DevKit während des OOBE-Vorgangs verbunden haben.
Wählen Sie im Dropdownmenü Geräte Ihr DevKit aus.

Als Nächstes müssen Sie Bilder für das Training Ihres KI-Modells entweder laden oder erfassen. Wir empfehlen Ihnen, mindestens 30 Bilder pro Tagtyp hochzuladen. Wenn Sie beispielsweise ein Erkennungsmodul für Hunde und Katzen entwickeln möchten, müssen Sie mindestens 30 Bilder von Hunden und 30 Bilder von Katzen hochladen. Gehen Sie wie folgt vor, um mit dem Vision-SoM Ihres DevKit Bilder zu erfassen:

Wählen Sie im Fenster Image capture (Bilderfassung) die Option View device stream (Gerätestream anzeigen) aus, um den Videodatenstrom des Vision-SoM anzuzeigen.
Überprüfen Sie den Videodatenstrom, um sicherzustellen, dass die Kamera Ihres Vision-SoM für die Aufnahme der Trainingsbilder richtig ausgerichtet ist. Nehmen Sie bei Bedarf entsprechende Anpassungen vor.
Klicken Sie im Fenster Image capture (Bilderfassung) auf Take photo (Foto aufnehmen).
Alternativ können Sie auch eine automatisierte Bilderfassung einrichten, um gleichzeitig eine große Zahl von Bildern zu erfassen. Aktivieren Sie hierfür das Kontrollkästchen Automatic image capture (Automatische Bilderfassung). Wählen Sie unter Capture rate (Erfassungsrate) die gewünschte Rate für die Erfassung und unter Ziel die Gesamtzahl an zu erfassenden Bildern aus. Klicken Sie auf Set automatic capture (Automatische Erfassung festlegen), um den Prozess für die automatische Bilderfassung zu starten.

Nachdem eine ausreichende Zahl von Fotos erfasst wurde, klicken Sie unten auf dem Bildschirm auf Next: Tag images and model training (Weiter: Bilder kennzeichnen und Modelltraining). Alle Bilder werden in Custom Vision gespeichert.

Hinweis

Falls Sie sich dafür entscheiden, Trainingsbilder direkt in Custom Vision hochzuladen, sollten Sie den Hinweis beachten, dass die Bilddateigröße 6 MB nicht überschreiten darf.

Kennzeichnen von Bildern und Trainieren Ihres Modells

Fügen Sie Ihren Bildern Bezeichnungen hinzu, bevor Sie Ihr Modell trainieren.

Klicken Sie auf der Seite Tag images and model training (Bilder kennzeichnen und Modelltraining) auf Open project in Custom Vision (Projekt in Custom Vision öffnen).
Klicken Sie links auf der Seite Custom Vision unter Tags auf Untagged (Ohne Tags), um die Bilder anzuzeigen, die Sie eben im vorherigen Schritt erfasst haben. Wählen Sie eines oder mehrere Ihrer nicht mit Tags gekennzeichneten Bilder aus.
Klicken Sie im Fenster Image Detail (Bilddetail) auf das Bild, um mit dem Kennzeichnen zu beginnen. Falls Sie die Objekterkennung als Projekttyp ausgewählt haben, müssen Sie zusätzlich einen Begrenzungsrahmen um bestimmte Objekte ziehen, die Sie mit Tags kennzeichnen möchten. Passen Sie den Begrenzungsrahmen je nach Bedarf an. Geben Sie Ihr Objekttag ein, und klicken Sie auf + , um das Tag anzuwenden. Wenn Sie beispielsweise eine Vision-Lösung erstellen, bei der Sie benachrichtigt werden, dass ein Regel in einem Geschäft aufgefüllt werden muss, gehen Sie wie folgt vor: Sie fügen Bildern von leeren Regalen das Tag „Leeres Regal“ und Bildern von aufgefüllten Regalen das Tag „Volles Regal“ hinzu. Wiederholen Sie dies für alle nicht gekennzeichneten Bilder.
Klicken Sie nach dem Kennzeichnen Ihrer Bilder oben rechts im Fenster auf das Symbol X. Klicken Sie unter Tags auf Tagged (Mit Tags), um alle neu gekennzeichneten Bilder anzuzeigen.
Nachdem Sie Ihre Bilder gekennzeichnet haben, können Sie Ihr KI-Modell trainieren. Klicken Sie hierzu oben auf der Seite auf Trainieren. Zum Trainieren des Modells müssen mindestens 15 Bilder pro Tagtyp vorhanden sein (Empfehlung: mindestens 30 Bilder). Das Training dauert normalerweise ca. 30 Minuten, aber der Vorgang kann auch mehr Zeit in Anspruch nehmen, wenn Ihr Satz an Bildern sehr umfangreich ist.
Nach Abschluss des Trainingsvorgangs wird die Leistung Ihres Modells auf dem Bildschirm angezeigt. Weitere Informationen zum Auswerten dieser Ergebnisse finden Sie unter Auswerten des Erkennungsmoduls. Nach dem Training haben Sie auch die Möglichkeit, Ihr Modell mit weiteren Bildern zu testen und das Training bei Bedarf zu wiederholen. Jeder Trainingsvorgang für Ihr Modell wird als neue Iteration gespeichert. Weitere Informationen zur Verbesserung der Modellleistung finden Sie in der Custom Vision-Dokumentation.

Hinweis

Falls Sie Ihr Modell anhand von weiteren Bildern in Custom Vision testen möchten, sollten Sie beachten, dass die Dateigröße der Testbilder 4 MB nicht überschreiten darf.

Wenn Sie mit der Leistung Ihres Modells zufrieden sind, können Sie Custom Vision schließen, indem Sie die Browserregisterkarte schließen.

Bereitstellen Ihres KI-Modells

Wechseln Sie zurück zur Azure Percept Studio-Registerkarte, und klicken Sie unten auf dem Bildschirm auf Next: Evaluate and deploy (Weiter: Auswerten und bereitstellen).
Im Fenster Evaluate and deploy (Auswerten und bereitstellen) wird die Leistung Ihrer ausgewählten Modelliteration angezeigt. Wählen Sie im Dropdownmenü Model iteration (Modelliteration) die Iteration aus, die Sie für Ihr DevKit bereitstellen möchten, und klicken Sie unten auf dem Bildschirm auf Deploy model (Modell bereitstellen).
Nachdem Sie Ihr Modell bereitgestellt haben, können Sie den Videodatenstrom Ihres Geräts anzeigen, um die Modellrückschlüsse in Aktion zu sehen.

Nachdem Sie dieses Fenster geschlossen haben, können Sie Ihr Vision-Projekt jederzeit bearbeiten, indem Sie auf der Startseite von Azure Percept Studio unter KI-Projekte auf Vision klicken und den Namen Ihres Vision-Projekts auswählen.

Verbessern Ihres Modells durch Einrichten des erneuten Trainings

Nachdem Sie Ihr Modell trainiert und auf dem Gerät bereitgestellt haben, können Sie die Modellleistung verbessern, indem Sie die Parameter für das erneute Training einrichten, um weitere Trainingsdaten zu erfassen. Dieses Feature ermöglicht die Erfassung von Bildern auf der Grundlage eines Wahrscheinlichkeitsbereichs, um die Leistung eines trainierten Modells zu verbessern. So können Sie beispielsweise festlegen, dass Ihr Gerät nur Trainingsbilder erfassen soll, wenn die Wahrscheinlichkeit niedrig ist. Hier finden Sie einige zusätzliche Anleitungen zum Hinzufügen weiterer Bilder sowie zum Ausbalancieren von Trainingsdaten.

Kehren Sie zum Einrichten des erneuten Trainings zu Ihrem Projekt zurück, und navigieren Sie zur Projektzusammenfassung.
Wählen Sie auf der Registerkarte Bilderfassung die Option Automatische Bilderfassung und anschließend Erneutes Training einrichten aus.
Richten Sie die automatisierte Bilderfassung ein, um gleichzeitig eine große Zahl von Bildern zu erfassen. Aktivieren Sie hierfür das Kontrollkästchen Automatische Bilderfassung.
Wählen Sie unter Capture rate (Erfassungsrate) die gewünschte Rate für die Erfassung und unter Ziel die Gesamtzahl an zu erfassenden Bildern aus.
Wählen Sie im Abschnitt Erneutes Training einrichten die Iterationen aus, für die Sie weitere Trainingsdaten erfassen möchten, und wählen Sie anschließend den Wahrscheinlichkeitsbereich aus. In Ihr Projekt werden nur Bilder hochgeladen, die der Wahrscheinlichkeitsrate entsprechen.

Bereinigen von Ressourcen

Falls Sie für dieses Tutorial eine neue Azure-Ressource erstellt haben und Sie Ihre Vision-Lösung nicht weiterentwickeln oder nutzen möchten, sollten Sie die folgenden Schritte ausführen, um die Ressource zu löschen:

Öffnen Sie das Azure-Portal.
Klicken Sie auf Alle Ressourcen.
Aktivieren Sie das Kontrollkästchen neben der Ressource, die Sie in diesem Tutorial erstellt haben. Als Ressourcentyp wird Cognitive Services angezeigt.
Klicken Sie oben auf dem Bildschirm auf das Symbol Löschen.

Exemplarische Vorgehensweise per Video

Eine visuelle exemplarische Vorgehensweise für die oben beschriebenen Schritte finden Sie im folgenden Video:

Nächste Schritte

Sehen Sie sich als Nächstes die Gewusst-wie-Artikel zum maschinellen Sehen an, um sich über weitere Features von Vision-Lösungen in Azure Percept Studio zu informieren.