Erstellen einer Lösung zur Personenzählung mit Azure Percept Vision

2022-11-29

Wichtig

Einstellung von Azure Percept DK:

Update vom 9. November 2022: Ein Firmwareupdate, mit dem Vision SoM und Audio SOM ihre Funktionalität mit dem DK über das Ausmusterungsdatum hinaus beibehalten können, wird vor dem Ausmusterungsdatum zur Verfügung gestellt.

Die Public Preview von Azure Percept wird weiterentwickelt und soll neue Edgegeräteplattformen und Entwicklerfunktionen unterstützen. Im Rahmen dieser Weiterentwicklung werden Azure Percept DK und Audio Accessory sowie die zugehörigen unterstützenden Azure-Dienste für Percept DK am 30. März 2023 eingestellt.

Ab dem 30. März 2023 werden Azure Percept DK und Audio Accessory von keinem Azure-Dienst mehr unterstützt, einschließlich Azure Percept Studio, Betriebssystemupdates, Containerupdates, Anzeige von Webstreams und Custom Vision-Integration. Ab diesem Zeitpunkt bietet Microsoft keinen Kundenerfolgssupport und keine unterstützenden Dienste mehr. Weitere Informationen finden Sie im Blogbeitrag zur Außerbetriebnahme.

Dieser Leitfaden konzentriert sich auf das Erkennen und Zählen von Personen mit Azure Percept DK-Hardware, Azure IoT Hub, Azure Stream Analytics und Power BI-Dashboard.

In diesem Tutorial werden ausführliche Schritte zum Erstellen, Konfigurieren und Implementieren der grundlegenden Komponenten dieser Lösung erläutert. Benutzer können das Tutorial einfach erweitern und zusätzliche Möglichkeiten zum Visualisieren von Personenzählungsdaten erstellen.

Top-Kundenszenarien:

Personenzählungsintelligenz: Aggregation der Personenzählung über einen bestimmten Tag, eine bestimmte Woche oder einen bestimmten Zeitraum hinweg.
Auslastung: Bestimmen, wann ein Bereich frei und zur Verwendung verfügbar ist. Quantifizieren, wie lange der Bereich leer und unbenutzt ist.
Grundsätzliche Informationen über Spitzenbelegungen und die Zeiten ihres Auftretens.
Personenzählung nach Geschäftszeiten: Anzahl der Personen im Bereich außerhalb der Geschäftszeiten.

In diesem Tutorial lernen Sie Folgendes:

Einrichten Ihres KI-Modells für Azure Percept DK und Vision
Erstellen einer Container Registry-Ressource
Erstellen Ihrer Edge-Lösung und Pushen in die Containerregistrierung
Bereitstellen einer Edge-Lösung auf dem Gerät
Hinzufügen einer Consumergruppe zu Ihrem IoT Hub
Erstellen eines Stream Analytics-Auftrags
Erstellen und Veröffentlichen eines Power BI-Berichts zum Visualisieren der Daten

Lösungsarchitektur

Eingabe: Videostream aus Azure Percept DK
Ausgabe: Anzahl der Personen in Power BI-Dashboard

Azure-Abonnement: (Kostenloses Testkonto)
Power BI-Abonnement: (Kostenlose Power BI-Testversion)
Power BI-Arbeitsbereich: (Erstellen Sie die neuen Arbeitsbereiche in Power BI).
Azure Percept DK-Setup: Sie haben Ihr DevKit mit einem WLAN verbunden, eine IoT Hub-Instanz erstellt und das DevKit mit der IoT Hub-Instanz verbunden.
Herunterladen und Installieren von VS Code
Herunterladen und Installieren von Git
Installieren der IoT Hub-Erweiterung in VS Code
Installieren der Azure IoT Tools-Erweiterung in VS Code
Herunterladen und Installieren von Docker Desktop (erfordert einen Neustart des PCs)
(Nur für Windows Benutzer) Installieren von WSL2 durch Ausführung der folgenden Befehle in Windows PowerShell oder Terminal (unter macOS) (erfordert einen PC-Neustart)

wsl --install

wsl --set-default-version 2

Schritt 0: Einrichten Ihres KI-Modells für Azure Percept DK und Vision

Das Einrichten des Azure Percept DK ist der erste Schritt im Tutorial. Im Folgenden finden Sie die zu befolgenden Schritte und Links zu weiteren Anleitungen.

Befolgen Sie Schnellstart: Auspacken und Zusammensetzen der Komponenten Ihres Azure Percept DK und die nächsten Schritte.
Verbinden Sie das Kameramodul über das USB-C-Kabel mit dem Azure Percept DK.
Öffnen Sie die Eingabeaufforderung (für Windows) oder das Terminal (unter macOS), und führen Sie den Befehl aus:

git clone https://github.com/microsoft/Azure-Percept-Reference-Solutions.git

Wechseln Sie im geklonten Repository zum people-counting-with-azure-percept-vision-Verzeichnis.

Schritt 1: Erstellen einer Container Registry-Ressource

Azure Container Registry ist ein verwalteter, privater Docker-Registrierungsdienst, der auf der Open-Source-Docker-Registrierung basiert. Containerregistrierungen werden verwendet, um Ihre privaten Docker-Containerimages und zugehörigen Artefakte zu verwalten und zu speichern.

Melden Sie sich beim Azure-Portal https://portal.azure.com/ an.
Um eine Containerregistrierung zu erstellen, wechseln Sie zu Containerregistrierung erstellen – Microsoft Azure.

a. Wählen Sie Ihr Azure-Abonnement im Dropdownfeld Subscription aus.

b. Wählen Sie im Dropdownmenü Resource group Ihre bevorzugte Ressourcengruppe aus. Sie sollten die Resource group verwenden, die den mit dem Azure Percept DK verbundenen IoT-Hub enthält.

c. Geben Sie einen eindeutigen Registry Name an.

d. Wählen Sie unter Location die Region aus, in der Ressourcen bereitgestellt werden sollen (wir empfehlen West US).

e. Availability Zones – deaktiviert

f. Wählen Sie Standard für SKU aus.

g. Behalten Sie auf allen anderen Registerkarten die Standardeinstellungen bei, und klicken Sie am unteren Rand des Bildschirms auf Review + create. Sobald die Überprüfung erfolgreich ist, klicken Sie auf Create. Damit wird Ihre Containerregistrierung erstellt.
Wechseln Sie nach erfolgreicher Ressourcenbereitstellung zu Ihrer Containerregistrierungsressource. Wählen Sie im linken Scrollbereich Access Keys unter Settings aus, und enable Sie Admin user
Notieren Sie sich Login Server, Username und password
Wechseln Sie zum Git-Repository und zum people-counting-with-azure-percept-vision-Verzeichnis, und benennen Sie envtemplate in .env um. Öffnen Sie die Datei, und geben Sie die folgenden Details ein:

a. CONTAINER_REGISTRY_USERNAME= Ihr Containerregistrierungs-Benutzername

b. CONTAINER_REGISTRY_PASSWORD= Ihr Containerregistrierungs-Kennwort

c. CONTAINER_REGISTRY_LOGINSERVER= Ihr Containerregistrierungs-Anmeldeserver

Schritt 2: Erstellen Ihrer Edge-Lösung und Pushen in die Containerregistrierung

In diesem Abschnitt erfahren Benutzer, wie sie das geklonte Personenzählungs-Repository mit ihren individuellen Bereitstellungsinformationen ändern, das Modellimage erstellen und es in die Containerregistrierung pushen.

Öffnen Sie VS Code, und vergewissern Sie sich am unteren Bildschirmrand, dass Sie arm64v8 als Default Platform for IoT Edge Solution ausgewählt haben (falls nicht, klicken Sie, und wählen Sie „arm64v8“ in der Liste aus).
Wechseln Sie innerhalb des people-counting-with-azure-percept-vision-Verzeichnisses zum modules/CountModule/-Verzeichnis, und öffnen Sie module.json. Geben Sie Ihre Container registry address (identisch mit dem zuvor gespeicherten Login server) ein, gefolgt von einem repository nameContainer registry address.

"repository": "<Your container registry login server/repository name>"

ändert sich wie folgt, z. B.

"repository": "visiontrainingacr.azurecr.io/countmodule"
Nun erstellen Sie das Modulimage und pushen es in Ihre Containerregistrierung. Öffnen Sie das in Visual Studio Code integrierte Terminal, indem Sie View > Terminal auswählen.
Melden Sie sich bei Docker mit den Anmeldeinformationen für die Azure Container Registry (ACR) an, die Sie gespeichert haben, nachdem Sie die Registrierung mithilfe des folgenden Befehls im Terminal erstellt haben. Beachten Sie, dass dieser Befehl eine Warnung mit dem Hinweis ausgibt, dass die Verwendung von --password oder -p über die CLI unsicher ist. Wenn Sie daher für die Entwicklung künftiger Lösung eine sicherere Anmeldung wünschen, verwenden Sie stattdessen --password-stdin, indem Sie dieser Anleitung folgen.

docker login -u <ACR username> -p <ACR password> <ACR login server>
Visual Studio Code hat jetzt Zugriff auf Ihre Containerregistrierung. In den nächsten Schritten wandeln Sie den Projektmappencode in ein Containerimage um. Klicken Sie im Visual Studio Code-Explorer mit der rechten Maustaste auf die deployment.template.json-Datei, und wählen Sie Build and Push IoT Edge Solution aus.

Der Befehl zum Erstellen und Übertragen per Push startet drei Vorgänge. Zuerst erstellt er in der Projektmappe einen neuen Ordner mit dem Namen config. Darin ist das vollständige Bereitstellungsmanifest gespeichert, das aus Informationen in der Bereitstellungsvorlage und anderen Projektmappendateien erstellt wurde. Anschließend wird docker build zum Erstellen des Containerimages ausgeführt, das auf der entsprechenden Docker-Datei für Ihre Zielarchitektur basiert. Und schließlich führt er docker push aus, um das Imagerepository per Push in Ihre Containerregistrierung zu übertragen. Dieser Vorgang kann beim ersten Mal einige Minuten dauern, aber er ist bei der nächsten Ausführung von Befehlen schon schneller.
Öffnen Sie die deployment.arm64v8.json-Datei im neu erstellten Konfigurationsordner. Der Dateiname spiegelt die Zielarchitektur wider und weicht daher ab, wenn Sie eine andere Architektur wählen.
Beachten Sie Folgendes: Die beiden Parameter, die über Platzhalter verfügt haben, wurden jetzt durch die entsprechenden Werte ersetzt. Der Abschnitt registryCredentials enthält Ihren Benutzernamen und das zugehörige Kennwort für die Registrierung aus der ENV-Datei. Das CountModule verfügt über das vollständige Imagerepository mit name-, version- und architecture-Tag aus der module.json-Datei.
Sie können noch genauer überprüfen, was mit dem Befehl zum Erstellen und Pushen durchgeführt wurde, indem Sie im Azure-Portal zu Ihrer Containerregistrierung navigieren. Wählen Sie in Ihrer Containerregistrierung Repositories und dann countmodule aus.

Schritt 3: Bereitstellen einer Edge-Lösung auf dem Gerät

Schritt 3 leitet Benutzer durch das Erstellen und Bereitstellen eines Manifests im Azure Percept Dev Kit. Diese Bereitstellung erstellt ein neues Edge-Modul „CountModule“ und überschreibt alle vorherigen Bereitstellungen von „CountModule“.

Erweitern Sie im Visual Studio Code-Explorer Devices im Abschnitt Azure IoT Hub, um Ihre IoT-Geräteliste anzuzeigen.
Klicken Sie mit der rechten Maustaste auf das IoT Edge-Gerät, auf dem Sie die Bereitstellung durchführen möchten, und wählen Sie dann Create Deployment for Single Device aus.
Navigieren Sie im Datei-Explorer zum Ordner config, wählen Sie die Datei deployment.arm64v8.json aus, und klicken Sie auf Select Edge Deployment Manifest.

Verwenden Sie nicht die Datei „deployment.template.json“, da sie nicht die Anmeldeinformationen für die Containerregistrierung bzw. die Modulimagewerte enthält.
Erweitern Sie unter Ihrem Gerät Modules, um eine Liste mit bereitgestellten und ausgeführten Modulen anzuzeigen. Klicken Sie auf die Schaltfläche „Aktualisieren“. Sie sollten sehen, dass CountModule auf Ihrem Gerät ausgeführt wird.
Wechseln Sie zu Azure Percept Studio, und wählen Sie im linken Bereich „Geräte“ und dann Ihr Azure Percept-Gerät aus.
Stellen Sie sicher, dass Ihr Gerät Connected ist. Klicken Sie auf Vision.
Klicken Sie auf View your device stream .
Im vorherigen Schritt werden Module auf Ihrem Gerät bereitgestellt. Klicken Sie auf der Registerkarte Notifications auf View Stream. Dadurch wird eine neue Registerkarte in Ihrem Browser geöffnet. Vergewissern Sie sich, dass der Videostream angezeigt wird. Wenn Sie das Kameramodul auf eine Person richten, wird die Personenerkennung mit Begrenzungsrahmen angezeigt.
Nachdem Sie den Videostream und die Begrenzungsrahmen überprüft haben, schließen Sie die Registerkarte des Webstreambrowsers.
Um sicherzustellen, dass das Zählmodul ordnungsgemäß eingerichtet ist, wechseln Sie im Azure-Portal zu Ihrem IoT-Hub. Wählen Sie im linken Bereich IoT Edge unter Device management aus.
Klicken Sie in der IoT-Geräteliste auf Ihr Azure Percept DK-Gerät.
Scrollen Sie nach unten, um zu überprüfen, ob sich alle bereitgestellten Module im Status running befinden.
Klicken Sie auf Troubleshoot.
Wählen Sie in der Dropdownliste CountModule aus.
Stellen Sie sicher, dass die People_Count-Protokolle wie folgt angezeigt werden:

Schritt 4: Hinzufügen einer Consumergruppe zu Ihrer IoT Hub-Instanz

Consumergruppen bieten unabhängige Ansichten des Ereignisstreams, die Apps und Azure-Diensten ermöglichen, unabhängig Daten zu nutzen. Diese Consumergruppe wird von dem in Schritt 5 erstellten Stream Analytics-Auftrag verwendet.

Navigieren Sie im Azure-Portal zu dem IoT-Hub, der mit Ihrem Azure Percept DK verbunden ist.
Wählen Sie im linken Bereich Hub settings > Built-in endpoints aus. Geben Sie im Textfeld unter Consumer Groups einen Namen für Ihre neue Consumergruppe ein.
Klicken Sie auf eine beliebige Stelle außerhalb des Textfelds, um die Consumergruppe zu speichern.

Schritt 5: Erstellen eines Stream Analytics-Auftrags

Schritt 5 führt Benutzer durch das Erstellen, Konfigurieren und Ausführen eines Stream Analytics-Auftrags. Stream Analytics ist der langsamste Pfad, um Daten aus einem Azure IoT-Hub in Echtzeit in einen Power BI-Arbeitsbereich zu streamen. Wir erstellen eine Abfrage, sodass nur Telemetriedaten zur Personenzählung gestreamt wird. Sobald sich die Personenzählungsdaten in unserem Power BI-Arbeitsbereich befinden, ist es einfach, sie mit einem Power BI-Bericht zu rendern.

Navigieren Sie zu Neuer Stream Analytics-Auftrag – Microsoft Azure.
Geben Sie die folgenden Informationen für den Auftrag ein:
- Job name: Der Name des Auftrags. Der Name muss global eindeutig sein.
- Resource group: Verwenden Sie dieselbe Ressourcengruppe wie für Ihren IoT Hub.
- Location: Verwenden Sie denselben Speicherort wie für Ihre Ressourcengruppe.
Klicken Sie auf Create.

Hinzufügen einer Eingabe zum Stream Analytics-Auftrag

Öffnen Sie den zuvor erstellten Stream Analytics Auftrag. Wählen Sie unter Job topology die Option Inputs aus.
Wählen Sie im Inputs-Bereich Add stream input aus, und wählen Sie dann IoT Hub in der Dropdownliste aus.
Geben Sie im neuen Eingabebereich die folgenden Informationen ein:
- Input alias: Geben Sie einen eindeutigen Alias für die Eingabe ein.
- Select IoT Hub from your subscription: Wählen Sie dieses Optionsfeld aus.
- Subscription: Wählen Sie das Azure-Abonnement aus, das Sie für dieses Lab verwenden.
- IoT Hub: Wählen Sie den IoT-Hub aus, den Sie für dieses Tutorial verwenden.
- Consumer group: Wählen Sie die Consumergruppe aus, die Sie zuvor erstellt haben.
- Shared access policy name: Wählen Sie den Namen der SAS-Richtlinie aus, die vom Stream Analytics-Auftrag für Ihren IoT Hub verwendet werden soll. Für dieses Lab können Sie den Dienst auswählen.
- Shared access policy key: Dieses Feld wird auf Grundlage des von Ihnen ausgewählten Namens der SAS-Richtlinie automatisch ausgefüllt.
- Endpoint: Wählen Sie Messaging aus.
Übernehmen Sie für alle anderen Felder die Standardeinstellungen.
Klicken Sie auf Save.

Hinzufügen einer Ausgabe zum Stream Analytics-Auftrag

Erstellen Sie einen Gruppenarbeitsbereich, und gehen Sie dabei wie folgt vor:

a. Öffnen Sie auf einer neuen Webbrowserregisterkarte Power BI.

b. Klicken Sie im linken Bereich auf Workspaces > Create a workspace.

c. Geben Sie Ihrem Arbeitsbereich einen Namen und eine Beschreibung (optional), und klicken Sie auf Save .

d. Wechseln Sie wieder zurück zum Azure-Portal und dem Stream Analytics-Auftrag.
Wählen Sie unter Job topology die Option Outputs aus.
Wählen Sie im Outputs-Bereich Add aus, und wählen Sie dann Power BI in der Dropdownliste aus.
Geben Sie die folgenden Informationen ein:
- Output alias: Ein eindeutiger Alias für die Ausgabe
- Select Group workspace from your subscriptions: Wählen Sie dieses Optionsfeld aus.
- Group workspace: Wählen Sie den Zielgruppen-Arbeitsbereich aus.
- Dataset name: Geben Sie einen Datasetnamen ein.
- Table name: Geben Sie einen Tabellennamen ein.
- Authentication mode: Benutzertoken
Wählen Sie im Power BI - New output-Bereich Authorize aus, und folgen Sie den Aufforderungen, um sich bei Ihrem Power BI-Konto anzumelden.
Klicken Sie auf Save .

Konfigurieren der Abfrage des Stream Analytics-Auftrags

Wählen Sie unter Job topology die Option Query aus.
Ersetzen Sie [YourInputAlias] durch den Eingabealias des Auftrags.
Ersetzen Sie [YourOutputAlias] durch den Ausgabealias des Auftrags.
Fügen Sie als letzte Zeile der Abfrage die folgende WHERE-Klausel ein. Diese Zeile stellt sicher, dass nur Nachrichten mit der Eigenschaft People_Count an Power BI weitergeleitet werden.

WHERE People_Count IS NOT NULL
In diesem Fall sieht die Abfrage wie folgt aus:
Klicken Sie auf Save Query.

Hinweis: Die Eigenschaft wird vom countmodule an den IoT-Hub gesendet und wird an den Stream Analytics-Auftrag weitergeleitet.

Ausführen des Stream Analytics-Auftrags

Wählen Sie im Stream Analytics-Auftrag Overview und dann Start > Now > Start aus.
Sobald der Auftrag erfolgreich gestartet wurde, ändert sich der Status des Auftrags von Stopped in Running.

Schritt 6: Erstellen und Veröffentlichen eines Power BI-Berichts zum Visualisieren der Daten

In diesem Schritt erfahren Benutzer, wie sie aus den Telemetriedaten der Personenzählung einen Power BI-Bericht erstellen können. In diesem Tutorial werden die ersten Schritte zum Visualisieren der Personenzählungsdaten beschrieben. Benutzer, die daran interessiert sind, mehr Möglichkeiten zum Transformieren, Aggregieren und Visualisieren ihrer Daten zu erfahren, finden Ideen und Vorlagen auf der Power BI-Produktseite.

Melden Sie sich bei Power BI an, und wählen Sie Ihren Arbeitsbereich aus (dies ist derselbe Gruppenarbeitsbereich, den Sie bei der Erstellung der Stream Analytics-Auftragsausgabe verwendet haben).
Vergewissern Sie sich, dass Ihr Dataset vorhanden ist.
Wählen Sie im linken Scrollbereich die Option + Create aus, und klicken Sie dann auf Pick a published dataset.
Wählen Sie Ihr Dataset aus, und klicken Sie auf Create .
Erweitern Sie auf der rechten Seite die Fields-Dropdownliste, und wählen Sie EventEnqueuedUtcTime und ΣPeople_Count aus.
Wählen Sie unter Visualizations die Option Line and clustered column chart aus.
Dadurch wird ein Diagramm wie folgt generiert:
Klicken Sie regelmäßig auf Refresh, um das Diagramm zu aktualisieren.

Schritt 7: Bereinigen der Ressourcen

Falls Sie diese Anwendung nicht weiterverwenden möchten, löschen Sie die Azure-Ressourcen wie folgt:

Melden Sie sich beim Azure-Portal an, und wechseln Sie zu der für dieses Tutorial verwendeten . Wählen Sie die erstellte Stream Analytics Job-Ressource aus, beenden Sie die Ausführung des Auftrags, und löschen Sie ihn dann.
Melden Sie sich bei Power BI an, und wählen Sie Ihren Arbeitsbereich aus (dies ist derselbe Gruppenarbeitsbereich, den Sie bei der Erstellung der Stream Analytics-Auftragsausgabe verwendet haben). Löschen Sie den Arbeitsbereich.

Nächste Schritte

Sehen Sie sich das zweite Tutorial im Abschnitt „Erweiterte Prototyperstellung mit Azure Percept“ für Ihr Azure Percept DK-Gerät an.

Freigeben über