Übung: Entwerfen einer Lösung für maschinelles Sehen

  • 5 Minuten

In diesem Modul erstellen Sie eine Bilderkennungslösung mit einem IoT Edge-Gerät, das über Audio kommunizieren kann. Diese Lösung wird drei Azure-Dienste nutzen, die jeweils ein kostenloses Angebot haben.

Sie richten die IoT Edge-Runtime auf Ihrem Linux-Computer ein, damit dieser als IoT Edge-Gerät fungiert. Sie verwenden Visual Studio Code, um Ihre Lösung am Rand bereitzustellen.

Lösungskomponenten

Die Lösung wird auf Azure IoT Edge ausgeführt und besteht aus mehreren Diensten, die gemeinsam funktionieren.

  • Das Kameraaufnahmemodul scannt Elemente mithilfe einer Kamera.
  • Das Bildklassifizierungsmodul identifiziert das Element. Das Bildklassifizierungsmodul besteht aus einem Machine Learning-Modell, das mit Bildern von Obst trainiert wurde, die die gescannten Elemente klassifiziert.
  • Das Text-in-Sprachmodul konvertiert die Elementbezeichnung in Sprache. Danach wird der Name des gescannten Elements auf dem Lautsprecher wiedergegeben. Das Text-in-Sprachmodul konvertiert den Namen des gescannten Elements mithilfe von Azure Speech Services in Audiosprache.
  • Eine USB-Kamera erfasst Bilder von Gegenständen, die gekauft werden sollen.
  • Ein Lautsprecher wird für die Wiedergabe des Elements verwendet, das vom Text erkannt wird.
  • Azure IoT Hub (kostenlose Ebene) verwaltet die Azure IoT Edge-Geräte, die zum Implementieren der Lösung verwendet werden.
  • Azure Speech Services (kostenlose Ebene) generiert natürliche Spracherkennung, die den Käufer über das gescannte Element informiert.
  • Der Azure Custom Vision-Dienst wird verwendet, um das Fruchtmodell zu erstellen, das für die Imageklassifizierung verwendet wird.
  • Visual Studio Code ist ein Quellcode-Editor. Sie verwenden Visual Studio Code als Entwicklungstool für das IoT-Gerät.

Vorgehensweise

Die allgemeinen Modulschritte sind:

  1. Konfigurieren eines IoT Edge-Geräts

    a) Erstellen eines IoT-Hubs

    b. Erstellen Sie ein Edge-Gerät in Ihrem Hub

    c. Installieren der IoT Edge-Runtime unter Linux

    d. Festlegen der Verbindungszeichenfolge auf Azure IoT Edge

  2. Klonen des Repositorys

  3. Erstellen von Azure Speech Service

  4. Erstellen und Bereitstellen der Lösung

  5. Überwachen der Lösung

Nach Abschluss des Moduls fungiert Ihr Linux-Computer als IoT Edge-Gerät und wird für den IoT Hub konfiguriert. Die Module sind dann auf dem Edgegerät bereitgestellt. Die resultierende Lösung führt die Imageklassifizierung mithilfe von Azure AI-Diensten für das Self-Checkout-Szenario aus.