Bildklassifizierung mit Custom Vision und Windows Machine Learning

In diesem Leitfaden erfahren Sie, wie Sie: Trainieren eines neuronalen Netzwerkmodells zum Klassifizieren von Bildern von Lebensmitteln mithilfe des Azure Custom Vision-Diensts; Exportieren des Modells in das ONNX-Format; und stellen Sie das Modell in einer Windows Machine Learning (Windows ML)-Anwendung bereit, die lokal auf einem Windows-Gerät ausgeführt wird. Sie benötigen keine Vorkenntnisse im Bereich des maschinellen Lernens! Wir führen Sie Schritt für Schritt durch den Prozess.

Wenn Sie erfahren möchten, wie Sie ein Modell mit Custom Vision erstellen und trainieren, können Sie mit Trainieren eines Modells fortfahren.

Wenn Sie über ein Modell verfügen und erfahren möchten, wie Sie eine Windows ML-App von Grund auf neu erstellen, lesen Sie das vollständige Tutorial für Windows ML-Apps.

Wenn Sie mit einem bereits vorhandenen Visual Studio-Projekt für eine Windows ML-App beginnen möchten, können Sie die Beispiel-App für Custom Vision und Windows ML-Tutorials klonen und diese als Ausgangspunkt verwenden.

Szenario

In diesem Tutorial erstellen wir eine Machine Learning-Anwendung zur Lebensmittelklassifizierung, die auf Windows-Geräten ausgeführt wird. Das Modell wird darauf trainiert, bestimmte Arten von Mustern zu erkennen, um ein Bild von Lebensmitteln zu klassifizieren, und wenn es ein Bild erhält, gibt es ein Klassifizierungs-Tag und den zugehörigen prozentualen Konfidenzwert dieser Klassifizierung zurück.

Voraussetzungen für das Modelltraining

Zum Erstellen und Trainieren eines Modells benötigen Sie ein Abonnement für Azure Custom Vision Services.

Wenn Sie noch nicht bei Azure sind, können Sie sich für ein kostenloses Azure-Konto registrieren. Dies gibt Ihnen die Möglichkeit, Machine Learning-Modelle mit Azure AI zu erstellen, zu trainieren und bereitzustellen.

Tipp

Sind Sie daran interessiert, mehr über Azure-Registrierungsoptionen und kostenlose Azure-Konten zu erfahren? Schauen Sie sich dann Erstellen eines Azure-Kontos an.

Voraussetzungen für die Bereitstellung der Windows ML-App

Zum Erstellen und Bereitstellen einer Windows ML-App benötigen Sie Folgendes:

• Windows 10, Version 1809 (Build 17763) oder höher. Sie können ihre Buildversionsnummer überprüfen, indem Sie den Befehl winver" (Windows-Logo-Taste +R) ausführen.
• Windows SDK für Build 17763 oder höher. Informationen zum Herunterladen finden Sie unter Windows SDK.
• Visual Studio 2017 Version 15.7 oder höher; Es wird jedoch empfohlen, Visual Studio 2022 oder höher zu verwenden. Einige Screenshots in diesem Tutorial können von der Benutzeroberfläche abweichen, die Sie sehen werden. Informationen zum Herunterladen von Visual Studio finden Sie unter Downloads und Tools für die Windows-Entwicklung.
• Windows ML Code Generator (mlgen) Visual Studio-Erweiterung. Laden Sie es für Visual Studio 2019 oder höher oder für Visual Studio 2017 herunter.
• Wenn Sie sich entscheiden, eine UWP-App (Universelle Windows-Plattform) zu erstellen, müssen Sie die Entwicklungsworkload für die Universelle Windows-Plattform in Visual Studio aktivieren.
• Aktivieren des Entwicklermodus auf Ihrem PC – siehe Aktivieren Ihres Geräts für die Entwicklung.

Hinweis

Windows ML-APIs sind in die neuesten Versionen von Windows 10 (1809 oder höher) und Windows Server 2019 integriert. Wenn es sich bei Ihrer Zielplattform um eine ältere Version von Windows handelt, können Sie Ihre Windows ML-App in das verteilbare NuGet-Paket (Windows 8.1 oder höher) portieren.

Vorbereiten der Daten

Machine-Learning-Modelle müssen mit vorhandenen Daten trainiert werden. In diesem Leitfaden verwenden Sie einen Datensatz mit Lebensmittelbildern aus Kaggle Open Datasets. Dieser Datensatz wird unter der Public Domain-Lizenz vertrieben.

Von Bedeutung

Um dieses Dataset zu verwenden, müssen Sie sich an die Nutzungsbedingungen der Kaggle-Site und die Lizenzbedingungen halten, die dem Food-11 Dataset selbst beiliegen. Microsoft gibt keine Garantie oder Zusicherung in Bezug auf die Website oder dieses Dataset.

Das Dataset besteht aus drei Aufteilungen – Auswertung, Schulung und Validierung – und enthält 16.643 Lebensmittelbilder, die in 11 Hauptlebensmittelkategorien gruppiert sind. Die Bilder im Dataset jeder Lebensmittelkategorie werden in einem separaten Ordner abgelegt, was den Modelltrainingsprozess komfortabler macht.

Laden Sie das Dataset aus dem Image-Dataset Food-11 herunter. Das Dataset ist etwa 1 GB groß, und Sie werden möglicherweise aufgefordert, ein Konto auf der Kaggle-Website zu erstellen, um die Daten herunterzuladen.

Wenn Sie möchten, können Sie gerne einen anderen Datensatz mit relevanten Bildern verwenden. Es wird empfohlen, mindestens 30 Bilder pro Tag im anfänglichen Trainingssatz zu verwenden. Sie sollten auch ein paar zusätzliche Bilder sammeln, um Ihr Modell zu testen, sobald es trainiert ist.

Stellen Sie außerdem sicher, dass alle Ihre Trainingsbilder die folgenden Kriterien erfüllen:

• .jpg, .png, .bmpoder .gif format.
• Nicht größer als 6 MB (4 MB für Vorhersagebilder).
• Nicht weniger als 256 Pixel auf der kürzesten Kante; Alle Bilder, die kürzer sind, werden vom Custom Vision Service automatisch hochskaliert.

Nächste Schritte

Nachdem Sie die Voraussetzungen geklärt und das Dataset vorbereitet haben, können Sie mit der Erstellung Ihres Windows ML-Modells fortfahren. Im nächsten Teil (Trainieren des Modells mit Custom Vision) verwenden Sie die webbasierte Custom Vision-Schnittstelle, um Ihr Klassifizierungsmodell zu erstellen und zu trainieren.