Indførelsen

  • 5 minutter

Billedklassificering kan bruges i mange indlejrede kantscenarier, hvor en enhed skal mærke et lille billede lokalt i stedet for at sende inputtet til en anden computer for slutning.

Azure Sphere gør det muligt for dig at bygge og køre en realtidskompatibel applikation (RTApp) på en MT3620 Cortex-M4F realtidskerne. I dette modul kører RTApp lokal helbilledklassifikation mod ét kompileringstid 32x32 RGB inputbillede ved brug af en forudtrænet, prækvantiseret neural netværksmodel. I denne sammenhæng refererer realtid til den Azure Sphere realtidskompatible kerne, der kører RTApp; modulet evaluerer kun det kompilerede billede og behandler ikke strømme eller udleder områder inden for et billede.

Antag, at du vurderer, om en sikret mikrocontroller kan køre en lille billedklassifikationsarbejdsbelastning ved den indlejrede kant. Du har et CIFAR-10 klassebillede, som allerede er konverteret til C-data til applikationen. Du vil bygge RTApp, sideloade det til et Azure Sphere-udviklingskit til lokal testning og se klasseresultatet ud fra enhedens output.

Azure Sphere-enheder kan være internetforbundet til enhedsadministration, OS-opdateringer, cloud-implementeringer og højniveauapplikationer. RTApp-inferensstien i dette modul er lokal for enheden; Azure Sphere RTApps bruger ikke internettet eller Azure Sphere OS-applikationsbibliotekerne.

Illustrationen viser et billedklassificeringsprogram, der kører på Azure Sphere.

Ved slutningen af dette modul vil du kunne implementere lokal helbilledklassifikation på en Azure Sphere realtidskompatibel kerne ved at bruge en forudtrænet, prækvantiseret CIFAR-10-model.

Læringsmål

I dette modul skal du:

  • Implementer lokal billedklassificering på en mikrocontroller-enhed ved hjælp af en forudtrænet, prækvantiseret neural netværksmodel.
  • Beskriv, hvordan Azure Sphere-komponenter understøtter lokal udrulning og eksekvering på en realtidskompatibel kerne, med opsætnings- og opdateringstjenester som baggrundskontekst for enhedsadministration.

Forudsætninger

  • En Azure-konto med et aktivt abonnement og en ressourcegruppe til Azure Sphere-ressourcer.
  • Et Azure Sphere-udviklingssæt, såsom et MT3620-udviklingssæt.
  • En udviklingscomputer, der kører Windows 11, Windows 10 Anniversary Update eller senere, Ubuntu 24.04 LTS x64 eller Ubuntu 22.04 LTS x64.
  • USB-adgang fra værtscomputeren til udviklingskittet; hvis du bruger en virtuel maskine, understøtter du USB pass-through.
  • Azure Sphere SDK installeret til dit operativsystem.
  • På Linux, sudo tilladelse. Installer net-tools og før du kører SDK-installationsprogrammet, svar Y når den beder om at sætte standardreglen udev og azsphere gruppen op, log så ud og ind igen (eller genstart) før du kører az sphere kommandoer.curl
  • Azure CLI 2.45.0 eller nyere med Azure Sphere-udvidelsen installeret og logget ind på dit Azure-abonnement.
  • Visual Studio Code med Azure Sphere og CMake Tools-udvidelserne installeret.
  • CMake og Ninja er installeret og tilgængeligt på din PATH.
  • GNU Arm Embedded Toolchain installeret til realtidsapplikationer.
  • Grundlæggende viden om Azure Sphere, Visual Studio Code, Git og GitHub.