Delen via

Zelfstudie: Een objectdetectiemodel trainen met AutoML en Python

  • Artikel

VAN TOEPASSING OP:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

In deze zelfstudie leert u hoe u een objectdetectiemodel traint met behulp van geautomatiseerde ML van Azure Machine Learning met de Azure Machine Learning CLI-extensie v2 of de Azure Machine Learning Python SDK v2. Dit objectdetectiemodel identificeert of de afbeelding objecten bevat, zoals een blik, karton, melkfles of waterfles.

Geautomatiseerde ML accepteert trainingsgegevens en configuratie-instellingen en doorloopt automatisch combinaties van verschillende functienormalisatie-/standaardisatiemethoden, modellen en hyperparameterinstellingen om het beste model te bereiken.

In deze zelfstudie schrijft u code met behulp van de Python SDK en leert u de volgende taken:

  • Gegevens downloaden en transformeren
  • Een geautomatiseerd machine learning-objectdetectiemodel trainen
  • Hyperparameterwaarden opgeven voor uw model
  • Een hyperparameter opruimen
  • Uw model implementeren
  • Detecties visualiseren

Vereisten

  • Als u Azure Machine Learning wilt gebruiken, hebt u eerst een werkruimte nodig. Als u er nog geen hebt, voltooit u Resources maken die u nodig hebt om aan de slag te gaan met het maken van een werkruimte en meer informatie over het gebruik ervan.

  • Python 3.6 of 3.7 wordt ondersteund voor deze functie

  • Download en pak het *odFridgeObjects.zip gegevensbestand uit. De gegevensset wordt geannoteerd in Pascal VOC-indeling, waarbij elke afbeelding overeenkomt met een XML-bestand. Elk XML-bestand bevat informatie over waar het bijbehorende afbeeldingsbestand zich bevindt en bevat ook informatie over de begrenzingsvakken en de objectlabels. Als u deze gegevens wilt gebruiken, moet u deze eerst converteren naar de vereiste JSONL-indeling, zoals te zien is in de sectie De gedownloade gegevens converteren naar de JSONL-sectie van het notebook.

  • Gebruik een rekenproces om deze zelfstudie te volgen zonder verdere installatie. (Zie hoe u een rekenproces maakt.) Of installeer de CLI/SDK om uw eigen lokale omgeving te gebruiken.

    VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

    Deze zelfstudie is ook beschikbaar in de opslagplaats azureml-examples op GitHub. Als u deze wilt uitvoeren in uw eigen lokale omgeving:

    • Installeer en stel CLI (v2) in en zorg ervoor dat u de ml extensie installeert.

Configuratie van rekendoel

Notitie

Als u serverloze berekeningen (preview) wilt proberen, slaat u deze stap over en gaat u verder met het instellen van experimenten.

U moet eerst een rekendoel instellen dat moet worden gebruikt voor uw geautomatiseerde ML-modeltraining. Voor geautomatiseerde ML-modellen voor afbeeldingstaken zijn GPU-SKU's vereist.

In deze zelfstudie wordt gebruikgemaakt van de NCsv3-serie (met V100 GPU's) omdat dit type rekendoel meerdere GPU's gebruikt om de training te versnellen. Daarnaast kunt u meerdere knooppunten instellen om te profiteren van parallelle uitvoering bij het afstemmen van hyperparameters voor uw model.

Met de volgende code wordt een GPU-rekenkracht Standard_NC24s_v3 gemaakt met vier knooppunten.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

Maak een .yml-bestand met de volgende configuratie.

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: gpu-cluster
type: amlcompute
size: Standard_NC24s_v3
min_instances: 0
max_instances: 4
idle_time_before_scale_down: 120

Als u de berekening wilt maken, voert u de volgende CLI v2-opdracht uit met het pad naar uw .yml-bestand, werkruimtenaam, resourcegroep en abonnements-id.

az ml compute create -f [PATH_TO_YML_FILE] --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Experiment instellen

U kunt een experiment gebruiken om uw modeltrainingstaken bij te houden.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

De naam van het experiment kan als volgt worden opgegeven met de experiment_name sleutel:

experiment_name: dpv2-cli-automl-image-object-detection-experiment

Invoergegevens visualiseren

Zodra u de invoerafbeeldingsgegevens hebt voorbereid in JSONL-indeling (JSON Lines ), kunt u de begrenzingsvakken voor de grond waarheid voor een afbeelding visualiseren. Als u dit wilt doen, moet u ervoor zorgen dat u deze hebt matplotlib geïnstalleerd.

%pip install --upgrade matplotlib


%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import matplotlib.patches as patches
from PIL import Image as pil_image
import numpy as np
import json
import os

def plot_ground_truth_boxes(image_file, ground_truth_boxes):
    # Display the image
    plt.figure()
    img_np = mpimg.imread(image_file)
    img = pil_image.fromarray(img_np.astype("uint8"), "RGB")
    img_w, img_h = img.size

    fig,ax = plt.subplots(figsize=(12, 16))
    ax.imshow(img_np)
    ax.axis("off")

    label_to_color_mapping = {}

    for gt in ground_truth_boxes:
        label = gt["label"]

        xmin, ymin, xmax, ymax =  gt["topX"], gt["topY"], gt["bottomX"], gt["bottomY"]
        topleft_x, topleft_y = img_w * xmin, img_h * ymin
        width, height = img_w * (xmax - xmin), img_h * (ymax - ymin)

        if label in label_to_color_mapping:
            color = label_to_color_mapping[label]
        else:
            # Generate a random color. If you want to use a specific color, you can use something like "red".
            color = np.random.rand(3)
            label_to_color_mapping[label] = color

        # Display bounding box
        rect = patches.Rectangle((topleft_x, topleft_y), width, height,
                                 linewidth=2, edgecolor=color, facecolor="none")
        ax.add_patch(rect)

        # Display label
        ax.text(topleft_x, topleft_y - 10, label, color=color, fontsize=20)

    plt.show()

def plot_ground_truth_boxes_jsonl(image_file, jsonl_file):
    image_base_name = os.path.basename(image_file)
    ground_truth_data_found = False
    with open(jsonl_file) as fp:
        for line in fp.readlines():
            line_json = json.loads(line)
            filename = line_json["image_url"]
            if image_base_name in filename:
                ground_truth_data_found = True
                plot_ground_truth_boxes(image_file, line_json["label"])
                break
    if not ground_truth_data_found:
        print("Unable to find ground truth information for image: {}".format(image_file))

Met behulp van de bovenstaande helperfuncties kunt u voor elke afbeelding de volgende code uitvoeren om de begrenzingsvakken weer te geven.

image_file = "./odFridgeObjects/images/31.jpg"
jsonl_file = "./odFridgeObjects/train_annotations.jsonl"

plot_ground_truth_boxes_jsonl(image_file, jsonl_file)

Gegevens uploaden en MLTable maken

Als u de gegevens voor training wilt gebruiken, uploadt u gegevens naar de standaard blobopslag van uw Azure Machine Learning-werkruimte en registreert u deze als een asset. De voordelen van het registreren van gegevens zijn:

  • Eenvoudig te delen met andere leden van het team
  • Versiebeheer van de metagegevens (locatie, beschrijving, enzovoort)
  • Herkomst bijhouden

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

Maak een .yml-bestand met de volgende configuratie.

$schema: https://azuremlschemas.azureedge.net/latest/data.schema.json
name: fridge-items-images-object-detection
description: Fridge-items images Object detection
path: ./data/odFridgeObjects
type: uri_folder

Als u de afbeeldingen wilt uploaden als een gegevensasset, voert u de volgende CLI v2-opdracht uit met het pad naar uw .yml-bestand, werkruimtenaam, resourcegroep en abonnements-id.

az ml data create -f [PATH_TO_YML_FILE] --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

De volgende stap is het maken MLTable van uw gegevens in jsonl-indeling, zoals hieronder wordt weergegeven. MLtable verpakt uw gegevens in een verbruiksobject voor training.

paths:
  - file: ./train_annotations.jsonl
transformations:
  - read_json_lines:
        encoding: utf8
        invalid_lines: error
        include_path_column: false
  - convert_column_types:
      - columns: image_url
        column_type: stream_info

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

Met de volgende configuratie worden trainings- en validatiegegevens gemaakt uit de MLTable.

target_column_name: label
training_data:
  path: data/training-mltable-folder
  type: mltable
validation_data:
  path: data/validation-mltable-folder
  type: mltable

Uw objectdetectieexperiment configureren

Als u geautomatiseerde ML-taken wilt configureren voor taken met betrekking tot installatiekopieën, maakt u een taakspecifieke AutoML-taak.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

Als u serverloze rekenkracht (preview) wilt gebruiken, vervangt u de regel compute: azureml:gpu-cluster door deze code:

resources:
 instance_type: Standard_NC24s_v3
 instance_count: 4

task: image_object_detection
primary_metric: mean_average_precision
compute: azureml:gpu-cluster

Automatisch opschonen van hyperparameters voor afbeeldingstaken (AutoMode)

Belangrijk

Deze functie is momenteel beschikbaar als openbare preview-versie. Deze preview-versie wordt geleverd zonder een service level agreement. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

In uw AutoML-taak kunt u een automatische hyperparameter-sweep uitvoeren om het optimale model te vinden (we noemen deze functie AutoMode). U geeft alleen het aantal proefversies op; de zoekruimte van de hyperparameter, de samplingmethode en het beleid voor vroegtijdige beëindiging zijn niet nodig. Het systeem bepaalt automatisch de regio van de hyperparameterruimte die moet worden geveegd op basis van het aantal experimenten. Een waarde tussen 10 en 20 werkt waarschijnlijk goed voor veel gegevenssets.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

limits:
  max_trials: 10
  max_concurrent_trials: 2

Vervolgens kunt u de taak indienen om een afbeeldingsmodel te trainen.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

Als u uw AutoML-taak wilt verzenden, voert u de volgende CLI v2-opdracht uit met het pad naar uw .yml-bestand, werkruimtenaam, resourcegroep en abonnements-id.

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Handmatige hyperparameter opruimen voor afbeeldingstaken

In uw AutoML-taak kunt u de modelarchitecturen opgeven met behulp van model_name parameters en de instellingen configureren om een hyperparameter-sweep uit te voeren op een gedefinieerde zoekruimte om het optimale model te vinden.

In dit voorbeeld trainen we een objectdetectiemodel met yolov5 en fasterrcnn_resnet50_fpn, beide zijn vooraf getraind op COCO, een grootschalige gegevensset voor objectdetectie, segmentatie en bijschriften met meer dan duizenden gelabelde afbeeldingen met meer dan 80 labelcategorieën.

U kunt een hyperparameter-sweep uitvoeren op een gedefinieerde zoekruimte om het optimale model te vinden.

Taaklimieten

U kunt de resources beheren die zijn besteed aan uw Trainingstaak voor AutoML-installatiekopieën door de timeout_minutesen max_trials de max_concurrent_trials taak op te geven in de limietinstellingen. Raadpleeg de gedetailleerde beschrijving van parameters voor taaklimieten.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

limits:
  timeout_minutes: 60
  max_trials: 10
  max_concurrent_trials: 2

De volgende code definieert de zoekruimte ter voorbereiding op de hyperparameter-sweep voor elke gedefinieerde architectuur, yolov5 en fasterrcnn_resnet50_fpn. Geef in de zoekruimte het bereik van waarden op voor learning_rate, optimizer, lr_schedulerenzovoort, zodat AutoML kan kiezen terwijl wordt geprobeerd een model te genereren met de optimale primaire metriek. Als hyperparameterwaarden niet zijn opgegeven, worden standaardwaarden gebruikt voor elke architectuur.

Gebruik voor de afstemmingsinstellingen willekeurige steekproeven om voorbeelden uit deze parameterruimte te kiezen met behulp van de random sampling_algorithm. De taaklimieten die hierboven zijn geconfigureerd, vertellen geautomatiseerde ML om in totaal 10 experimenten uit te proberen met deze verschillende steekproeven, waarbij twee proefversies tegelijk worden uitgevoerd op ons rekendoel, dat is ingesteld met vier knooppunten. Hoe meer parameters de zoekruimte heeft, hoe meer experimenten u nodig hebt om optimale modellen te vinden.

Het beleid voor vroegtijdige beëindiging van Bandit wordt ook gebruikt. Dit beleid beëindigt slecht presterende experimenten; Dat wil gezegd, die experimenten die niet binnen de marge van 20% van de best presterende proefversie vallen, waardoor rekenresources aanzienlijk worden bespaard.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

sweep:
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

search_space:
  - model_name:
      type: choice
      values: [yolov5]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.01
    model_size:
      type: choice
      values: [small, medium]

  - model_name:
      type: choice
      values: [fasterrcnn_resnet50_fpn]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.001
    optimizer:
      type: choice
      values: [sgd, adam, adamw]
    min_size:
      type: choice
      values: [600, 800]

Zodra de instellingen voor zoekruimte en opruimen zijn gedefinieerd, kunt u de taak indienen om een afbeeldingsmodel te trainen met behulp van uw trainingsgegevensset.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

Als u uw AutoML-taak wilt verzenden, voert u de volgende CLI v2-opdracht uit met het pad naar uw .yml-bestand, werkruimtenaam, resourcegroep en abonnements-id.

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Wanneer u een hyperparameter opruimen uitvoert, kan het handig zijn om de verschillende proefversies te visualiseren die zijn geprobeerd met behulp van de HyperDrive-gebruikersinterface. U kunt naar deze gebruikersinterface navigeren door naar het tabblad Onderliggende taken in de gebruikersinterface van de hoofd-automl_image_job hierboven te gaan. Dit is de bovenliggende HyperDrive-taak. Vervolgens kunt u naar het tabblad Onderliggende taken van deze taak gaan.

U kunt hier ook direct de bovenliggende HyperDrive-taak zien en naar het tabblad Onderliggende taken navigeren:

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

CLI example not available, please use Python SDK.

Model registreren en implementeren

Zodra de taak is voltooid, kunt u het model registreren dat is gemaakt op basis van de beste proefversie (configuratie die heeft geresulteerd in de beste primaire metrische gegevens). U kunt het model registreren nadat u het hebt gedownload of door het pad met het azureml bijbehorende jobidpad op te geven.

Krijg de beste proefversie

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

CLI example not available, please use Python SDK.

Het model registreren

Registreer het model met behulp van het azureml pad of het lokaal gedownloade pad.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

 az ml model create --name od-fridge-items-mlflow-model --version 1 --path azureml://jobs/$best_run/outputs/artifacts/outputs/mlflow-model/ --type mlflow_model --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Nadat u het model hebt geregistreerd dat u wilt gebruiken, kunt u het implementeren met behulp van het beheerde online-eindpunt deploy-managed-online-endpoint

Online-eindpunt configureren

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: od-fridge-items-endpoint
auth_mode: key

Het eindpunt maken

Met behulp van de MLClient eerder gemaakte maken we nu het eindpunt in de werkruimte. Met deze opdracht wordt het maken van het eindpunt gestart en wordt een bevestigingsantwoord geretourneerd terwijl het maken van het eindpunt wordt voortgezet.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

az ml online-endpoint create --file .\create_endpoint.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

We kunnen ook een batch-eindpunt maken voor batchdeductie op grote hoeveelheden gegevens gedurende een bepaalde periode. Bekijk het batchgewijs score notebook voor objectdetectie voor batchdeductie met behulp van het batch-eindpunt.

Online-implementatie configureren

Een implementatie is een set resources die vereist is voor het hosten van het model dat de werkelijke deductie uitvoert. We maken een implementatie voor ons eindpunt met behulp van de ManagedOnlineDeployment klasse. U kunt GPU- of CPU-VM-SKU's gebruiken voor uw implementatiecluster.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

name: od-fridge-items-mlflow-deploy
endpoint_name: od-fridge-items-endpoint
model: azureml:od-fridge-items-mlflow-model@latest
instance_type: Standard_DS3_v2
instance_count: 1
liveness_probe:
    failure_threshold: 30
    success_threshold: 1
    timeout: 2
    period: 10
    initial_delay: 2000
readiness_probe:
    failure_threshold: 10
    success_threshold: 1
    timeout: 10
    period: 10
    initial_delay: 2000

De implementatie maken

Met behulp van de MLClient eerder gemaakte maken we de implementatie in de werkruimte. Met deze opdracht wordt het maken van de implementatie gestart en wordt er een bevestigingsantwoord geretourneerd terwijl het maken van de implementatie wordt voortgezet.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

az ml online-deployment create --file .\create_deployment.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Verkeer bijwerken:

De huidige implementatie is standaard ingesteld op 0% verkeer. u kunt instellen welk verkeerspercentage de huidige implementatie moet ontvangen. De som van de verkeerspercentages van alle implementaties met één eindpunt mag niet hoger zijn dan 100%.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

az ml online-endpoint update --name 'od-fridge-items-endpoint' --traffic 'od-fridge-items-mlflow-deploy=100' --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

De implementatie testen

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

CLI example not available, please use Python SDK.

Detecties visualiseren

Nu u een testafbeelding hebt gescoord, kunt u de begrenzingsvakken voor deze afbeelding visualiseren. Zorg ervoor dat matplotlib is geïnstalleerd om dit te doen.

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidige)

CLI example not available, please use Python SDK.

Resources opschonen

Voltooi deze sectie niet als u van plan bent om andere Azure Machine Learning-zelfstudies uit te voeren.

Als u niet van plan bent om gebruik te maken van de resources die u hebt gemaakt, kunt u ze verwijderen zodat er geen kosten voor in rekening worden gebracht.

  1. Selecteer Resourcegroepen links in Azure Portal.
  2. Selecteer de resourcegroep die u eerder hebt gemaakt uit de lijst.
  3. Selecteer Resourcegroep verwijderen.
  4. Voer de naam van de resourcegroup in. Selecteer daarna Verwijderen.

U kunt de resourcegroep ook bewaren en slechts één werkruimte verwijderen. Bekijk de eigenschappen van de werkruimte en selecteer Verwijderen.

Volgende stappen

In deze zelfstudie over geautomatiseerde machine learning hebt u het volgende gedaan:

  • U hebt een werkruimte geconfigureerd en gegevens voorbereid voor een experiment.
  • Een geautomatiseerd objectdetectiemodel getraind
  • Opgegeven hyperparameterwaarden voor uw model
  • Een hyperparameter opruimen uitgevoerd
  • Uw model geïmplementeerd
  • Gevisualiseerde detecties

Notitie

Het gebruik van de gegevensset met koelkastobjecten is beschikbaar via de licentie onder de MIT-licentie.