Eseguire il training di un modello di rilevamento di piccoli oggetti con AutoML

Articolo
07/12/2024

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)Python SDK azure-ai-ml v2 (corrente)

Questo articolo illustra come eseguire il training di un modello di rilevamento oggetti per rilevare piccoli oggetti in immagini ad alta risoluzione con ML automatizzato in Azure Machine Learning.

Generalmente, i modelli di visione artificiale per il rilevamento di oggetti funzionano bene per set di dati con oggetti relativamente grandi. Tuttavia, a causa di vincoli di memoria e di calcolo, le prestazioni di questi modelli tendono a essere inferiori quando viene chiesto di rilevare piccoli oggetti in immagini ad alta risoluzione. Poiché le immagini ad alta risoluzione generalmente sono grandi, vengono ridimensionate prima dell'input nel modello, limitando la capacità di rilevamento di oggetti più piccoli rispetto alle dimensioni iniziali dell'immagine.

Per risolvere questo problema, Machine Learning automatizzato supporta l'affiancamento come parte delle funzionalità di visione artificiale. La funzionalità di affiancamento in Machine Learning automatizzato si basa sui concetti illustrati nell’articolo La potenza dell’affiancamento per il rilevamento di piccoli oggetti.

Con l’affiancamento, ogni immagine viene divisa in una griglia di riquadri. I riquadri adiacenti si sovrappongono tra loro nelle dimensioni della larghezza e dell’altezza. I riquadri vengono ritagliati dall'originale, come illustrato nell'immagine seguente.

Diagramma che mostra un'immagine divisa in una griglia di riquadri sovrapposti.

Prerequisiti

Un'area di lavoro di Azure Machine Learning. Per creare l'area di lavoro, vedere Creare risorse dell'area di lavoro.
Questo articolo presuppone una certa familiarità con le operazioni di configurazione di un esperimento di Machine Learning automatizzato per attività di visione artificiale.

Modelli supportati

Il rilevamento di piccoli oggetti tramite l’affiancamento è supportato per tutti i modelli supportati da Machine Learning automatizzato per le immagini per l’attività di rilevamento oggetti.

Abilitare l’affiancamento durante il training

Per abilitare l’affiancamento, è possibile impostare il parametro tile_grid_size su un valore come 3×2, dove 3 è il numero di riquadri lungo la dimensione della larghezza e 2 è il numero di riquadri lungo la dimensione dell’altezza. Quando questo parametro è impostato su 3×2, ogni immagine viene suddivisa in una griglia di 3×2 riquadri. Ogni riquadro si sovrappone ai riquadri adiacenti in modo che tutti gli oggetti che ricadono sul bordo del riquadro siano inclusi completamente in uno dei riquadri. Questa sovrapposizione viene controllata tramite il parametro tile_overlap_ratio, che per impostazione predefinita è 25%.

Quando è abilitato l'affiancamento, viene eseguito il pass-through nel modello dell'intera immagine e dei riquadri generati. Queste immagini e riquadri vengono ridimensionati in base ai parametri min_size e max_size prima dell’inserimento nel modello. Il tempo di calcolo aumenta proporzionalmente a causa dell'elaborazione di questi dati aggiuntivi.

Ad esempio, quando il parametro tile_grid_size è 3×2, il tempo di calcolo sarà circa sette volte superiore rispetto a quello senza affiancamento.

È possibile specificare il valore per tile_grid_size negli iperparametri di training come stringa.

Interfaccia della riga di comando v2
SDK Python v2

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

training_parameters:
  tile_grid_size: '3x2'

image_object_detection_job.set_training_parameters(
    tile_grid_size='3x2'
)

Il valore del parametro tile_grid_size dipende dalle dimensioni dell'immagine e dalle dimensioni degli oggetti all'interno dell'immagine. Ad esempio, un numero maggiore di riquadri è utile quando nelle immagini sono presenti oggetti più piccoli.

Per scegliere il valore ottimale di questo parametro per il set di dati, è possibile usare la ricerca degli iperparametri. A tale scopo, è possibile specificare una scelta di valori per questo parametro nello spazio degli iperparametri.

Interfaccia della riga di comando v2
SDK Python v2

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

search_space:
  - model_name:
      type: choice
      values: ['fasterrcnn_resnet50_fpn']
    tile_grid_size:
      type: choice
      values: ['2x1', '3x2', '5x3']

image_object_detection_job.extend_search_space(
    SearchSpace(
        model_name=Choice(['fasterrcnn_resnet50_fpn']),
        tile_grid_size=Choice(['2x1', '3x2', '5x3'])
    )
)

Affiancamento durante l'inferenza

Quando viene distribuito un modello sottoposto a training con affiancamento, durante l'inferenza avviene anche l’affiancamento. Machine Learning automatizzato usa il valore tile_grid_size dal training per la generazione dei riquadri durante l'inferenza. L'intera immagine e i riquadri corrispondenti vengono passati tramite il modello e le proposte di oggetto da essi vengono unite per restituire l’output delle stime finali, come nell'immagine seguente.

Diagramma che mostra le proposte di oggetti provenienti da immagini e riquadri uniti per formare le stime finali.

Nota

È possibile che lo stesso oggetto venga rilevato da più riquadri; per rimuovere tali duplicati, viene eseguito il rilevamento della duplicazione.

Il rilevamento dei duplicati viene effettuato eseguendo NMS sulle proposte dei riquadri e dell'immagine. Quando più proposte si sovrappongono, viene selezionata quella con il punteggio più alto e le altre vengono eliminate come duplicati. Due proposte vengono considerate sovrapposte quando l'intersezione sull’unione (IOU) tra di esse è maggiore del parametro tile_predictions_nms_thresh.

È anche possibile abilitare l'affiancamento solo durante l'inferenza senza abilitarlo nel training. A tale scopo, impostare il parametro tile_grid_size solo durante l'inferenza e non per il training.

In questo modo si possono migliorare le prestazioni per alcuni set di dati e non si incorrerà nel costo aggiuntivo derivante dall’affiancamento in fase di training.

Iperparametri di affiancamento

Di seguito sono riportati i parametri che è possibile usare per controllare la funzionalità di affiancamento.

Nome parametro	Descrizione	Default
`tile_grid_size`	Dimensioni della griglia da usare per l’affiancamento di ogni immagine. Utilizzabile durante il training, la convalida e l'inferenza. Deve essere passato come stringa in formato `'3x2'`. Nota: l'impostazione di questo parametro aumenta proporzionalmente il tempo di calcolo, poiché tutti i riquadri e le immagini vengono elaborati dal modello.	nessun valore predefinito
`tile_overlap_ratio`	Controlla il rapporto di sovrapposizione tra riquadri adiacenti in ogni dimensione. Quando gli oggetti che rientrano sul limite del riquadro sono troppo grandi per adattarsi completamente a uno dei riquadri, aumentare il valore di questo parametro in modo che gli oggetti si adattino completamente a uno dei riquadri. Deve essere float in [0, 1).	0.25
`tile_predictions_nms_thresh`	La soglia di intersezione sull’unione da usare per la soppressione non massimale (nms) nell'unione di stime da riquadri e immagini. Disponibile durante la convalida e l'inferenza. Modificare questo parametro se nelle stime finali esistono più caselle rilevate per ogni oggetto. Deve essere float in [0, 1].	0.25

Notebook di esempio

Per alcuni esempi di codice dettagliati per la configurazione e il training di un modello di rilevamento oggetti, vedere il notebook di esempio di rilevamento oggetti.