Transfer Learning
Nella vita reale, in genere è più semplice apprendere una nuova abilità se si dispone già di una competenza simile trasferibile. Ad esempio, può risultare più semplice insegnare a qualcuno come si guida un autobus se è già in grado di guidare una macchina. Infatti, il guidatore può basarsi sulle competenze di guida già apprese per l'auto e applicarle alla guida dell'autobus.
Lo stesso principio può essere applicato per il training di modelli di Deep Learning attraverso una tecnica denominata apprendimento induttivo.
Funzionamento dell'apprendimento induttivo
Una rete neurale convoluzionale (CNN) per la classificazione immagini in genere è costituita da più livelli che estraggono le caratteristiche, per poi usare un livello finale completamente connesso per classificare le immagini in base a queste caratteristiche.
Concettualmente questa rete neurale è costituita da due set distinti di livelli:
- Un set di livelli del modello di base per l'estrazione delle caratteristiche.
- Un livello completamente connesso che prende le caratteristiche estratte e le usa per la stima della classe.
I livelli di estrazione delle caratteristiche applicano pooling e filtri convoluzionali per evidenziare spigoli, angoli e altri motivi delle immagini che possono essere usati per distinguerle e, in teoria, dovrebbero funzionare per qualsiasi set di immagini con le stesse dimensioni del livello di input della rete. Il livello di stima esegue il mapping delle caratteristiche a un set di output che rappresentano le probabilità per ogni etichetta di classe che si vuole usare per classificare le immagini.
Separando la rete in questi tipi di livelli, è possibile prendere i livelli di estrazione delle caratteristiche da un modello che è già stato sottoposto a training e aggiungere uno o più livelli per usare le caratteristiche estratte per la stima delle etichette di classe appropriate per le immagini. Questo approccio consente di mantenere i pesi già sottoposti a training per i livelli di estrazione delle caratteristiche, il che significa che occorre eseguire il training solo dei livelli di stima aggiunti.
Sono disponibili numerose architetture comprovate di rete neurale convoluzionale per la classificazione immagini che è possibile usare come modello di base per l'apprendimento induttivo, in modo da potersi basare sul lavoro già svolto in precedenza per creare con facilità un modello di classificazione immagini efficace.