Sviluppo di funzionalità per il Transfer Learning
Questo articolo fornisce un esempio di definizione delle funzionalità per l'apprendimento induttivo usando le funzioni definite dall'utente pandas.
Sviluppo di funzionalità per l’apprendimento induttivo
Azure Databricks supporta lo sviluppo di funzionalità con modelli di Deep Learning. È possibile usare modelli di Deep Learning già sottoposti a training per calcolare le funzionalità da usare in altri modelli downstream. Azure Databricks supporta lo sviluppo di funzionalità su vasta scala, distribuendo il calcolo nell'ambito di un cluster. È possibile eseguire lo sviluppo di funzionalità con librerie di Deep Learning inclusa in Databricks Runtime ML, tra cui TensorFlow e PyTorch.
Azure Databricks supporta anche il Transfer Learning, una tecnica strettamente correlata allo sviluppo di funzionalità. Il Transfer Learning consente di riutilizzare in un dominio correlato le informazioni di un dominio di problema. Lo sviluppo di funzionalità costituisce di per sé un metodo semplice e potente per il Transfer Learning: il calcolo delle funzionalità con un modello di Deep Learning già sottoposto a training consente di trasferire le informazioni sulle funzionalità valide dal dominio originale.
Passaggi per calcolare le funzionalità per l'apprendimento induttivo
Questo articolo illustra come calcolare le funzionalità per l'apprendimento induttivo usando un modello TensorFlow con training preliminare, usando il flusso di lavoro seguente:
- Iniziare con un modello di Deep Learning con training preliminare, in questo caso un modello di classificazione delle immagini da
tensorflow.keras.applications. - Tronca gli ultimi livelli del modello. Il modello modificato produce un tensore di funzionalità come output, anziché una previsione.
- Applicare tale modello a un nuovo set di dati immagine da un dominio di problema diverso, funzionalità di calcolo per le immagini.
- Usare queste funzionalità per eseguire il training di un nuovo modello. Il notebook seguente omette questo passaggio finale. Per esempi di training di un modello semplice, ad esempio la regressione logistica, vedere Eseguire il training di modelli di IA e ML.
Esempio: Usare le funzioni definite dall'utente pandas per la definizione delle caratteristiche
Il seguente notebook utilizza le UDF di pandas per eseguire il passaggio di definizione delle caratteristiche. Le UDF di pandas, e la loro variante più recente Scalar Iterator pandas UDF, dispongono di API flessibili, supportano qualsiasi libreria di deep learning e offrono prestazioni elevate.