Inferenza e valutazione dei modelli di previsione (anteprima)

Importante

Questa funzionalità è attualmente in anteprima pubblica. Questa versione di anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate.

Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Questo articolo presenta i concetti relativi all'inferenza del modello e alla valutazione nelle attività di previsione. Istruzioni ed esempi per il training dei modelli di previsione in AutoML sono disponibili nell'articolo Configurare AutoML per le previsioni delle serie temporali.

Dopo aver usato AutoML per eseguire il training e la selezione di un modello migliore, il passaggio successivo consiste nel generare previsioni e quindi, se possibile, per valutarne l'accuratezza in un set di test mantenuto dai dati di training. Per informazioni su come configurare ed eseguire la valutazione del modello di previsione in Machine Learning automatizzato, vedere la guida sui componenti di inferenza e valutazione.

Scenari di inferenza

In Machine Learning, l'inferenza è il processo di generazione di stime del modello per i nuovi dati non usati nel training. Esistono diversi modi per generare stime nella previsione a causa della dipendenza temporale dei dati. Lo scenario più semplice è quando il periodo di inferenza segue immediatamente il periodo di training e vengono generate stime all'orizzonte di previsione. Questo scenario è illustrato nel diagramma seguente:

Il diagramma mostra due parametri di inferenza importanti:

• La lunghezza del contestoo la quantità di cronologia richiesta dal modello per effettuare una previsione,
• L'orizzonte di previsione, che è quanto avanti nel tempo viene eseguito il training del responsabile della previsione per la stima.

I modelli di previsione usano in genere alcune informazioni cronologiche, il contesto, per eseguire stime in anticipo fino all'orizzonte di previsione. Quando il contesto fa parte dei dati di training, AutoML salva ciò che deve fare previsioni, quindi non è necessario fornirlo in modo esplicito.

Esistono due altri scenari di inferenza più complessi:

• Generazione di stime più lontano nel futuro rispetto all'orizzonte di previsione,
• Ottenere stime quando si verifica un divario tra i periodi di training e inferenza.

Questi casi vengono esaminati nelle sezioni secondarie seguenti.

Previsione oltre l'orizzonte di previsione: previsione ricorsiva

Quando sono necessarie previsioni oltre l'orizzonte, AutoML applica il modello in modo ricorsivo nel periodo di inferenza. Ciò significa che le stime del modello vengono restituite come input per generare stime per le successive finestre di previsione. Il diagramma seguente mostra un semplice esempio:

In questo caso vengono generate previsioni per un periodo tre volte la lunghezza dell'orizzonte usando le stime di una finestra come contesto per la finestra successiva.

Avviso

Gli errori di modellazione composti delle previsioni ricorsive, quindi le stime diventano meno accurate rispetto all'orizzonte di previsione originale. In questo caso, è possibile trovare un modello più accurato eseguendo nuovamente il training con un orizzonte più lungo.

Stima con un divario tra periodi di training e inferenza

Si supponga di aver eseguito il training di un modello in passato e di voler usarlo per eseguire stime da nuove osservazioni non ancora disponibili durante il training. In questo caso, esiste un divario di tempo tra i periodi di training e inferenza:

AutoML supporta questo scenario di inferenza, ma è necessario fornire i dati di contesto nel periodo di gap, come illustrato nel diagramma. I dati di stima passati al componente di inferenza hanno bisogno di valori per le funzionalità e i valori di destinazione osservati nel gap e valori mancanti o "NaN" per la destinazione nel periodo di inferenza. La tabella seguente mostra un esempio di questo criterio:

In questo caso, i valori noti della destinazione e delle funzionalità vengono forniti dal 01 -05 2023 al 03-05-2023. I valori di destinazione mancanti a partire dal 04-05-2023 indicano che il periodo di inferenza inizia da tale data.

AutoML usa i nuovi dati di contesto per aggiornare il ritardo e altre funzionalità di lookback e anche per aggiornare modelli come ARIMA che mantengono uno stato interno. Questa operazione non aggiorna o adatta i parametri del modello.

Valutazione del modello

La valutazione è il processo di generazione di stime su un set di test mantenuto dai dati di training e dalle metriche di calcolo da queste stime che guidano le decisioni di distribuzione del modello. Di conseguenza, è disponibile una modalità di inferenza specificamente adatta per la valutazione del modello, ovvero una previsione in sequenza. Viene esaminato nella sezione secondaria seguenti.

Previsione in sequenza

Una procedura consigliata per la valutazione di un modello di previsione consiste nell’eseguire il rollforward del responsabile della previsione sottoposto a training nel tempo nel set di test, calcolando la media delle metriche degli errori in diverse finestre di stima. Questa procedura viene talvolta definita backtest, a seconda del contesto. Idealmente, il set di test per la valutazione è lungo rispetto all'orizzonte di previsione del modello. Le stime dell'errore di previsione potrebbero altrimenti essere statisticamente alterate e, pertanto, meno affidabili.

Il diagramma seguente mostra un semplice esempio con tre finestre di previsione:

Il diagramma illustra tre parametri di valutazione in sequenza:

• La lunghezza del contestoo la quantità di cronologia richiesta dal modello per effettuare una previsione,
• L'orizzonte di previsione, che è quanto avanti nel tempo viene eseguito il training del responsabile della previsione per la stima,
• La dimensione passaggio, che rappresenta l'anticipo con cui la finestra mobile avanza ad ogni iterazione sull'insieme di test.

Importante, il contesto avanza insieme alla finestra di previsione. Ciò significa che i valori effettivi del set di test vengono usati per effettuare previsioni quando rientrano nella finestra di contesto corrente. La data più recente dei valori effettivi utilizzati per una determinata finestra di previsione viene chiamata ora di origine della finestra. La tabella seguente mostra un output di esempio della previsione in sequenza a tre finestre con un orizzonte di tre giorni e una dimensione del passaggio di un giorno:

Con una tabella simile a questa, è possibile visualizzare le previsioni e le metriche di valutazione desiderate e calcolare le effettive. Le pipeline AutoML possono generare previsioni in sequenza in un set di test con un componente di inferenza.

Nota

Quando il periodo di prova è la stessa lunghezza dell'orizzonte di previsione, una previsione mobile offre una singola finestra delle previsioni fino all'orizzonte.

Metriche di valutazione

La scelta del riepilogo o della metrica di valutazione è in genere guidata dallo scenario aziendale specifico. Alcune scelte comuni includono:

• Tracciati dei valori di destinazione osservati rispetto ai valori previsti per verificare che determinate dinamiche dei dati vengano acquisite dal modello,
• MAPE (errore percentuale assoluta media) tra valori effettivi e previsti,
• RMSE (radice errore quadratico medio), possibilmente con una normalizzazione, tra valori effettivi e previsti,
• MAE (errore assoluto medio), possibilmente con una normalizzazione, tra valori effettivi e previsti.

Esistono molte altre possibilità, a seconda dello scenario aziendale. Potrebbe essere necessario creare utilità di post-elaborazione personalizzate per calcolare le metriche di valutazione da risultati di inferenza o previsioni in sequenza. Per altre informazioni sulle metriche, vedere l’articolo regressione e previsione delle metriche.

Passaggi successivi

• Altre informazioni su come configurare AutoML per eseguire il training di un modello di previsione di serie temporali.
• Informazioni su come AutoML usa l'apprendimento automatico per creare modelli di previsione.
• Leggere le risposte alle domande frequenti sulle previsioni di AutoML.