Machine Learning - Valutare
Importante
Il supporto dello studio di Azure Machine Learning (versione classica) terminerà il 31 agosto 2024. È consigliabile passare ad Azure Machine Learning entro tale data.
A partire dal 1° dicembre 2021 non sarà possibile creare nuove risorse dello studio di Azure Machine Learning (versione classica). Fino al 31 agosto 2024 sarà possibile continuare a usare le risorse dello studio di Azure Machine Learning (versione classica).
- Vedere leinformazioni sullo spostamento di progetti di Machine Learning da ML Studio (versione classica) ad Azure Machine Learning.
- Altre informazioni sulle Azure Machine Learning.
La documentazione relativa allo studio di Machine Learning (versione classica) è in fase di ritiro e potrebbe non essere aggiornata in futuro.
Questo articolo descrive i moduli in Machine Learning Studio (versione classica) che è possibile usare per valutare un modello di Machine Learning. La valutazione del modello viene eseguita dopo il completamento del training per misurare l'accuratezza delle stime e valutare la adattabilità del modello.
Nota
Si applica a: solo Machine Learning Studio (versione classica)
I moduli di trascinamento e rilascio simili sono disponibili in Azure Machine Learning finestra di progettazione.
Questo articolo descrive anche il processo complessivo in Machine Learning Studio (versione classica) per la creazione, il training, la valutazione e l'assegnazione dei punteggi.
Creare e usare modelli di Machine Learning in Machine Learning Studio (versione classica)
Il flusso di lavoro tipico per Machine Learning include queste fasi:
- Scegliere un algoritmo appropriato e impostare le opzioni iniziali.
- Eseguire il training del modello usando dati compatibili.
- Creare stime usando nuovi dati basati sui modelli nel modello.
- Valutare il modello per determinare se le stime sono accurate, la quantità di errore e se si verifica l'overfitting.
Machine Learning Studio (versione classica) supporta un framework flessibile e personalizzabile per Machine Learning. Ogni attività in questo processo viene eseguita da un tipo specifico di modulo. Il modulo può essere modificato, aggiunto o rimosso senza interrompere il resto dell'esperimento.
Usare i moduli in questa categoria per valutare un modello esistente. La valutazione del modello richiede in genere un tipo di set di dati di risultati. Se non si dispone di un set di dati di valutazione, è possibile generare risultati con il punteggio. È anche possibile usare un set di dati di test o un altro set di dati che contiene "verità di base" o risultati previsti noti.
Altre informazioni sulla valutazione del modello
In generale, quando si valuta un modello, le opzioni dipendono dal tipo di modello valutato e dalla metrica da usare. Questi argomenti elencano alcune delle metriche più usate di frequente:
- Evaluate Model (Valuta modello)
- Modello di convalida incrociata
Machine Learning Studio (versione classica) offre anche un'ampia gamma di visualizzazioni, a seconda del tipo di modello usato e del numero di classi previste dal modello. Per informazioni sulla ricerca di queste visualizzazioni, vedere Visualizzare le metriche di valutazione.
L'interpretazione di queste statistiche richiede spesso una maggiore comprensione del particolare algoritmo su cui è stato eseguito il training del modello. Per una buona spiegazione di come valutare un modello e come interpretare i valori restituiti per ogni misura, vedere Come valutare le prestazioni del modello in Machine Learning.
Elenco dei moduli
La Machine Learning - Valutare categoria include i moduli seguenti:
Modello di convalida incrociata: convalida incrociata le stime dei parametri per la classificazione o i modelli di regressione partizionando i dati.
Usare il modulo Modello di convalida incrociata se si vuole testare la validità del set di training e del modello. La convalida incrociata partiziona i dati in piega e quindi testa più modelli su combinazioni di piegazioni.
Valuta modello: valuta una classificazione o un modello di regressione con punteggio usando le metriche standard.
Nella maggior parte dei casi si userà il modulo valuta modello generico . Ciò è particolarmente vero se il modello si basa su uno degli algoritmi di classificazione o regressione supportati.
Valuta la raccomandazione: valuta l'accuratezza delle stime del modello consigliato.
Per i modelli di raccomandazione, usare il modulo Valuta consigliato .
Attività correlate
- Per i modelli di clustering, usare il modulo Assegna dati ai cluster . Usare quindi le visualizzazioni in tale modulo per visualizzare i risultati della valutazione.
- È possibile creare metriche di valutazione personalizzate. Per creare metriche di valutazione personalizzate, fornire codice R nel modulo Esegui script R o codice Python nel modulo Esegui script Python . Questa opzione è utile se si desidera usare le metriche pubblicate come parte delle librerie open source o se si vuole progettare una metrica personalizzata per misurare l'accuratezza del modello.
Esempio
Interpretare i risultati della valutazione del modello di Machine Learning è un'arte. Richiede la comprensione dei risultati matematici, oltre ai dati e ai problemi aziendali. È consigliabile esaminare questi articoli per una spiegazione di come interpretare i risultati in scenari diversi:
- Scegliere i parametri per ottimizzare gli algoritmi in Machine Learning
- Interpretare i risultati del modello in Machine Learning
- Valutare le prestazioni del modello in Machine Learning
Note tecniche
Questa sezione contiene i dettagli, i suggerimenti e le risposte all'implementazione alle domande frequenti.
Visualizzare le metriche di valutazione
Informazioni su dove cercare Machine Learning Studio (versione classica) per trovare i grafici delle metriche per ogni tipo di modello.
Modelli di classificazione a due classi
La visualizzazione predefinita per i modelli di classificazione binaria include un grafico ROC interattivo e una tabella di valori per le metriche principali.
Sono disponibili due opzioni per la visualizzazione di modelli di classificazione binaria:
- Fare clic con il pulsante destro del mouse sull'output del modulo e quindi scegliere Visualizza.
- Fare clic con il pulsante destro del mouse sul modulo, selezionare Risultati valutazione e quindi Visualizza.
È anche possibile usare il dispositivo di scorrimento per modificare il valore soglia di probabilità. La soglia determina se un risultato deve essere accettato come true o meno. È quindi possibile vedere come cambiano questi valori.
Modelli di classificazione multiclasse
La visualizzazione delle metriche predefinite per i modelli di classificazione a più classi include una matrice di confusione per tutte le classi e un set di metriche per il modello nel suo complesso.
Sono disponibili due opzioni per la visualizzazione di modelli di classificazione a più classi:
- Fare clic con il pulsante destro del mouse sull'output del modulo e quindi scegliere Visualizza.
- Fare clic con il pulsante destro del mouse sul modulo, selezionare Risultati valutazione e quindi Visualizza.
Per semplicità, ecco i due risultati, visualizzati affiancati:
Modelli di regressione
La visualizzazione delle metriche per i modelli di regressione varia a seconda del tipo di modello creato. La visualizzazione delle metriche si basa sulle interfacce dell'algoritmo sottostanti e sulla soluzione migliore per le metriche del modello.
Sono disponibili due opzioni per la visualizzazione di modelli di regressione:
- Per visualizzare le metriche di accuratezza in una tabella, fare clic con il pulsante destro del mouse sull'output del modulo Valuta modello e quindi selezionare Visualizza.
- Per visualizzare un istogramma di errore con i valori, fare clic con il pulsante destro del mouse sul modulo, selezionare Risultati valutazione e quindi selezionare Visualizza.
La visualizzazione Istogramma errore consente di comprendere il modo in cui viene distribuito l'errore. Viene fornito per i tipi di modello seguenti e include una tabella di metriche predefinite, ad esempio l'errore quadratico medio radice (RMSE).
- Boosted Decision Tree Regression (Regressione albero delle decisioni con boosting)
- Linear Regression (Regressione lineare)
- Neural Network Regression (Regressione rete neurale)
I modelli di regressione seguenti generano una tabella di metriche predefinite, insieme ad alcune metriche personalizzate:
- Bayesian Linear Regression
- Decision Forest Regression (Regressione foresta delle decisioni)
- Regressione quantile della foresta rapida
- Ordinal Regression
Suggerimenti per l'uso dei dati
Per estrarre i numeri senza copiare e incollare dall'interfaccia utente di Machine Learning Studio (classica), è possibile usare la nuova libreria di PowerShell per Machine Learning. È possibile ottenere metadati e altre informazioni per un intero esperimento o da singoli moduli.
Per estrarre i valori da un modulo Evaluate Model , è necessario aggiungere un commento univoco al modulo, per semplificare l'identificazione. Usare quindi il cmdlet Download-AmlExperimentNodeOutput per ottenere le metriche e i relativi valori dalla visualizzazione in formato JSON.
Per altre informazioni, vedere Creare modelli di Machine Learning usando PowerShell.