Avaliar o desempenho do modelo no Machine Learning Studio (clássico)

Artigo
03/20/2017

APLICA-SE A: Aplica-se a. Machine Learning Studio (clássico) Não se aplica a. Azure Machine Learning

Importante

O suporte para o Estúdio de ML (clássico) terminará a 31 de agosto de 2024. Recomendamos a transição para o Azure Machine Learning até essa data.

A partir de 1 de dezembro de 2021, não poderá criar novos recursos do Estúdio de ML (clássico). Até 31 de agosto de 2024, pode continuar a utilizar os recursos existentes do Estúdio de ML (clássico).

Consulte informações sobre como mover projetos de aprendizado de máquina do ML Studio (clássico) para o Azure Machine Learning.
Saiba mais sobre o Azure Machine Learning

A documentação do Estúdio de ML (clássico) está a ser descontinuada e poderá não ser atualizada no futuro.

Neste artigo, você pode aprender sobre as métricas que você pode usar para monitorar o desempenho do modelo no Machine Learning Studio (clássico). Avaliar o desempenho de um modelo é uma das principais etapas do processo de ciência de dados. Ele indica o quão bem-sucedida a pontuação (previsões) de um conjunto de dados foi por um modelo treinado. O Machine Learning Studio (clássico) suporta a avaliação de modelos através de dois dos seus principais módulos de aprendizagem automática:

Esses módulos permitem que você veja como seu modelo se comporta em termos de uma série de métricas que são comumente usadas em aprendizado de máquina e estatísticas.

A avaliação dos modelos deve ser considerada juntamente com:

São apresentados três cenários comuns de aprendizagem supervisionada:

regressão
classificação binária
Classificação multiclasse

Avaliação vs. Validação Cruzada

A avaliação e a validação cruzada são formas padrão de medir o desempenho do seu modelo. Ambos geram métricas de avaliação que você pode inspecionar ou comparar com as de outros modelos.

Avaliar Modelo espera um conjunto de dados pontuado como entrada (ou dois, caso você queira comparar o desempenho de dois modelos diferentes). Portanto, você precisa treinar seu modelo usando o módulo Train Model e fazer previsões em algum conjunto de dados usando o módulo Score Model antes de poder avaliar os resultados. A avaliação é baseada nos rótulos/probabilidades pontuados, juntamente com os rótulos verdadeiros, todos os quais são produzidos pelo módulo Modelo de Pontuação .

Como alternativa, você pode usar a validação cruzada para executar várias operações train-score-evaluation (10 dobras) automaticamente em diferentes subconjuntos dos dados de entrada. Os dados de entrada são divididos em 10 partes, onde uma é reservada para testes, e as outras 9 para treinamento. Este processo é repetido 10 vezes e as métricas de avaliação são calculadas em média. Isso ajuda a determinar o quão bem um modelo generalizaria para novos conjuntos de dados. O módulo Modelo de Validação Cruzada inclui um modelo não treinado e alguns conjuntos de dados rotulados e produz os resultados da avaliação de cada uma das 10 dobras, além dos resultados médios.

Nas seções a seguir, construiremos modelos simples de regressão e classificação e avaliaremos seu desempenho, usando os módulos Avaliar Modelo e Modelo de Validação Cruzada .

Avaliando um modelo de regressão

Suponha que queremos prever o preço de um carro usando recursos como dimensões, potência, especificações do motor e assim por diante. Este é um problema de regressão típico, onde a variável alvo (preço) é um valor numérico contínuo. Podemos ajustar um modelo de regressão linear que, dados os valores de característica de um determinado carro, pode prever o preço desse carro. Este modelo de regressão pode ser usado para pontuar o mesmo conjunto de dados em que treinamos. Uma vez que temos os preços de carro previstos, podemos avaliar o desempenho do modelo, observando o quanto as previsões se desviam dos preços reais em média. Para ilustrar isso, usamos o conjunto de dados de preço do automóvel (bruto) disponível na seção Conjuntos de dados salvos no Machine Learning Studio (clássico).

Criando o experimento

Adicione os seguintes módulos ao seu espaço de trabalho no Machine Learning Studio (clássico):

Dados sobre os preços dos automóveis (Raw)
Regressão Linear
Modelo de comboio
Modelo de pontuação
Avaliar modelo

Conecte as portas como mostrado abaixo na Figura 1 e defina a coluna Etiqueta do módulo Modelo de trem como preço.

Avaliando um modelo de regressão

Figura 1. Avaliação de um Modelo de Regressão.

Inspeção dos resultados da avaliação

Depois de executar o experimento, você pode clicar na porta de saída do módulo Avaliar modelo e selecionar Visualizar para ver os resultados da avaliação. As métricas de avaliação disponíveis para os modelos de regressão são: Erro Absoluto Médio, Erro Absoluto Médio Raiz, Erro Absoluto Relativo, Erro Quadrado Relativo e Coeficiente de Determinação.

O termo "erro" aqui representa a diferença entre o valor previsto e o valor verdadeiro. O valor absoluto ou o quadrado dessa diferença é geralmente calculado para capturar a magnitude total do erro em todas as instâncias, pois a diferença entre o valor previsto e o valor verdadeiro pode ser negativa em alguns casos. As métricas de erro medem o desempenho preditivo de um modelo de regressão em termos do desvio médio de suas previsões em relação aos valores reais. Valores de erro mais baixos significam que o modelo é mais preciso ao fazer previsões. Uma métrica de erro geral de zero significa que o modelo se ajusta perfeitamente aos dados.

O coeficiente de determinação, que também é conhecido como R ao quadrado, também é uma forma padrão de medir o quão bem o modelo se ajusta aos dados. Pode ser interpretada como a proporção de variação explicada pelo modelo. Uma proporção maior é melhor neste caso, onde 1 indica um ajuste perfeito.

Métricas de Avaliação de Regressão Linear

Figura 2. Métricas de Avaliação de Regressão Linear.

Usando validação cruzada

Como mencionado anteriormente, você pode executar treinamentos repetidos, pontuações e avaliações automaticamente usando o módulo Modelo de validação cruzada. Tudo o que você precisa neste caso é um conjunto de dados, um modelo não treinado e um módulo de modelo de validação cruzada (veja a figura abaixo). Você precisa definir a coluna de rótulo como preço nas propriedades do módulo Modelo de validação cruzada.

Validação cruzada de um modelo de regressão

Figura 3. Validação cruzada de um modelo de regressão.

Depois de executar o experimento, você pode inspecionar os resultados da avaliação clicando na porta de saída direita do módulo Cross-Validate Model . Isso fornecerá uma visão detalhada das métricas para cada iteração (dobra) e os resultados médios de cada uma das métricas (Figura 4).

Resultados de validação cruzada de um modelo de regressão

Figura 4. Resultados de validação cruzada de um modelo de regressão.

Avaliando um modelo de classificação binária

Em um cenário de classificação binária, a variável de destino tem apenas dois resultados possíveis, por exemplo: {0, 1} ou {false, true}, {negative, positive}. Suponha que você recebe um conjunto de dados de funcionários adultos com algumas variáveis demográficas e de emprego, e que você é solicitado a prever o nível de renda, uma variável binária com os valores {"<=50 K", ">50 K"}. Em outras palavras, a classe negativa representa os empregados que ganham menos ou igual a 50 K por ano, e a classe positiva representa todos os outros funcionários. Como no cenário de regressão, treinaríamos um modelo, pontuaríamos alguns dados e avaliaríamos os resultados. A principal diferença aqui é a escolha de métricas, cálculos e saídas do Machine Learning Studio (clássico). Para ilustrar o cenário de previsão do nível de renda, usaremos o conjunto de dados Adult para criar um experimento Studio (clássico) e avaliar o desempenho de um modelo de regressão logística de duas classes, um classificador binário comumente usado.