Avaliar e comparar modelos

  • 3 minutos

Quando um experimento de AutoML (machine learning) automatizado for concluído, você desejará examinar os modelos que foram treinados e decidir qual deles teve o melhor desempenho.

No estúdio do Azure Machine Learning, você pode selecionar um experimento AutoML para explorar seus detalhes.

Na página de Visão geral da execução do experimento de AutoML, você pode examinar o ativo de dados de entrada e o resumo do melhor modelo. Para explorar todos os modelos treinados, selecione a guia Modelos:

Captura de tela da guia modelos em um experimento de machine learning automatizado executado no estúdio do Azure Machine Learning.

Explorar as etapas de pré-processamento

Quando você habilitar a featurização para seu experimento AutoML, as barreiras de proteção de dados também serão aplicadas automaticamente. Os três limites de dados que têm suporte para modelos de classificação são:

  • Detecção de balanceamento de classe.
  • Imputação de valores de recursos ausentes.
  • Detecção de recursos de alta cardinalidade.

Cada um desses guardrails de dados mostrará um dos três estados possíveis:

  • Aprovado: nenhum problema foi detectado e nenhuma ação é necessária.
  • Concluído: as alterações foram aplicadas aos seus dados. Você deve examinar as alterações que o AutoML fez aos seus dados.
  • alertou: um problema foi detectado, mas não pôde ser corrigido. Você deve examinar os dados para corrigir o problema.

Além dos guardrails de dados, o AutoML pode aplicar técnicas de escalonamento e normalização a cada modelo treinado. Você pode examinar a técnica aplicada na lista de modelos em Nome do algoritmo.

Por exemplo, o nome do algoritmo de um modelo listado pode ser MaxAbsScaler, LightGBM. MaxAbsScaler refere-se a uma técnica de dimensionamento em que cada recurso é dimensionado pelo seu valor absoluto máximo. LightGBM refere-se ao algoritmo de classificação usado para treinar o modelo.

Recuperar a melhor execução e o modelo

Ao revisar os modelos no AutoML, você pode identificar facilmente a melhor execução com base na métrica primária especificada. No estúdio do Azure Machine Learning, os modelos são classificados automaticamente para mostrar o modelo de melhor desempenho na parte superior.

Na guia Modelos do experimento AutoML, você pode editar as colunas se quiser mostrar outras métricas na mesma visão geral. Ao criar uma visão geral mais abrangente que inclua várias métricas, pode ser mais fácil comparar modelos.

Para explorar ainda mais um modelo, você pode gerar explicações para cada modelo treinado. Ao configurar um experimento autoML, você pode especificar que as explicações devem ser geradas para o modelo de melhor desempenho. No entanto, se você estiver interessado na interpretabilidade de outro modelo, poderá selecionar o modelo na visão geral e selecionar Explicar modelo.

Nota

Explicar um modelo é uma aproximação da interpretabilidade do modelo. Especificamente, as explicações estimarão a importância relativa das características na característica de destino (para a qual o modelo é treinado a prever). Saiba mais sobre a interpretabilidade do modelo .

Dica

Saiba mais sobre como avaliar execuções de AutoML.