Avaliar e comparar modelos
Quando um experimento de AutoML (machine learning) automatizado for concluído, você deseja examinar os modelos treinados e decidir qual deles teve o melhor desempenho.
No estúdio do Azure Machine Learning, você pode selecionar um experimento AutoML para explorar seus detalhes.
Na página Visão geral da execução do experimento AutoML, você pode examinar o ativo de dados de entrada e o resumo do melhor modelo. Para explorar todos os modelos treinados, selecione a guia Modelos :
Explorar as etapas de pré-processamento
Após você habilitar a definição de recursos para o experimento de AutoML, os verificadores de integridade dos dados também são aplicados automaticamente. Os três verificadores de integridade dos dados com suporte para modelos de classificação são:
- Detecção de balanceamento de classe.
- Imputação de valores de recursos ausentes.
- Detecção de características de alta cardinalidade.
Cada um desses guardrails de dados mostra um dos três estados possíveis:
- Passado: nenhum problema foi detectado e nenhuma ação é necessária.
- Concluído: as alterações foram aplicadas aos seus dados. Você deve examinar as alterações feitas pelo AutoML em seus dados.
- Alertado: um problema foi detectado, mas não pôde ser corrigido. Você deve examinar os dados para corrigir o problema.
Ao lado das restrições de dados, o AutoML pode aplicar técnicas de escalonamento e normalização a cada modelo treinado. Você pode examinar a técnica aplicada na lista de modelos no nome do algoritmo.
Por exemplo, o nome do algoritmo de um modelo listado pode ser MaxAbsScaler, LightGBM.
MaxAbsScaler refere-se a uma técnica de dimensionamento em que cada recurso é dimensionado pelo seu valor absoluto máximo.
LightGBM refere-se ao algoritmo de classificação usado para treinar o modelo.
Recuperar a melhor execução e seu modelo
Ao revisar os modelos no AutoML, você pode identificar facilmente a melhor execução com base na métrica primária especificada. No estúdio do Azure Machine Learning, os modelos são classificados automaticamente para mostrar o modelo de melhor desempenho na parte superior.
Na guia Modelos do experimento AutoML, você pode editar as colunas se quiser mostrar outras métricas na mesma visão geral. Ao criar uma visão geral mais abrangente que inclua várias métricas, pode ser mais fácil comparar modelos.
Para explorar ainda mais um modelo, você pode gerar explicações para cada modelo treinado. Ao configurar um experimento autoML, você pode especificar que as explicações devem ser geradas para o modelo de melhor desempenho. No entanto, se você estiver interessado na interpretabilidade de outro modelo, poderá selecionar o modelo na visão geral e selecionar Explicar modelo.
Observação
Explicar um modelo é uma aproximação da interpretabilidade do modelo. Especificamente, as explicações estimarão a importância relativa das características sobre a característica alvo (o que o modelo é treinado para prever). Saiba mais sobre a interpretabilidade do modelo.
Dica
Saiba mais sobre como avaliar as execuções do AutoML.
O AutoML oferece um ponto de partida forte: ele pesquisa amplamente e apresenta a melhor combinação de algoritmos e pré-processamento para seus dados. Mas, às vezes, você deseja ir mais longe: ajustar hiperparâmetros, projetar recursos personalizados ou testar uma abordagem que o AutoML não abrange. É aí que entram os blocos de anotações.