Varrimento de modelos e seleção para previsão no AutoML

Este artigo foca-se na forma como o AutoML procura e seleciona modelos de previsão. Veja o artigo de descrição geral dos métodos para obter informações mais gerais sobre a metodologia de previsão no AutoML. As instruções e exemplos para modelos de previsão de preparação no AutoML podem ser encontrados no nosso artigo configurar a AutoML para previsão de série temporal .

Varrimento de modelos

A tarefa central do AutoML é preparar e avaliar vários modelos e escolher o melhor relativamente à métrica primária especificada. A palavra "modelo" aqui refere-se à classe de modelo ( como ARIMA ou Floresta Aleatória) e às definições de hipermetrização específicas que distinguem os modelos numa classe. Por exemplo, ARIMA refere-se a uma classe de modelos que partilham um modelo matemático e um conjunto de pressupostos estatísticos. Preparar ou ajustar um modelo ARIMA requer uma lista de números inteiros positivos que especifiquem a forma matemática precisa do modelo; estes são os hipermetrâmetres. ARIMA(1, 0, 1) e ARIMA(2, 1, 2) têm a mesma classe, mas diferentes hipermetrâmetres e, por isso, podem ser ajustados separadamente com os dados de preparação e avaliados entre si. O AutoML procura, ou varre, diferentes classes de modelos e em classes ao variar os hipermetrâmetres.

A tabela seguinte mostra os diferentes métodos de varrimento de hipermetrização que o AutoML utiliza para diferentes classes de modelos:

Grupo de classes de modelos Tipo de modelo Método de varrimento de hipermetrização
Ingenuidade, Naive Sazonal, Média, Média Sazonal Série temporal Nenhuma limpeza dentro da classe devido à simplicidade do modelo
Suavidade Exponencial, ARIMA(X) Série temporal Pesquisa de grelha para varrimento dentro da classe
Profeta Regressão Sem varrer dentro da classe
SGD Linear, LARS LASSO, Elastic Net, K Nearest Neighbors, Decision Tree, Random Forest, Extremely Randomized Trees, Gradient Boosted Trees, LightGBM, XGBoost Regressão O serviço de recomendação de modelos da AutoML explora dinamicamente os espaços de hipermetrização
PrevisãoTCN Regressão Lista estática de modelos seguido de pesquisa aleatória sobre o tamanho da rede, proporção de abandono e taxa de aprendizagem.

Para obter uma descrição dos diferentes tipos de modelo, veja a secção modelos de previsão do artigo descrição geral dos métodos.

A quantidade de varrimento que o AutoML faz depende da configuração da tarefa de previsão. Pode especificar os critérios de paragem como um limite de tempo ou um limite no número de avaliações ou equivalente ao número de modelos. A lógica de terminação antecipada pode ser utilizada em ambos os casos para parar de varrer se a métrica primária não estiver a melhorar.

Seleção de modelos

A pesquisa e seleção do modelo de previsão autoML prossegue nas três fases seguintes:

  1. Varra os modelos de séries de tempo e selecione o melhor modelo de cada classe com métodos de probabilidade penalizados.
  2. Varre os modelos de regressão e classifica-os, juntamente com os melhores modelos de série temporal da fase 1, de acordo com os valores das métricas primárias dos conjuntos de validação.
  3. Crie um modelo de conjunto a partir dos modelos mais bem classificados, calcule a métrica de validação e o classificar com os outros modelos.

O modelo com o valor de métrica mais bem classificado no final da fase 3 é designado como o melhor modelo.

Importante

A fase final da seleção de modelos da AutoML calcula sempre as métricas em dados fora de exemplo . Ou seja, dados que não foram utilizados para se ajustarem aos modelos. Isto ajuda a proteger contra a sobreajuste.

O AutoML tem duas configurações de validação : dados de validação cruzada e de validação explícita. No caso de validação cruzada, o AutoML utiliza a configuração de entrada para criar divisões de dados em pastas de preparação e validação. A ordem de tempo tem de ser preservada nestas divisões, pelo que a AutoML utiliza a chamada Validação Cruzada da Origem Rolling , que divide a série em dados de preparação e validação com um ponto de hora de origem. Deslizar a origem no tempo gera as pastas de validação cruzada. Cada pasta de validação contém o próximo horizonte de observações imediatamente após a posição da origem para a dobra especificada. Esta estratégia preserva a integridade dos dados da série temporal e mitiga o risco de fuga de informação.

Diagrama que mostra as pastas de validação cruzada que separam os conjuntos de preparação e validação com base no tamanho do passo de validação cruzada.

O AutoML segue o procedimento habitual de validação cruzada, preparando um modelo separado em cada dobra e com uma média de métricas de validação de todas as pastas.

A validação cruzada para tarefas de previsão é configurada ao definir o número de pastas de validação cruzada e, opcionalmente, o número de períodos de tempo entre duas pastas de validação cruzada consecutivas. Veja o guia de definições de validação cruzada personalizadas para obter mais informações e um exemplo de configuração da validação cruzada para a previsão.

Também pode trazer os seus próprios dados de validação. Saiba mais no artigo configurar divisões de dados e validação cruzada no artigo AutoML (SDK v1 ).

Passos seguintes