Validação cruzada (suplementos de mineração de dados do SQL Server)

A validação cruzada é uma ferramenta padrão em análise e é um recurso importante para ajudá-lo a desenvolver e ajustar modelos de mineração de dados. Use a validação cruzada depois de criar um modelo de mineração para verificar a validade do modelo e comparar seus resultados com outros modelos de mineração relacionados.

A validação cruzada consiste em duas fases: treinamento e geração de relatórios. Você concluirá as seguintes etapas:

• Selecione uma estrutura de mineração de destino ou um modelo de mineração.

• Especifique o valor de destino, se aplicável.

• Especifique o número de seções cruzadas ou dobras nas quais particionar os dados da estrutura.

O assistente Cross-Validation cria um novo modelo em cada uma das partições, testa o modelo nas outras partições e, em seguida, informa sobre a precisão do modelo. Após a conclusão, o assistente de Validação Cruzada cria um relatório que mostra as métricas para cada partição e fornece um resumo do modelo de forma agregada. Essas informações podem ser usadas para determinar o quão bons são os dados subjacentes para um modelo ou para comparar modelos diferentes criados com base nos mesmos dados.

Usando o Assistente de Validação Cruzada

Você pode usar a validação cruzada em modelos temporários e modelos armazenados em uma instância do Analysis Services.

Para criar um relatório de validação cruzada

1. No grupo Precisão e Validação da faixa de opções de Mineração de Dados, clique em Validação Cruzada.

2. Na caixa de diálogo Selecionar Estrutura ou Modelo , selecione uma estrutura de mineração ou modelo de mineração existente. Se você selecionar uma estrutura, o assistente usará a validação cruzada em relação a todos os modelos baseados nessa estrutura que têm o mesmo atributo previsível. Se você selecionar um modelo, o assistente usará validação cruzada contra somente esse modelo.

3. Na caixa de diálogo Especificar Parâmetros de Validação Cruzada, na caixa Contagem de Partições, escolha o número de partições para dividir o conjunto de dados. Uma dobra é uma seção cruzada selecionada aleatoriamente dos dados.

4. Opcionalmente, defina o número máximo de linhas a serem usadas na validação cruzada digitando um número na caixa de texto Máximo de Linhas .

   Observação

   Quanto mais linhas você usar, mais precisos serão os resultados. No entanto, o tempo de processamento também pode aumentar significativamente. O número escolhido depende de seus dados, mas, em geral, você deve escolher o número mais alto possível sem sacrificar o desempenho. Para melhorar o desempenho, você também pode especificar menos dobras.

5. Selecione uma coluna na lista suspensa Atributo de Destino. A lista exibe apenas as colunas que foram configuradas como atributos previsíveis quando você criou o modelo originalmente. O modelo pode conter vários atributos previsíveis, mas você pode escolher apenas um.

6. Selecione um valor na lista suspensa Estado de Destino.

   Se a coluna previsível contiver dados numéricos contínuos, essa opção não estará disponível.

7. Opcionalmente, especifique um valor a ser usado como o Limite de Precisão na contagem de previsões como precisas. Esse valor é expresso como uma probabilidade, que é um número entre 0 e 1, em que 1 significa que a previsão tem garantia de ser precisa, 0 significa que não há nenhuma chance de que a previsão esteja correta e .5 seja igual a um palpite aleatório.

   Se a coluna previsível contiver dados numéricos contínuos, essa opção não estará disponível.

8. Clique em Concluir. Uma nova planilha é criada, chamada Validação Cruzada.

   Observação

   O Microsoft Excel pode ficar temporariamente sem resposta enquanto o modelo está sendo particionado em dobras e cada dobra é testada.

Requisitos

Para criar um relatório de validação cruzada, você já deve ter criado uma estrutura de mineração de dados e modelos relacionados. O assistente fornece uma caixa de diálogo para ajudá-lo a escolher entre modelos e estruturas existentes.

Se você escolher uma estrutura de mineração que dê suporte a vários modelos de mineração e os modelos usarem atributos previsíveis diferentes, o assistente de Validação Cruzada testará apenas os modelos que compartilham o mesmo atributo previsível.

Se você escolher uma estrutura que dê suporte a modelos de clustering e outros tipos de modelos, os modelos de clustering não serão testados.

Noções básicas sobre resultados de validação cruzada

Os resultados da validação cruzada são exibidos em uma nova planilha, intitulada Relatório de Validação Cruzada para <o nome> do atributo. A nova planilha contém várias seções: a primeira seção é um resumo que fornece metadados importantes sobre o modelo que foi testado, para que você possa saber para qual modelo ou estrutura os resultados são.

A segunda seção do relatório fornece um resumo estatístico que indica o quão bom é o modelo original. Neste resumo, as diferenças entre os modelos criados para cada dobra são analisadas para três medidas principais: erro quadrado médio raiz, erro absoluto médio e pontuação de log. Essas são medidas estatísticas padrão usadas não apenas na mineração de dados, mas também na maioria dos tipos de análise estatística.

Para cada uma dessas medidas, o assistente de validação cruzada calcula a média e o desvio padrão no modelo como um todo. Isso informa o quão consistente o modelo é ao fazer previsões em subconjuntos diferentes dos dados. Por exemplo, se o desvio padrão for muito grande, isso indica que os modelos criados para cada partição têm resultados muito diferentes e, portanto, o modelo pode ter treinado de forma muito restritiva em um determinado grupo de dados e não ser aplicável a outros conjuntos.

A seção a seguir explica as medidas usadas para avaliar os modelos.

Testes e medidas

Além de algumas informações básicas sobre o número de dobras nos dados e a quantidade de dados em cada dobra, a planilha exibe um conjunto de métricas sobre cada modelo, categorizado por tipo de teste. Por exemplo, a precisão de um modelo de clustering é avaliada por testes diferentes do que você usaria para um modelo de previsão.

A tabela a seguir lista os testes e as métricas, com uma explicação do que a métrica significa.

Agregações e medidas estatísticas gerais

As medidas de agregação fornecidas no relatório indicam como as dobras que você criou nos dados diferem umas das outras.

• Desvio médio e padrão.

• Média do desvio em relação à média para uma medida específica, considerando todas as partições de um modelo.

Classificação: Passar/Falhar

Essa medida é usada em modelos de classificação quando você não especifica um valor de destino para o atributo previsível. Por exemplo, se você criar um modelo que preveja várias possibilidades, essa medida informa o quão bem o modelo se saiu ao prever todos os valores possíveis.

Pass/fail é calculado pela contagem de casos que atendem às seguintes condições: passe se o estado previsto com a probabilidade mais alta for o mesmo que o estado de entrada e a probabilidade for maior do que o valor especificado para o Limite de Estado; caso contrário, falha.

Classificação: Verdadeiros ou Falsos Positivos e Negativos

Esse teste é usado para todos os modelos de classificação que têm um destino especificado. A medida indica como cada caso é classificado em resposta a essas perguntas: o que o modelo previu e qual foi o resultado real.

Medida	Descrição
Verdadeiro positivo	Contagem de casos que atendem a essas condições: Case contém o valor de destino. O modelo previu que esse caso contém o valor de destino.
Falso positivo	Contagem de casos que atendem a essas condições: O valor real é igual ao valor de destino. O modelo previu que essa situação contém o valor alvo.
Verdadeiro negativo	Contagem de casos que atendem a essas condições: Case não contém o valor de destino. O modelo previu que esse caso não contém o valor alvo.
Falso negativo	Contagem de casos que atendem a essas condições: Valor real não igual ao valor de destino. O modelo previu que esse caso não contém o valor de destino.

Levantar

Lift é uma medida associada à probabilidade. Se um resultado for mais provável quando você usar o modelo do que quando fizer uma estimativa aleatória, o modelo deverá fornecer uma elevação positiva. No entanto, se o modelo fizer previsões menos prováveis do que a chance aleatória, a pontuação de elevação será negativa. Portanto, essa métrica indica a quantidade de melhoria que pode ser obtida usando o modelo, em que uma pontuação mais alta é melhor.

O lift é calculado como a proporção da probabilidade de previsão real em relação à probabilidade marginal nos casos de teste.

Pontuação Logarítmica

A pontuação de log, também chamada de pontuação de probabilidade de log para a previsão, representa a taxa entre duas probabilidades, convertida em uma escala logarítmica. Como as probabilidades são representadas como uma fração decimal, a pontuação de log é sempre um número negativo. Uma pontuação mais próxima de 0 é uma pontuação melhor.

Enquanto as pontuações brutas podem ter distribuições muito irregulares ou distorcidas, uma pontuação de log é semelhante a uma porcentagem.

Erro Quadrático Médio

RMSE (erro quadrado médio raiz) é um método padrão em estatísticas para examinar como diferentes conjuntos de dados se comparam e suavizar as diferenças que podem ser introduzidas pela escala das entradas.

O RMSE representa o erro médio do valor previsto quando comparado ao valor real. Ele é calculado como a raiz quadrada do erro médio para todos os casos de partição, dividido pelo número de casos na partição, excluindo linhas que têm valores ausentes para os atributos de destino.

Erro absoluto médio

O erro absoluto médio é o erro médio do valor previsto para o valor real. Ele é calculado obtendo a soma absoluta dos erros e encontrando a média desses erros.

Esse valor ajuda você a entender até que ponto as pontuações variam da média.

Probabilidade do Caso

Essa medida é usada apenas para modelos de clustering e indica o quão provável é que um novo caso pertença a um cluster específico.

Em modelos de clustering, há dois tipos de associação de cluster, dependendo do método usado para criar o modelo. Em alguns modelos, com base no algoritmo K-means, espera-se que um novo caso pertença a apenas um cluster. No entanto, por padrão, o algoritmo de Clustering da Microsoft usa o método Maximização de Expectativa, que pressupõe que um novo caso possa pertencer a qualquer cluster. Portanto, nesses modelos, um caso pode ter vários CaseLikelihood valores, mas o relatado por padrão é a probabilidade do caso pertencer ao cluster que é a melhor correspondência para o novo caso.

Consulte Também

Validando modelos e usando modelos de previsão (suplementos de mineração de dados para Excel)