Teste de Precisão com Gráficos de Lift (Tutorial Básico de Mineração de Dados)

Na guia Gráfico de Precisão de Mineração do Designer de Mineração de Dados, você pode calcular o quão bem cada um de seus modelos faz previsões e comparar os resultados de cada modelo diretamente com os resultados dos outros modelos. Esse método de comparação é conhecido como um gráfico de elevação. Normalmente, a precisão preditiva de um modelo de mineração é medida pela precisão de elevação ou classificação. Para este tutorial, usaremos apenas o gráfico de elevação.

Neste tópico, você executará as seguintes tarefas:

• Escolher os dados de entrada

• Configurar parâmetros de gráfico de precisão

Escolhendo os dados de entrada

A primeira etapa para testar a precisão de seus modelos de mineração é selecionar a fonte de dados que você usará para teste. Você testará o desempenho dos modelos em relação aos dados de teste e, em seguida, os usará com dados externos.

Para selecionar o conjunto de dados

1. Alterne para a guia Gráfico de Precisão de Mineração no Designer de Mineração de Dados no SQL Server Data Tools, SSDT, e selecione a guia Seleção de Entrada.

2. Na caixa de grupo Selecionar conjunto de dados a ser usado para Gráfico de Precisão, selecione Usar casos de teste da estrutura de mineração. Esses são os dados de teste que você reserva ao criar a estrutura de mineração.

   Para obter mais informações sobre as outras opções, consulte Escolher um tipo de gráfico de precisão e definir opções de gráfico.

Definindo parâmetros de gráfico de precisão

Para criar um gráfico de precisão, você deve definir três coisas:

• Quais modelos você deve incluir no gráfico de precisão?

• Qual atributo previsível você deseja medir? Alguns modelos podem ter vários destinos, mas cada gráfico pode medir apenas um resultado de cada vez.

  Para usar uma coluna como o Nome da Coluna Previsível em um gráfico de precisão, as colunas devem ter o tipo de uso de Predict ou Predict Only. Além disso, o tipo de conteúdo da coluna de destino deve ser ou DiscreteDiscretized. Em outras palavras, você não pode medir a precisão em relação a saídas numéricas contínuas usando o gráfico de elevação.

• Você deseja medir a precisão geral do modelo ou sua precisão na previsão de um valor específico (como [Comprador de Bicicleta] = 'Sim')

Para gerar o gráfico de elevação

1. Na guia Seleção de Entrada do Designer de Mineração de Dados, em Selecionar colunas previsíveis do modelo de mineração a serem exibidas no gráfico de elevação, marque a caixa de seleção para Sincronizar Colunas e Valores de Previsão.

2. Na coluna Nome da Coluna Previsível, verifique se Comprador de Bicicletas está selecionado em cada modelo.

3. Na coluna Mostrar , selecione cada um dos modelos.

   Por padrão, todos os modelos na estrutura de mineração são selecionados. Você pode decidir não incluir um modelo, mas para este tutorial deixe todos os modelos selecionados.

4. Na coluna Prever Valor , selecione 1. O mesmo valor é preenchido automaticamente para cada modelo que tem a mesma coluna previsível.

5. Selecione a guia Gráfico de Elevação .

   Quando você clica na guia, uma consulta de previsão é executada para obter previsões para os dados de teste e os resultados são comparados com os valores conhecidos. Os resultados são plotados no grafo.

   Se você especificou um resultado alvo específico usando a opção Prever Valor, o gráfico de elevação exibe os resultados de estimativas aleatórias e os resultados de um modelo ideal.

   • A linha de estimativa aleatória mostra o quão preciso o modelo seria sem usar dados para informar suas previsões: ou seja, uma divisão de 50 a 50 entre dois resultados. O gráfico de elevação ajuda você a visualizar o desempenho do modelo em comparação com uma estimativa aleatória.

   • A linha de modelo ideal representa o limite superior de precisão. Ele mostra o benefício máximo possível que você pode obter se seu modelo sempre previu com precisão.

   Os modelos de mineração que você criou geralmente ficarão entre esses dois extremos. Qualquer melhoria do palpite aleatório é considerada como elevação.

6. Use a legenda para localizar as linhas coloridas que representam o Modelo Ideal e o Modelo de Adivinhação Aleatória.

   Você observará que o TM_Decision_Tree modelo fornece o maior lift, superando os modelos Clustering e Naive Bayes.

Para obter uma explicação detalhada de um gráfico de elevação semelhante ao criado nesta lição, consulte Lift Chart (Analysis Services – Data Mining).

Próxima tarefa da lição

Testando um modelo filtrado (Tutorial básico de mineração de dados)

Consulte Também

Gráfico de elevação (Analysis Services – Mineração de dados)
Gráfico de Elevação (Visão do Gráfico de Precisão de Mineração)