Treinar e pontuar modelos com o Microsoft Fabric

Concluído

Quando você ingerir, explorar e pré-processar seus dados, poderá usar os dados para treinar um modelo. Treinar um modelo é um processo iterativo, e você deseja poder acompanhar seu trabalho.

O Microsoft Fabric se integra ao MLflow para acompanhar e registrar seu trabalho com facilidade, permitindo que você revise seu trabalho a qualquer momento para decidir qual é a melhor abordagem para treinar o modelo final. Quando você acompanha seu trabalho, seus resultados são facilmente reproduzíveis.

Qualquer trabalho que você deseje acompanhar pode ser rastreado como experimentos.

Entender os experimentos

Sempre que você treina um modelo em um notebook que deseja rastrear, você cria um experimento no Microsoft Fabric.

Um experimento pode consistir em diversas execuções. Cada execução representa uma tarefa executada em um notebook, como o treinamento de um modelo de machine learning.

Por exemplo, ao treinar um modelo de machine learning para a previsão de vendas, é possível experimentar diferentes conjuntos de dados de treinamento com o mesmo algoritmo. Sempre que você treina um modelo com um conjunto de dados diferente, uma execução de experimento é criada. Em seguida, é possível comparar as execuções de experimento para determinar o modelo com melhor desempenho.

Começar a rastrear métricas

Para comparar execuções de experimentos, você pode acompanhar parâmetros, métricas e artefatos para cada execução.

Todos os parâmetros, métricas e artefatos que você acompanha em uma execução de experimento são mostrados na visão geral dos experimentos. É possível exibir execuções de experimento individualmente na guia Detalhes da execução ou comparar as execuções com a Lista de execuções:

Screenshot of an experiment overview in Microsoft Fabric.

Ao acompanhar seu trabalho com o MLflow, você pode comparar iterações de treinamento de modelo e decidir qual configuração resultou no melhor modelo para seu caso de uso.

Entender os modelos

Depois de treinar um modelo, você deseja usá-lo para pontuação. Com a pontuação, você usa o modelo em novos dados para gerar previsões ou insights. Quando você treina e acompanha um modelo com o MLflow, os artefatos são armazenados na execução do experimento para representar seu modelo e seus metadados. Você pode salvar esses artefatos no Microsoft Fabric como um modelo.

Ao salvar seus artefatos de modelo como um modelo registrado no Microsoft Fabric, você pode gerenciar facilmente seus modelos. Sempre que você treinar um novo modelo e salvá-lo com o mesmo nome, adicione uma nova versão ao modelo.

Screenshot of the model overview in Microsoft Fabric.

Usar um modelo para gerar insights

Para usar um modelo para gerar previsões, você pode usar a função PREDICT no Microsoft Fabric. A função PREDICT é criada para se integrar facilmente aos modelos do MLflow e permite que você use o modelo para gerar previsões em lote.

Por exemplo, toda semana você recebe dados de vendas de vários repositórios. Com base nos dados históricos, você treinou um modelo que pode prever as vendas para a próxima semana, com base nas vendas das últimas semanas. Você rastreou o modelo com o MLflow e o salvou no Microsoft Fabric. Sempre que os novos dados de vendas semanais entrarem, você usará a função PREDICT para permitir que o modelo gere a previsão para a próxima semana. Os dados de vendas previstos são armazenados como uma tabela em um lakehouse, que é visualizado em um relatório do Power BI para os usuários empresariais consumirem.