Registro automático no Microsoft Fabric

A Ciência de Dados do Synapse no Microsoft Fabric inclui o registro automático, o que reduz significativamente a quantidade de código necessária para registrar automaticamente os parâmetros, as métricas e os itens de um modelo de machine learning durante o treinamento. Este artigo descreve o log automático para Synapse Data Science no Microsoft Fabric.

O log automático estende os recursos do MLflow Tracking e está profundamente integrado na experiência de Ciência de Dados do Synapse no Microsoft Fabric. O log automático pode capturar várias métricas, incluindo precisão, perda, medida f e as métricas personalizadas que você definir. Usando o registro automático, desenvolvedores e cientistas de dados podem acompanhar e comparar facilmente o desempenho de diferentes modelos e experimentos sem o acompanhamento manual.

Estruturas com suporte

O registro automático dá suporte a uma ampla variedade de estruturas de aprendizado de máquina, incluindo TensorFlow, PyTorch, Scikit-learn e XGBoost. Para saber mais sobre as propriedades específicas da estrutura que o log automático captura, consulte a documentação do MLflow.

Configuração

O registro automático funciona capturando automaticamente os valores de parâmetros de entrada, métricas de saída e itens de saída de um modelo de machine learning enquanto ele está sendo treinado. Essas informações são registradas em seu espaço de trabalho do Microsoft Fabric, onde é possível acessá-las e visualizá-las usando as APIs do MLflow ou os itens de modelo e do experimento correspondentes no espaço de trabalho do Microsoft Fabric.

Quando você inicia um notebook de Ciência de Dados do Synapse, o Microsoft Fabric chama mlflow.autolog() para habilitar instantaneamente o acompanhamento e carregar as dependências correspondentes. À medida que você treina modelos em seu notebook, o MLflow acompanha automaticamente as informações desse modelo.

A configuração ocorre automaticamente nos bastidores quando você executa o import mlflow. A configuração padrão do gancho do notebook é mlflow.autolog():

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Personalização

Para personalizar o comportamento de registro em log, use a configuração mlflow.autolog(). Essa configuração fornece os parâmetros para habilitar o registro em log do modelo, coletar exemplos de entrada, configurar avisos ou habilitar o registro em log do conteúdo adicionado especificado por você.

Acompanhar mais métricas, parâmetros e propriedades

Para execuções criadas com o MLflow, atualize a configuração do log automático para acompanhar outras métricas, parâmetros, arquivos e metadados da maneira a seguir:

1. Atualize a chamada mlflow.autolog() e defina exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Use as APIs de acompanhamento do MLflow para registrar parâmetros e métricas adicionais. O código de exemplo a seguir permite que você registre suas métricas e parâmetros personalizados junto com propriedades adicionais.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Desabilitar o registro automático do Microsoft Fabric

É possível desabilitar o log automático do Microsoft Fabric para uma sessão de notebook especificada. Você também pode desabilitar o log automático em todos os notebooks usando a configuração do espaço de trabalho.

Observação

Se o registro automático estiver desabilitado, você deverá registrar manualmente seus parâmetros e métricas usando as APIs do MLflow.

Desabilitar o registro automático para uma sessão de notebook

Para desabilitar o log automático do Microsoft Fabric em uma sessão de notebook específica, chame mlflow.autolog() e definir disable=True.

import mlflow
mlflow.autolog(disable=True)

Desabilitar o log automático de todos os notebooks e sessões

Os administradores do espaço de trabalho pode habilitar ou desabilitar o log automático do Microsoft Fabric para todos os notebooks e sessões em seu espaço de trabalho usando as configurações do espaço de trabalho. Para habilitar ou desabilitar o log automático do Synapse Data Science:

1. Em seu espaço de trabalho do Synapse Data Science, selecione Configurações do espaço de trabalho.

   

2. Na tela Configurações do espaço de trabalho, expanda Engenharia/Ciência de Dados na barra de navegação esquerda e selecione Configurações do Spark.

3. Na tela Configurações do Spark, selecione a guia Log automático.

4. Defina Acompanhar automaticamente experimentos e modelos de aprendizado de máquina como Ativado ou Desativado.

5. Selecione Salvar.

   

Conteúdo relacionado

• Crie um modelo de machine learning com o Apache Spark MLlib
• Experimentos de machine learning no Microsoft Fabric