Usar o scikit-learn no Azure Databricks

Esta página fornece exemplos de como você pode usar o pacote scikit-learn para treinar modelos de machine learning no Azure Databricks. O scikit-learn é uma das bibliotecas Python mais populares para machine learning de nó único e está incluída no Databricks Runtime e no Databricks Runtime ML. Consulte as Notas sobre a versão do Databricks Runtime para a versão da biblioteca Scikit-learn incluída no runtime do cluster.

Você pode importar esses notebooks e executá-los no workspace do Azure Databricks.

Para obter mais notebooks de exemplo para introdução rápida no Azure Databricks, consulte Tutoriais: introdução ao ML.

Exemplo básico usando o scikit-learn

Este notebook fornece uma visão geral rápida do treinamento do modelo de machine learning no Azure Databricks. Ele usa o pacote scikit-learn para treinar um modelo de classificação simples. Também ilustra o uso do MLflow para rastrear o processo de desenvolvimento do modelo e do Optuna para automatizar o ajuste do hiperparâmetro.

Se o seu espaço de trabalho estiver habilitado para o Unity Catalog, use esta versão do notebook:

Bloco de notas de classificação do scikit-learn (Catálogo do Unity)

Obter notebook

Se o seu espaço de trabalho não estiver habilitado para o Catálogo do Unity, use esta versão do notebook:

Notebook de classificação do scikit-learn

Obter notebook

Exemplo de ponta a ponta usando o scikit-learn no Azure Databricks

Este notebook usa o scikit-learn para ilustrar um exemplo ponta a ponta de carregamento de dados, treinamento de modelo, ajuste de hiperparâmetro distribuído e inferência de modelo. Ele também ilustra o gerenciamento do ciclo de vida do modelo usando o Registro de Modelo do MLflow para registrar o modelo.

Se o seu espaço de trabalho estiver habilitado para o Unity Catalog, use esta versão do notebook:

Use o scikit-learn com integração do MLflow no Databricks (Catálogo do Unity)

Obter notebook

Se o seu espaço de trabalho não estiver habilitado para o Catálogo do Unity, use esta versão do notebook:

Usar o scikit-learn com a integração do MLflow no Databricks

Obter notebook

• Acompanhar o treinamento de modelo scikit-learn com o MLflow