Usar o scikit-learn no Azure Databricks

Esta página fornece exemplos de como você pode usar o scikit-learn pacote para treinar modelos de aprendizado de máquina no Azure Databricks. scikit-learn é uma das bibliotecas Python mais populares para aprendizado de máquina de nó único e está incluída no Databricks Runtime e no Databricks Runtime ML. Consulte as notas de versão do Databricks Runtime para conhecer a versão da biblioteca scikit-learn incluída no runtime do cluster.

Você pode importar esses blocos de anotações e executá-los em seu espaço de trabalho do Azure Databricks.

Exemplo básico usando scikit-learn

Este bloco de anotações fornece uma visão geral rápida do treinamento de modelo de aprendizado de máquina no Azure Databricks. Ele usa o scikit-learn pacote para treinar um modelo de classificação simples. Ele também ilustra o uso do MLflow para acompanhar o processo de desenvolvimento do modelo e do Optuna para automatizar o ajuste de hiperparâmetros.

Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Caderno de classificação scikit-learn (Catálogo Unity)

Obter caderno

Se seu espaço de trabalho não estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Caderno de Classificação Scikit-Learn

Obter caderno

Exemplo de ponta a ponta usando scikit-learn no Azure Databricks

Este bloco de anotações usa scikit-learn para ilustrar um exemplo completo de ponta a ponta de carregamento de dados, treinamento de modelo, ajuste de hiperparâmetro distribuído e inferência de modelo. Ele também ilustra o gerenciamento do ciclo de vida do modelo usando o MLflow Model Registry para registrar e registrar seu modelo.

Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Utilize scikit-learn com a integração do MLflow no Databricks (Unity Catalog)

Obter caderno

Se seu espaço de trabalho não estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Use o scikit-learn com a integração MLflow no Databricks

Obter caderno