Usar o scikit-learn no Azure Databricks
Esta página fornece exemplos de como você pode usar o scikit-learn pacote para treinar modelos de aprendizado de máquina no Azure Databricks. scikit-learn é uma das bibliotecas Python mais populares para aprendizado de máquina de nó único e está incluída no Databricks Runtime e no Databricks Runtime ML. Consulte as notas de versão do Databricks Runtime para obter a versão da biblioteca scikit-learn incluída no tempo de execução do cluster.
Você pode importar esses blocos de anotações e executá-los em seu espaço de trabalho do Azure Databricks.
Para obter exemplos adicionais de blocos de anotações para começar rapidamente no Azure Databricks, consulte Tutoriais: Introdução à IA e ao aprendizado de máquina.
Exemplo básico usando scikit-learn
Este bloco de anotações fornece uma visão geral rápida do treinamento de modelo de aprendizado de máquina no Azure Databricks. Ele usa o scikit-learn pacote para treinar um modelo de classificação simples. Ele também ilustra o uso do MLflow para acompanhar o processo de desenvolvimento do modelo e do Optuna para automatizar o ajuste de hiperparâmetros.
Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:
Caderno de classificação scikit-learn (Catálogo Unity)
Se seu espaço de trabalho não estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:
Caderno de Classificação Scikit-Learn
Exemplo de ponta a ponta usando scikit-learn no Azure Databricks
Este bloco de anotações usa scikit-learn para ilustrar um exemplo completo de ponta a ponta de carregamento de dados, treinamento de modelo, ajuste de hiperparâmetro distribuído e inferência de modelo. Ele também ilustra o gerenciamento do ciclo de vida do modelo usando o MLflow Model Registry para registrar e registrar seu modelo.
Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:
Use scikit-learn com integração MLflow em Databricks (Unity Catalog)
Se seu espaço de trabalho não estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações: