Exemplos de formação de modelos

Esta secção inclui exemplos que mostram como treinar modelos de aprendizagem automática no Azure Databricks usando muitas bibliotecas open source populares.

Também pode usar o AutoML, que prepara automaticamente um conjunto de dados para treino de modelos, realiza um conjunto de testes usando bibliotecas open-source como scikit-learn e XGBoost, e cria um Python notebook com o código-fonte de cada teste para que possa rever, reproduzir e modificar o código.

Exemplos de aprendizagem automática

Pacote	Caderno(s)	Funcionalidades
scikit-learn	Tutorial de aprendizado de máquina	Unity Catalog, modelo de classificação, MLflow, ajuste automatizado de hiperparâmetros com Hyperopt e MLflow
scikit-learn	Exemplo de ponta a ponta	Unity Catalog, modelo de classificação, MLflow, ajuste automatizado de hiperparâmetros com Hyperopt e MLflow, XGBoost
MLlib	Exemplos de MLlib	Classificação binária, árvores de decisão, regressão GBT, Structured Streaming, transformador personalizado
xgboost	Exemplos de XGBoost	Python, PySpark e Scala, cargas de trabalho de nó único e treino distribuído

Exemplos de ajuste de hiperparâmetros

Para informações gerais sobre afinação de hiperparâmetros em Azure Databricks, veja Afinação de hiperparâmetros.

Observação

A versão de código aberto do Hyperopt não está mais sendo mantida.

O Hyperopt não está incluído no Databricks Runtime for Machine Learning após o 16.4 LTS ML. Azure Databricks recomenda usar o Optuna para otimização de nó único ou o RayTune para uma experiência semelhante à funcionalidade de ajuste de hiperparâmetros distribuídos do agora obsoleto Hyperopt. Saiba mais sobre como usar RayTune no Azure Databricks.

Pacote	Bloco de Notas	Funcionalidades
Optuna	Introdução ao Optuna	Optuna, Optuna distribuído, scikit-learn, MLflow
Hyperopt	Hyperopt distribuído	Hiperopta distribuída, scikit-learn, MLflow
Hyperopt	Comparar modelos	Usar o hiperopt distribuído para explorar o espaço de hiperparâmetros simultaneamente para diferentes tipos de modelos.
Hyperopt	Algoritmos de treinamento distribuído e hiperopta	Hiperoptia, MLlib
Hyperopt	Práticas recomendadas do Hyperopt	Práticas recomendadas para conjuntos de dados de tamanhos diferentes