Implementar uma solução de Machine Learning com o Azure Databricks

Intermediário
Cientista de Dados
Azure Databricks

O Azure Databricks é uma plataforma de escala de nuvem para análise de dados e machine learning. Cientistas de dados e engenheiros de machine learning podem usar o Azure Databricks para implementar soluções de machine learning em escala.

Pré-requisitos

Este roteiro de aprendizagem pressupõe que você tem experiência com Python para a exploração de dados e treinamento de modelos de machine learning com estruturas de open-source comuns, como Scikit-Learn, PyTorch e TensorFlow. Convém concluir o roteiro de aprendizagem Criar modelos de machine learning antes de iniciar este.

Módulos neste roteiro de aprendizagem

O Azure Databricks é um serviço de nuvem que fornece uma plataforma escalonável para análise de dados usando o Apache Spark.

O Azure Databricks é baseado no Apache Spark e permite que engenheiros de dados e analistas executem trabalhos do Spark para transformar, analisar e visualizar dados em escala.

O machine learning envolve o uso de dados para treinar um modelo preditivo. O Azure Databricks dá suporte a várias estruturas de machine learning comumente usadas que você pode usar para treinar modelos.

O MLflow é uma plataforma de código aberto para gerenciar o ciclo de vida de machine learning com suporte nativo no Azure Databricks.

Ajustar hiperparâmetros é uma parte essencial do machine learning. No Azure Databricks, você pode usar a biblioteca Hyperopt para otimizar hiperparâmetros automaticamente.

O ML automatizado no Azure Databricks simplifica o processo de criação de um modelo de machine learning eficaz para seus dados.

O aprendizado profundo usa redes neurais para treinar modelos de machine learning altamente eficazes para previsão complexa, pesquisa visual computacional, processamento de linguagem natural e outras cargas de trabalho de IA.