使用 Azure Databricks 实现机器学习解决方案

中级
数据科学家
Azure Databricks

Azure Databricks 是一个用于数据分析和机器学习的云规模平台。 数据科学家和机器学习工程师可以使用 Azure Databricks 大规模实现机器学习解决方案。

先决条件

本学习路径假设你有使用 Python 和常用开源框架(如 Scikit-Learn、PyTorch 和 TensorFlow)浏览数据和训练机器学习模型的经验。 在开始本学习路径之前,建议先完成创建机器学习模型学习路径。

本学习路径中的模块

Azure Databricks 是一种云服务,可为使用 Apache Spark 的数据分析提供可缩放的平台。

Azure Databricks 基于 Apache Spark 构建,可支持数据工程师和分析师运行 Spark 作业来大规模转换、分析和可视化数据。

机器学习涉及到使用数据训练预测模型。 Azure Databricks 支持多个可用于训练模型的常用机器学习框架。

MLflow 是一个开放源代码平台,用于在 Azure Databricks 中管理原生支持的机器学习生命周期。

优化超参数是机器学习的一个重要组成部分。 在 Azure Databricks 中,可以使用 Hyperopt 库自动优化超参数。

Azure Databricks 中的 AutoML 简化了为数据构建有效机器学习模型的过程。

深度学习使用神经网络来训练高效的机器学习模型,用于复杂预测、计算机视觉、自然语言处理和其他 AI 工作负载。

机器学习支持数据驱动的决策和自动化,但将模型部署到生产环境以获取实时见解具有挑战性。 Azure Databricks 通过提供统一平台来大规模构建、训练和部署机器学习模型,促进数据科学家和工程师之间的协作,从而简化此过程。