训练 AI 和 ML 模型

本部分介绍如何在 Mosaic AI 上训练机器学习和 AI 模型。

马赛克 AutoML

马赛克 AutoML 通过自动查找最佳算法和超参数配置,简化了将机器学习应用到数据集的过程。 AutoML 提供低代码 UI 和 Python API。

Mosaic AI 模型训练

Databricks 上的 Mosaic AI 模型训练(以前的基础模型训练)允许你使用自己的数据,自定义大型语言模型 (LLM)。 此过程涉及微调预先存在的基础模型的训练,与从头开始训练模型相比,这显著减少了所需的数据、时间和计算资源。 主要功能包括:

  • 监督式微调: 训练结构化提示响应数据,以使模型适应新任务。
  • 继续预先训练: 使用其他文本数据增强模型,以添加新知识或专注于特定域。
  • 聊天完成: 训练聊天日志上的模型以提高聊天能力。

开源库示例

请参阅各种开放源代码机器学习库中的机器学习训练示例,包括使用 Optuna 和 Hyperopt 的超参数优化示例。

深度学习

请参阅分布式深度学习训练的示例和最佳做法,以便在 Azure Databricks 上开发和微调深度学习模型。

推荐者

了解如何在 Azure Databricks 上训练基于深度学习的推荐模型。 与传统的推荐模型相比,深度学习模型能获得更高质量的结果,并能缩放到更大的数据量。