Microsoft Foundry 中的微调

微调通过对任务特定的数据进行额外训练，使预训练模型适应你的任务。 它调整模型的权重，而不是向每个提示添加示例。 无需从头开始训练模型即可基于模型的现有功能进行构建。

当你拥有高质量且针对特定任务的训练数据，并希望实现以下目标时，微调会有所帮助：

• 提高准确性和相关性。 对超出提示中可容纳数量的更多示例进行训练，有助于学习任务特定的模式。
• 减少提示开销。 更少的提示示例可以降低令牌成本和延迟。
• 对齐样式和结构。 回复可以保持一致的语气、格式或结构。
• 提高工具的使用效率。 训练示例可以改进工具选择和参数准确性。
• 有效地使用检索到的上下文。 模型可以了解如何确定相关上下文的优先级并忽略不相关的信息。
• 针对较小的模型进行优化。 教师生成的示例可帮助较小的模型以更低的成本和延迟满足任务要求。

不能保证效果；保留评估可帮助你将微调的模型与基线进行比较。 微调会增加训练和托管成本，且无法替代对最新信息的检索或应用层安全控制措施。

选择训练方法

Microsoft Foundry 提供了两种训练方法。 托管式微调会根据你的数据和设置运行一个训练作业。 交互式训练（预览版）允许你在 Python 中控制训练步骤。

两者均使用由 Foundry 管理的训练基础结构；你无需自行预配训练 GPU。

Note

交互式训练目前为预览版，需要明确批准访问权限。 通过 预览注册表单 请求访问权限，并在创建培训会话之前等待审批。

	托管微调	交互式培训（预览版）
工作原理	提交数据和设置;Foundry 运行训练作业。	编写Python循环;Foundry 执行训练和采样操作。
最适用于	初学者以及更倾向于使用预定义工作流而非底层训练操作的 AI 工程师。	经验丰富的机器学习从业者，负责构建定制化的训练工作流。
你的控制项	数据、支持的超参数和 RFT 评分器。	损失、奖励、rollout（轨迹采样）、梯度累积、更新和检查点。
训练方法	特定于模型的 SFT、DPO 和 RFT；通过教师生成的 SFT 数据进行蒸馏。	SFT、强化学习、偏好学习、知识蒸馏以及自定义损失函数的实现方法。
示例用例	对大型模型进行精简，从支持对话中学习，或借助评分程序改进回复。	收集工具使用滚动数据、应用自定义奖励，或更改训练循环的更新和评估行为。

Tip

如果不熟悉模型自定义，请先进行托管微调。 它提供预定义的工作流，而无需实现单个训练操作。

模型要求可能会限制这一选择。 支持某一种途径、方法或模态的模型，并不意味着也自动支持另一种途径、方法或模态。 指南方案支持也无法确定服务是否可用。 请查看下面的 受支持模型表 ，了解可用的组合。

自定义方法

自定义方法确定模型如何从训练数据或反馈中学习，例如所需的响应、首选项或奖励。

方法	训练信号	在合适的时候
监督式微调 (SFT)	提示和所需的响应。	可以演示模型应学习的行为。
偏好微调，使用直接偏好优化（DPO）	对同一输入的首选和拒绝的响应。	质量取决于偏好，如语气或完整性，而不是一个正确的答案。
强化微调（RFT）	提示词和一个用于为生成的响应评分的评分器。	多个解决方案是可能的，你可以可靠地对其质量评分。

此表中的预定义方法仅适用于托管的微调。 交互式训练提供用于生成自定义训练工作流的训练基本组件。

训练类型

训练类型定义训练运行的位置以及容量、定价和服务保证的适用方式。 它们与部署类型是分开的，部署类型决定了如何提供已训练好的模型。

训练类型	Description
标准	训练发生在当前 Foundry 资源的区域中，并提供数据驻留的保证。 特别适合需要将数据存留在特定区域中的工作负载。
数据区域	训练发生在受支持的数据区域中，而不是单个区域。 非常适合数据必须保留在该区域内的工作负荷。 目前仅支持美国数据区域。
全球	使用当前区域之外的容量，提供比标准版更实惠的定价。 数据和权重会被复制到训练所在的区域。 如果数据驻留不是限制，并且您需要更快的排队时间，那么这是非常理想的。
开发人员	使用空闲容量进行训练，可节省大量成本。 由于没有延迟或 SLA 保证，因此此层中的作业可能会自动被中断并稍后恢复。 没有任何数据驻留的保证。 非常适合试验和价格敏感型工作负载。

部署选项

Foundry 提供三个部署选项，其中包含不同的推理服务基础设施和计费模型。

• 无服务器：Foundry 托管经过微调的模型，并管理服务基础结构。
• 托管计算（预览版）：专用 GPU 算力运行一个匹配的基础模型，并配备一个或多个兼容的 LoRA 适配器。
• Foundry 上的 Fireworks（预览版）：Fireworks 运行时提供一个适配器，该适配器已合并到基础模型的完全权重副本中。

Serverless 和 Fireworks 提供不同的部署类型，这些类型决定处理所在地域、容量和计费模型。 可用性取决于模型、部署选项和项目。

部署类型	Description
标准	使用按令牌计费和适用的微调模型托管费用在部署区域中运行推理。
数据区域标准	使用按令牌计费在受支持的数据区域中运行推理。 仅支持美国数据区域。
全球标准	使用按令牌计费的全局容量。 自定义模型权重可能暂时存储在资源的地理位置之外。
开发人员	在全球范围内运行推理，按令牌计费，且不收取按小时计算的托管费，也不提供数据驻留保证。 仅供评估使用；有效期为 24 小时，且不提供可用性 SLA。
预配的吞吐量	提供按预配吞吐量单位 (PTU) 计费的区域容量，以实现可预测的吞吐量。
全局预配	对导入的自定义模型使用全球容量，并采用基于 PTU 的计费。

支持的模型

你的要求可能会要求特定模型或训练方法。 使用表检查哪些组合支持自定义方法、训练类型和部署选项。

对于受支持的无服务器部署，除非图例另有说明，否则“全局标准版”、“数据区域标准版”和“开发人员版”均可使用。 请查看这些部署类型的标准部署区域和预配吞吐量部署区域。

模型标识符	Approach	训练类型	部署选项
MAI-Code-1.1-Flash （预览版）	托管：✅ (RFT) 交互式： ❌	标准： ❌ 数据区域： ❌ 全球： ✅ 开发人员： ✅	无服务器： ✅2 托管计算： ❌ 烟花： ❌
Muse-Glimmer-30B （预览版）	托管： ✅ （SFT、RFT） 交互式： ✅	标准： ❌ 数据区域： ❌ 全球： ✅ 开发人员： ✅	无服务器： ❌ 托管计算： ✅ 烟花： ✅1
Llama-3.3-70B-Instruct	受管理：✅（SFT） 交互式： ❌	标准： ❌ 数据区域： ✅ 全球： ✅ 开发人员： ❌	无服务器： ✅2 托管计算： ❌ 烟花： ❌
Qwen3-32B	受管理：✅（SFT） 交互式： ❌	标准： ❌ 数据区域： ✅ 全球： ✅ 开发人员： ❌	无服务器： ✅2 托管计算： ❌ 烟花： ❌
Qwen3.6-35B-A3B （预览版）	托管： ✅ （SFT、RFT） 交互式： ✅	标准： ❌ 数据区域： ❌ 全球： ✅ 开发人员： ✅	无服务器： ❌ 托管计算： ✅ 烟花： ✅1
Qwen3.8-27B （预览版）	托管： ✅ （SFT、RFT） 交互式： ✅	标准： ❌ 数据区域： ❌ 全球： ✅ 开发人员： ✅	无服务器： ❌ 托管计算： ✅ 烟花： ✅1
gpt-oss-20b	受管理：✅（SFT） 交互式： ✅	标准： ❌ 数据区域： ✅ 全球： ✅ 开发人员： ❌	无服务器： ✅2 托管计算： ❌ 烟花： ❌
gpt-oss-120b （预览版）	托管： ✅ （SFT、RFT） 交互式： ✅	标准： ❌ 数据区域： ❌ 全球： ✅ 开发人员： ✅	无服务器： ❌ 托管计算： ✅ 烟花： ✅1
Ministral-3B (2411)	受管理：✅（SFT） 交互式： ❌	标准： ❌ 数据区域： ✅ 全球： ✅ 开发人员： ❌	无服务器： ✅2 托管计算： ❌ 烟花： ❌
gpt-4o-mini (2024-07-18)	受管理：✅（SFT） 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ✅	无服务器： ✅5 托管计算： ❌ 烟花： ❌
gpt-4o (2024-08-06)	托管： ✅ （SFT、DPO） 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ✅	无服务器： ✅5 托管计算： ❌ 烟花： ❌
gpt-4.1 (2025-04-14)	托管： ✅ （SFT、DPO） 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ✅	无服务器： ✅ 托管计算： ❌ 烟花： ❌
gpt-4.1-mini (2025-04-14)	托管： ✅ （SFT、DPO） 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ✅	无服务器： ✅ 托管计算： ❌ 烟花： ❌
gpt-4.1-nano (2025-04-14)	托管： ✅ （SFT、DPO） 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ✅	无服务器： ✅ 托管计算： ❌ 烟花： ❌
o4-mini (2025-04-16)	托管：✅ (RFT) 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ✅	无服务器： ✅ 托管计算： ❌ 烟花： ❌
gpt-5 (2025-08-07)3	托管：✅ (RFT) 交互式： ❌	标准： ✅ 数据区域： ✅ 全球： ✅ 开发人员： ❌	无服务器： ✅4 托管计算： ❌ 烟花： ❌
MedImageInsight-Premium （预览版）	受管理：✅（SFT） 交互式： ❌	全球	无服务器： ✅2 托管计算： ❌ 烟花： ❌
CXRReportgen-Premium （预览版）	受管理：✅（SFT） 交互式： ❌	全球	无服务器： ✅2 托管计算： ❌ 烟花： ❌

图例

• ¹ 仅支持预配吞吐量部署类型。
• ² 仅支持全局标准部署类型。
• ³ GPT-5 强化微调需要邀请。 请联系 Microsoft 客户团队进行注册。
• ⁴ 仅支持标准部署类型。 请参阅 标准部署区域。
• ⁵ 不支持此开发人员部署类型。

支持的全局培训区域

Note

全球训练为每个令牌提供更实惠的训练，但不提供数据驻留。

下表列出了使用全局托管微调和交互式训练（预览）所需的 Foundry 项目区域。 选择为您的模型和训练方法所支持的区域，包括以下限制。 Standard 和 Data zone 培训分别有区域支持。

Foundry 项目所在区域	托管微调	交互式培训（预览版）
Australia East	✅	✅
Brazil South	✅ 1	❌
加拿大中部	✅ 1	❌
加拿大东部	✅ 1	✅
美国东部	✅	✅
美国东部 2	✅	✅
法国中部	✅ 1	❌
德国中西部	✅ 1	❌
意大利北部	✅ 1	❌
日本东部	✅ 1,2	❌
韩国中部	✅	✅
美国中北部	✅	✅
挪威东部	✅ 1	❌
波兰中部	✅ 1,3	❌
南非北部	✅ 1	❌
美国中南部	✅ 1	❌
印度南部	✅ 1	❌
东南亚	✅ 1	❌
西班牙中部	✅ 1	❌
瑞典中部	✅	✅
瑞士北部	✅	✅
瑞士西部	✅ 1	❌
阿拉伯联合酋长国北部	✅ 4	✅
英国南部	✅	✅
西欧	✅ 1	❌
美国西部	✅ 1	❌
美国西部 3	✅	✅

• ¹ 此区域不支持 Qwen3.6-35B-A3B、Qwen3.8-27B、Muse-Glimmer-30B 和 gpt-oss-120b 的托管微调。
• ² 日本东部不支持视觉微调。
• ³ 波兰中部不支持对 gpt-4.1-nano 进行托管微调。
• ⁴ 阿拉伯联合酋长国北部仅支持针对 Qwen3.6-35B-A3B、Qwen3.8-27B、Muse-Glimmer-30B 和 gpt-oss-120b 的全局托管微调。

支持的标准部署区域

只有以下模型支持无服务器标准部署。 检查表中的区域可用性。

模型标识符	美国东部 2	美国中北部	瑞典中部
gpt-4o-mini	❌	✅	✅
gpt-4o	✅	❌	✅
gpt-4.1	❌	✅	✅
gpt-4.1-mini	❌	✅	✅
gpt-4.1-nano	❌	✅	✅
o4-mini	✅	❌	✅
gpt-5	❌	✅	✅

支持的预配吞吐量部署区域

在列出的区域中，只有以下模型支持无服务器预配吞吐量部署。

模型标识符	美国中北部	瑞典中部
gpt-4o-mini	✅	✅
gpt-4o	✅	✅
gpt-4.1	❌	✅

挑战和限制

微调是一个迭代工程过程，不是有保证的改进。

挑战	如何解决
数据质量和覆盖范围	使用准确、一致、具有代表性的示例。 在上传数据之前，检查缺少的方案、重复项、偏见和敏感信息。
过度拟合和评估泄漏	分隔训练、验证和最终测试数据。 比较保留任务上的检查点，而不仅仅是训练损失。
误导性奖励信号	针对正确、错误和对抗性响应测试 RFT 评分器。 如果模型利用评分器，则奖励提升并不能带来更好的任务表现。
试验和成本	重复运行、评分、评估、托管和推理的预算。 停止不改进目标指标的试验。
模型和服务兼容性	在训练之前，确认方法、层级、版本和部署资格。 适配器不能跨类似命名的基础模型互换。
Maintenance	随着任务数据更改或基础模型即将停用，重新评估质量。 可能需要重新训练和重新部署。
安全和治理	查看数据处理和托管安全评估。 保留应用程序级安全控制并评估最终服务运行时。
交互式运行时职责	维护驱动程序、环境、令牌化、检查点和恢复逻辑。 会话内采样不是生产服务行为的证明。

后续步骤

首先参考训练方法指南，然后部署并评估你经过微调的模型。

• 使用监督式微调自定义模型。
• 使用直接偏好优化自定义模型。
• 使用强化微调来自定义模型。
• 交互式培训入门。
• 自定义高级医疗保健 AI 模型。
• 部署优化后的模型。
• 从 Foundry 门户运行评估。
• 浏览有关GitHub的微调示例。