Тонкая настройка в Microsoft Foundry

Тонкая настройка адаптирует предварительно обученную модель к вашей задаче с помощью дополнительного обучения на данных, относящихся к конкретной задаче. Он настраивает веса модели, а не добавляет примеры в каждый запрос. Вы развиваете существующие возможности модели, не обучая модель с нуля.

Тонкая настройка может помочь, если у вас есть высококачественные данные обучения для конкретных задач и вы хотите:

  • Повысьте точность и релевантность. Обучение на большем количестве примеров, чем помещается в одном запросе, может научить распознавать шаблоны для конкретных задач.
  • Сократите накладные расходы промпта. Меньше примеров запросов может снизить затраты на токены и задержку.
  • Выровняйте стиль и структуру. Ответы могут соответствовать согласованному тону, формату или схеме.
  • Улучшите использование инструмента. Обучающие примеры могут повысить точность выбора инструментов и аргументов.
  • Эффективно используйте извлечённый контекст. Модели могут научиться определять приоритеты релевантного контекста и игнорировать неуместные сведения.
  • Специализируйте меньшую модель. Примеры, сгенерированные моделью-учителем, могут помочь меньшей модели соответствовать требованиям к задачам при более низкой стоимости и задержке.

Преимущества не гарантированы; оценка на отложенной выборке помогает сравнить дообученную модель с базовой моделью. Тонкая настройка добавляет затраты на обучение и хостинг и не заменяет поиск текущей информации или элементы управления безопасностью на уровне приложений.

Выбор подхода к обучению

Microsoft Foundry предоставляет два подхода к обучению. Управляемая тонкая настройка запускает обучающую задачу на основе ваших данных и параметров. Интерактивное обучение (предварительная версия) позволяет управлять этапами обучения в Python.

Оба используют инфраструктуру обучения, управляемую Foundry; вы не выделяете GPU для обучения.

Note

Интерактивное обучение находится в предварительной версии и требует явного утверждения доступа. Запросите доступ через форму предварительной регистрации и дождитесь утверждения перед созданием обучающих сеансов.

Управляемая тонкая настройка Интерактивное обучение (предварительная версия)
Принцип работы Отправка данных и параметров; Foundry запускает задание обучения. Написание цикла Python; Foundry выполняет операции обучения и выборки.
лучше всего подходит для Новички и инженеры ИИ, которые предпочитают предопределенные рабочие процессы, а не низкоуровневые операции обучения. Опытные специалисты по обучению машинного обучения строят пользовательские рабочие процессы обучения.
Ваш элемент управления Данные, поддерживаемые гиперпараметры и оценщики RFT. Потери, вознаграждения, развертывания, градиентное накопление, обновления и контрольные точки.
Методы обучения SFT, DPO и RFT для конкретной модели; дистилляция с помощью данных SFT, сгенерированных моделью-учителем. Рецепты SFT, обучения с подкреплением, обучения на предпочтениях, дистилляции и пользовательских потерь.
Примеры вариантов использования Дистиллируйте более крупную модель, обучайтесь на основе бесед со службой поддержки или улучшайте ответы с оценщиком. Сбор rollout’ов использования инструментов, применение пользовательских вознаграждений или изменение поведения обновления и оценки цикла обучения.

Tip

Начните с управляемого дообучения, если вы не знакомы с настройкой модели. Он предоставляет предопределенные рабочие процессы, не требуя реализации отдельных операций обучения.

Требования к модели могут ограничить этот выбор. Модель, поддерживаемая для одного подхода, метода или модальности, не поддерживается автоматически для другого. Поддержка рецептов Cookbook также не устанавливает доступность службы. Проверьте таблицу поддерживаемых моделей ниже, чтобы получить доступные сочетания.

Методы настройки

Методы настройки определяют, как модель учится на основе обучающих данных или отзывов, таких как нужные ответы, предпочтения или вознаграждения.

Метод Обучающий сигнал Когда это уместно
Контролируемая донастройка (SFT) Запросы и нужные ответы. Вы можете продемонстрировать поведение, которому модель должна научиться.
Тонкая настройка по предпочтениям с помощью прямой оптимизации предпочтений (DPO) Предпочтительные и отклоненные ответы на те же входные данные. Качество зависит от таких предпочтений, как тон или полнота, а не от одного правильного ответа.
Тонкая настройка с подкреплением (RFT) Запросы и оценщик, который оценивает созданные ответы. Возможны несколько решений, и вы можете надежно оценить их качество.

Стандартные методы в этой таблице применяются только к управляемой тонкой настройке. Интерактивное обучение предоставляет базовые компоненты обучения для создания пользовательских рабочих процессов обучения.

Типы обучения

Типы обучения определяют, где выполняется обучение и как применяются гарантии емкости, ценообразования и обслуживания. Они отделены от типов развертывания, которые определяют, как развернуть обученную модель.

Тип обучения Description
Standard Обучение выполняется в текущем регионе ресурса Foundry и предоставляет гарантии резидентности данных. Идеально подходит для рабочих нагрузок, в которых данные должны оставаться в определенном регионе.
Зона данных Обучение выполняется в поддерживаемой зоне данных, а не в одном регионе. Идеально подходит для рабочих нагрузок, в которых данные должны оставаться в этой зоне. В настоящее время поддерживается только зона данных США.
Глобальный Обеспечивает более выгодные цены по сравнению со Standard, используя мощности за пределами текущего региона. Данные и весовые значения копируются в регион, где происходит обучение. Идеально подходит, если место размещения данных не является ограничением, и требуется ускорить время очереди.
Developer Обеспечивает значительную экономию затрат за счет использования незадействованных ресурсов для обучения. Нет гарантий задержки или гарантий соглашения об уровне обслуживания, поэтому задания на этом уровне могут быть автоматически прерваны и позже возобновлены. Также нет никаких гарантий относительно хранения данных в определённой юрисдикции. Идеально подходит для экспериментов и чувствительных к цене рабочих нагрузок.

Варианты развертывания

Foundry предлагает три варианта развертывания с различными моделями инфраструктуры для обслуживания моделей и выставления счетов.

  • Serverless: Foundry размещает дообученную модель и управляет инфраструктурой обслуживания.
  • Управляемые вычислительные ресурсы (предварительная версия): выделенная емкость GPU использует соответствующую базовую модель с одним или несколькими совместимыми адаптерами LoRA.
  • Fireworks on Foundry (предварительная версия): среда выполнения Fireworks обслуживает один адаптер, объединенный в полновесную копию базовой модели.

Serverless и Fireworks предлагают различные типы развертывания, определяющие географию обработки, емкость и модель выставления счетов. Доступность зависит от модели, параметра развертывания и артефакта.

Тип развертывания Description
Standard Выполняет инференс в регионе развертывания с выставлением счетов за токен и применимыми затратами на размещение дообученной модели.
Стандарт зоны данных Выполняет инференс в поддерживаемой зоне данных с оплатой за токен. Поддерживается только зона данных США.
Глобальный стандарт Использует глобальную емкость с выставлением счетов за токен. Веса пользовательской модели могут временно храниться за пределами географического региона ресурса.
Developer Выполняет инференс по всему миру с оплатой за токен, без почасовой платы за хостинг и без гарантии локализации данных. Только для оценки; длится 24 часа и не имеет соглашения об уровне обслуживания.
Подготовленная пропускная способность Предоставляет региональную емкость, выставленную в единицах подготовленной пропускной способности (PTUs) для прогнозируемой пропускной способности.
Глобально предоставлено Использует глобальную емкость с выставлением счетов на основе PTU для импортированных пользовательских моделей.

Поддерживаемые модели

Ваши требования могут требовать определенную модель или подход к обучению. Используйте таблицу, чтобы проверить, какие сочетания совместимы с вашим методом настройки, типом обучения и вариантом развертывания.

Для поддерживаемых бессерверных развертываний, Global Standard, Data Zone Standard и Developer доступны, если не указано в противном случае условные обозначения. Проверьте стандартные регионы развертывания и регионы развертывания выделенной пропускной способности для этих типов развертывания.

Идентификатор модели Approach Типы обучения Варианты развертывания
MAI-Code-1.1-Flash
(предварительная версия)		 Управляемое: ✅ (RFT)
Интерактив: ❌		 Стандарт: ❌
Зона данных: ❌
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
Muse-Glimmer-30B
(предварительная версия)		 Управляемое: ✅ (SFT, RFT)
Интерактив: ✅		 Стандарт: ❌
Зона данных: ❌
Глобальный: ✅
Разработчик: ✅		 Serverless: ❌
Управляемые вычислительные ресурсы: ✅
Фейерверки: ✅1
Llama-3.3-70B-Instruct Под управлением: ✅ (SFT)
Интерактив: ❌		 Стандарт: ❌
Зона данных: ✅
Глобальный: ✅
Разработчик: ❌		 Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
Qwen3-32B Под управлением: ✅ (SFT)
Интерактив: ❌		 Стандарт: ❌
Зона данных: ✅
Глобальный: ✅
Разработчик: ❌		 Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
Qwen3.6-35B-A3B
(предварительная версия)		 Управляемое: ✅ (SFT, RFT)
Интерактив: ✅		 Стандарт: ❌
Зона данных: ❌
Глобальный: ✅
Разработчик: ✅		 Serverless: ❌
Управляемые вычислительные ресурсы: ✅
Фейерверки: ✅1
Qwen3.8-27B
(предварительная версия)		 Управляемое: ✅ (SFT, RFT)
Интерактив: ✅		 Стандарт: ❌
Зона данных: ❌
Глобальный: ✅
Разработчик: ✅		 Serverless: ❌
Управляемые вычислительные ресурсы: ✅
Фейерверки: ✅1
gpt-oss-20b Под управлением: ✅ (SFT)
Интерактив: ✅		 Стандарт: ❌
Зона данных: ✅
Глобальный: ✅
Разработчик: ❌		 Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-oss-120b
(предварительная версия)		 Управляемое: ✅ (SFT, RFT)
Интерактив: ✅		 Стандарт: ❌
Зона данных: ❌
Глобальный: ✅
Разработчик: ✅		 Serverless: ❌
Управляемые вычислительные ресурсы: ✅
Фейерверки: ✅1
Ministral-3B
(2411)		 Под управлением: ✅ (SFT)
Интерактив: ❌		 Стандарт: ❌
Зона данных: ✅
Глобальный: ✅
Разработчик: ❌		 Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-4o-mini
(2024-07-18)		 Под управлением: ✅ (SFT)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅5
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-4o
(2024-08-06)		 Управляется: ✅ (SFT, DPO)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅5
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-4.1
(2025-04-14)		 Управляется: ✅ (SFT, DPO)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-4.1-mini
(2025-04-14)		 Управляется: ✅ (SFT, DPO)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-4.1-nano
(2025-04-14)		 Управляется: ✅ (SFT, DPO)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
o4-mini
(2025-04-16)		 Управляемое: ✅ (RFT)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ✅		 Serverless: ✅
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
gpt-5
(2025-08-07)3		 Управляемое: ✅ (RFT)
Интерактив: ❌		 Стандарт: ✅
Зона данных: ✅
Глобальный: ✅
Разработчик: ❌		 Бессерверный: ✅4
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
MedImageInsight-Premium
(предварительная версия)		 Под управлением: ✅ (SFT)
Интерактив: ❌		 Глобальный Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌
CXRReportgen-Premium
(предварительная версия)		 Под управлением: ✅ (SFT)
Интерактив: ❌		 Глобальный Serverless: ✅2
Управляемые вычислительные ресурсы: ❌
Фейерверки: ❌

Условные обозначения

  • 1 Поддерживается только тип развертывания подготовленной пропускной способности.
  • 2 Поддерживается только тип развертывания Global Standard.
  • 3 Для reinforcement fine-tuning GPT-5 требуется приглашение. Обратитесь к команде Microsoft, работающей с вашей учетной записью, для подключения.
  • 4 Поддерживается только стандартный тип развертывания. См. Стандартные регионы развертывания.
  • 5 Тип развертывания разработчика не поддерживается.

Поддерживаемые глобальные регионы обучения

Note

Глобальное обучение обеспечивает более выгодное обучение за токен, но не предлагает резидентство данных.

В таблице перечислены регионы проекта Foundry, необходимые для использования глобальной управляемой тонкой настройки и интерактивного обучения (предварительная версия). Выберите регион, поддерживаемый для вашей модели и подхода к обучению, включая указанные ниже ограничения. Обучение по зонам "Standard" и "Data zone" имеет отдельную региональную поддержку.

Регион проекта Foundry Управляемая тонкая настройка Интерактивное обучение (предварительная версия)
Australia East ✅ ✅
Brazil South ✅ 1 ❌
Canada Central ✅ 1 ❌
Canada East ✅ 1 ✅
East US ✅ ✅
Восток США 2 ✅ ✅
France Central ✅ 1 ❌
Западно-Центральная Германия ✅ 1 ❌
Italy North ✅ 1 ❌
Japan East ✅ 1,2 ❌
Korea Central ✅ ✅
северо-центральная часть США ✅ ✅
Norway East ✅ 1 ❌
Poland Central ✅ 1,3 ❌
Север Южной Африки ✅ 1 ❌
Южно-Центральный регион США ✅ 1 ❌
South India ✅ 1 ❌
Southeast Asia ✅ 1 ❌
Spain Central ✅ 1 ❌
Sweden Central ✅ ✅
Switzerland North ✅ ✅
Switzerland West ✅ 1 ❌
UAE North ✅ 4 ✅
UK South ✅ ✅
West Europe ✅ 1 ❌
West US ✅ 1 ❌
Западная часть США 3 ✅ ✅
  • 1 Управляемая точная настройка для Qwen3.6-35B-A3B, Muse-Glimmer-30B, Qwen3.8-27B и gpt-oss-120b не поддерживается в этом регионе.
  • 2 Тонкая настройка Vision не поддерживается в Japan East.
  • 3 Управляемая тонкая настройка для gpt-4.1-nano не поддерживается в Центральной Польше.
  • 4 ОАЭ North поддерживает глобальную управляемую тонкую настройку только для Qwen3.6-35B-A3B, Qwen3.8-27B, Muse-Glimmer-30B и gpt-oss-120b.

Поддерживаемые регионы развертывания Standard

Только следующие модели поддерживают бессерверные развертывания уровня "Стандартный". Проверьте доступность регионов в таблице.

Идентификатор модели Восток США 2 северо-центральная часть США Sweden Central
gpt-4o-mini ❌ ✅ ✅
gpt-4o ✅ ❌ ✅
gpt-4.1 ❌ ✅ ✅
gpt-4.1-mini ❌ ✅ ✅
gpt-4.1-nano ❌ ✅ ✅
o4-mini ✅ ❌ ✅
gpt-5 ❌ ✅ ✅

Поддерживаемые регионы развертывания выделенной пропускной способности

Только следующие модели поддерживают бессерверные развертывания Provisioned Throughput в перечисленных регионах.

Идентификатор модели северо-центральная часть США Sweden Central
gpt-4o-mini ✅ ✅
gpt-4o ✅ ✅
gpt-4.1 ❌ ✅

Проблемы и ограничения

Точная настройка — это итеративный инженерный процесс, а не гарантированное улучшение.

Задача Как решить эту проблему
Качество данных и охват Используйте точные, согласованные, репрезентативные примеры. Перед отправкой данных проверьте отсутствующие сценарии, дубликаты, предвзятость и чувствительную информацию.
Переобучение и утечка данных при оценке Разделяйте обучающие, валидационные и итоговые тестовые данные. Сравните контрольные точки по отложенным задачам, а не только по функции потерь на обучении.
Вводящие в заблуждение сигналы вознаграждения Проверьте оценщики RFT на соответствие правильным, неправильным и состязательным ответам. Повышение вознаграждения не приводит к повышению качества выполнения задач, если модель эксплуатирует систему оценки.
Эксперименты и стоимость Бюджет для повторяющихся запусков, оценивания, оценки, размещения и инференса. Остановите эксперименты, которые не улучшают целевую метрику.
Совместимость модели и развертывания Подтвердите возможность использования метода, уровня, версии и развертывания перед обучением. Адаптер не является взаимозаменяемым между аналогичными базовыми моделями.
Maintenance Переоценивайте качество по мере изменения данных задачи или приближения базовой модели к выводу из эксплуатации. Может потребоваться переобучение и перенаправление на другую работу.
Безопасность и корпоративное управление Просмотрите обработку данных и оценку управляемой безопасности. Сохраняйте элементы управления безопасностью на уровне приложения и оцените целевую среду выполнения обслуживания.
Обязанности интерактивного времени выполнения Обслуживание драйвера, сред, маркеризации, контрольных точек и логики восстановления. Выборка в сеансе не является доказательством поведения рабочей службы.

Дальнейшие действия

Начните с руководства по подходу к обучению, а затем разверните и оцените настраиваемую модель.

  • Последнее обновление: