Обслуживание прогнозов в режиме реального времени с помощью конечных точек модели машинного обучения (предварительная версия)

Это важно

Эта функция доступна в предварительной версии.

Microsoft Fabric позволяет предоставлять прогнозы в реальном времени по моделям машинного обучения, используя безопасные, масштабируемые и простые в использовании онлайн-конечные устройства. Большинство моделей Fabric включают эти конечные точки как встроенные свойства и не требуют настройки для запуска полностью управляемых развертываний в реальном времени.

Вы можете активировать, настроить и запрашивать конечные точки модели с помощью общедоступного REST API. Вы также можете начать работу непосредственно в интерфейсе Fabric, используя среду с минимальным объёмом кода, чтобы активировать конечные точки модели и сразу просматривать прогнозы.

Скриншот, показывающий модель машинного обучения в Fabric с встроенным свойством конечной точки для предоставления прогнозов в режиме реального времени.

Предпосылки

  • У вашего арендатора по умолчанию включёны конечные точки модели машинного обучения. Если администратор хочет отключить эту функцию, он может выключить переключатель клиента для конечных точек модели машинного обучения в административном портале Fabric.

Ограничения

  • Конечные точки в настоящее время доступны для ограниченного набора вариантов модели машинного обучения, включая Keras, LightGBM, Sklearn и XGBoost.
  • Конечные точки в настоящее время недоступны для моделей с тензорными схемами или без схем.

Замечание

Конечные точки машинного обучения поддерживают модели, обученные на AutoML.

Начало работы с конечными точками модели

Модели машинного обучения в Fabric готовы с онлайн-конечными точками, которые можно использовать для прогнозирования в реальном времени. Каждая зарегистрированная версия модели имеет выделенный URL конечной точки, который можно найти в разделе Endpoint Details в интерфейсе Fabric. Этот URL заканчивается подпутью, которая обозначает конкретную версию (например, /versions/1/score).

Снимок экрана: свойства конечной точки модели машинного обучения, которая может использоваться для обслуживания прогнозов в режиме реального времени.

Конечные точки модели имеют следующие свойства:

Свойство Описание По умолчанию
Версия по умолчанию Это свойство (Yes или No) указывает, установлена ли версия по умолчанию модели для подачи реальных предсказаний. Вы можете настроить версию по умолчанию в параметрах модели. No
Статус Это свойство указывает, готова ли конечная точка обслуживать прогнозы. Состояние может бытьInactive, , Activating, ActiveDeactivatingили Failed. Только активные конечные точки могут служить прогнозами. Inactive
Автоматический спящий режим Это свойство (On или Off) указывает, должна ли конечная точка, после активации, снижать использование емкости до нуля при отсутствии трафика. Если включен автоматический сон, конечная точка переходит в состояние простоя через пять минут без входящих запросов. Первый вызов к пробуждению неактивной конечной точки сопровождается короткой задержкой. On

Активация конечных точек модели

Конечные точки модели можно активировать непосредственно из интерфейса Fabric. Перейдите к версии, которую хотите использовать для прогнозирования в реальном времени, и выберите Активировать конечную точку версии на ленте инструментов.

Screenshot, показывающий, как активировать конечную точку модели машинного обучения из интерфейса Fabric.

Сообщение «toast» показывает, что Fabric готовит вашу конечную точку к подаче прогнозов, и статус конечной точки меняется на Activating. За кулисами Fabric запускает базовую контейнерную инфраструктуру для размещения вашей модели. Через несколько минут конечная точка готова к использованию для предсказаний.

Снимок экрана: конечная точка модели машинного обучения, которая активируется.

Каждая конечная точка имеет статус, указывающий, готов ли он к подаче прогнозов в реальном времени:

Статус Описание
Inactive Конечная точка не активирована для обслуживания прогнозов в реальном времени и не потребляет ресурсы Fabric.
Activating Конечная точка настроена для обслуживания прогнозов в режиме реального времени. За кулисами Fabric настраивает базовую инфраструктуру контейнеров для размещения модели. Через несколько минут конечная точка активна.
Active Конечная точка готова обслуживать прогнозы в режиме реального времени. За кулисами Fabric управляет базовой инфраструктурой, масштабируя использование ресурсов на основе входящего трафика. Более высокий трафик приводит к повышению использования пропускной способности Fabric.
Deactivating Конечная точка отключается, поэтому она больше не предоставляет прогнозы в реальном времени и не использует ресурсы Fabric. За кулисами Fabric демонтирует базовую инфраструктуру контейнеров.

Замечание

Модели машинного обучения могут поддерживать активные конечные точки до пяти версий одновременно. Для предоставления прогнозов из шестой версии необходимо сначала отключить активную конечную точку.

Управление конечными точками модели

Чтобы получить обзор активных конечных точек вашей модели, выберите «Управление конечными точками » на ленте интерфейса. Каждая модель имеет настраиваемую конечную точку по умолчанию, которая обслуживает прогнозы из выбранной версии. Вы можете обновить стандартную версию, используя выпадающий селектор в панели настроек.

Снимок экрана: URL-адрес конечной точки модели машинного обучения по умолчанию, который можно настроить для обслуживания прогнозов из определенной версии.

Это важно

Установите свойство по умолчанию на активную версию, если планируете её использовать. Если вы не установили свойство по умолчанию или если установили неактивную версию, вызовы стандартной конечной точки не работают.

Настройки конечных точек модели показывают все версии с активными конечными точками. Вы можете изменить параметр автоматического перехода в спящий режим для каждой конечной точки, переключив переключатель в положение Вкл. или Выкл..

Снимок экрана: изменение свойства автоматического спящего режима в конечных точках модели машинного обучения.

Подсказка

Активные конечные точки с включённым автоматическим сном переходят в состояние простоя через пять минут без трафика. Первый звонок, чтобы их разбудить, сопровождается короткой задержкой. Возможно, стоит отключить это свойство для конечных устройств в производстве.

Конечные точки модели запросов для прогнозирования в режиме реального времени

Вы можете мгновенно протестировать конечные точки моделей с помощью low-code-интерфейса в Fabric. Перейдите в версию с активной конечной точкой и выберите предварительный просмотр прогнозов на ленте интерфейса. Вы можете отправлять запросы на выборки на конечную точку и получать прогнозы образцов в реальном времени, используя поля формы, соответствующие входной подписи модели.

Снимок экрана: встроенный интерфейс предварительной версии для получения примеров прогнозов из активной конечной точки модели машинного обучения.

Выберите автозаполнение , чтобы заполнить поля формы случайными значениями выборки. Можно добавить больше наборов значений формы, чтобы проверить конечную точку с несколькими входами. Выберите «Получить прогнозы», чтобы отправить пример запроса в конечную точку.

Снимок экрана: представление на основе форм для отправки примеров запросов в активную конечную точку модели машинного обучения.

Если вы предпочитаете форматировать примеры запросов как полезные данные JSON, используйте раскрывающийся селектор для изменения представления.

Снимок экрана: представление на основе JSON для отправки примеров запросов в активную конечную точку модели машинного обучения.

Деактивация конечных точек модели

Конечные точки модели можно отключить непосредственно из интерфейса Fabric. Перейдите в версию, где больше не нужно показывать прогнозы в реальном времени, и выберите Deactivate version endpoint на ленте интерфейса.

Screenshot, показывающий, как отключить конечную точку модели машинного обучения из интерфейса Fabric.

Всплывающее уведомление сообщает о том, что Fabric удаляет ваше активное развертывание, а статус конечной точки меняется на Deactivating. Конечная точка не может давать прогнозы в реальном времени, если вы не активируете её снова.

Снимок экрана: конечная точка модели машинного обучения, которая теперь деактивируется.

Вы можете отключить конечные точки для нескольких версий одновременно через панель настроек модели. Выберите Управление конечными точками в ленте интерфейса и выберите одну или несколько активных конечных точек для деактивации.

Screenshot, показывающий, как отключить несколько конечных точек модели машинного обучения одновременно из интерфейса Fabric.

Уровень потребления

Размещение активных конечных точек модели потребляет единицы емкости Fabric (ЦС). Конечные точки работают на вычислительных узлах и могут автоматически масштабироваться до трёх узлов в зависимости от входящего трафика. Стоимость рассчитывается за каждый узел в период активности конечной точки. В следующей таблице показано потребление CU для активной конечной точки модели машинного обучения.

Операция Единица измерения операций коэффициент потребления
Конечная точка модели 1 конечная точка модели (версия) в секунду на каждый узел 5 секунд CU

В следующей таблице приведены примеры сценариев и соответствующие им нормы потребления и почасовые затраты.

Сценарий Описание коэффициент потребления Почасовая стоимость
Модели с неактивными конечными точками Эти модели не имеют активных конечных точек версии и не связаны с использованием ресурсов. Они не требуют дополнительных затрат. 0 CU секунд 0 CU час
Модели с активными, но простаивающими конечными точками Эти модели имеют одну или несколько активных версий конечных точек, но без регулярного трафика все конечные точки масштабируются до нуля, что автоматически снижает затраты. 5 секунд CU 0.42 CU-часы
Модели с 1 активной конечной точкой и постоянным низким трафиком Эти модели имеют только одну активную конечную точку версии, обслуживающую прогнозы, но недостаточно трафика для запуска полного масштабирования. Один узел способен обработать весь трафик. Конечные точки других версий могут быть неактивны или бездействовать. 5 секунд CU 5 учётных часов (CU)
Модели с 1 активной конечной точкой и постоянным высоким трафиком У этих моделей есть только одна активная конечная точка версии, обслуживающая запросы на прогнозирование и имеющая достаточный трафик для запуска полного масштабирования. Другие конечные точки версий могут быть неактивными или находиться в режиме простоя. 15 секунд CU 15 часов CU
Модели с 5 активными конечными точками и постоянным высоким трафиком Эти модели имеют 5 активных конечных точек версии (текущее ограничение), обслуживающих прогнозы, при этом трафика на каждой из них достаточно, чтобы запустить полное масштабирование. 75 CU-секунд 75 часов CU

Приложение метрик емкости Fabric отображает общее использование емкости для операций модельного конечного узла под названием "Конечная точка модели". Кроме того, пользователи могут просмотреть сводку своих начислений за использование конечных точек моделей в позиции счета «ML Model Endpoint Capacity Usage CU».

Операция конечной точки модели классифицируется как фоновые операции.

Ставки потребления в любое время изменяются. Microsoft использует разумные усилия для предоставления уведомления по электронной почте или через уведомление о продукте. Изменения вступают в силу с даты, указанной в заметках релиза Microsoft или в блоге Microsoft Fabric. Если какое-либо изменение конечной точки модели в показателе потребления Fabric существенно увеличивает количество единиц ресурса (CU), клиенты могут использовать доступные варианты отмены для выбранного метода оплаты.

Связанный контент

  • Last updated on