InferenceConfig Класс
- Наследование
-
builtins.objectInferenceConfig
Конструктор
InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)
Параметры
- runtime
- str
Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
- conda_file
- str
Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
- extra_docker_file_steps
- str
Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
- source_directory
- str
Путь к папке, содержащей все файлы для создания образа.
- enable_gpu
- bool
Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.
- base_image
- str
Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
- base_image_registry
- ContainerRegistry
Реестр образов, содержащий базовый образ.
- cuda_version
- str
Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0.
Если задан параметр enable_gpu
, по умолчанию используется версия 9.1.
- environment
- Environment
Объект среды, используемый для развертывания. Среду не нужно регистрировать.
Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script
, source_directory
и description
.
- runtime
- str
Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
- conda_file
- str
Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
- extra_docker_file_steps
- str
Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
- enable_gpu
- bool
Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.
- base_image
- str
Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
- cuda_version
- str
Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0.
Если задан параметр enable_gpu
, по умолчанию используется версия 9.1.
- environment
- Environment
Объект среды, используемый для развертывания. Среду не нужно регистрировать.
Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script
, source_directory
и description
.
Комментарии
В следующем примере показано, как создать объект InferenceConfig и использовать его для развертывания модели.
from azureml.core.model import InferenceConfig
from azureml.core.webservice import AciWebservice
service_name = 'my-custom-env-service'
inference_config = InferenceConfig(entry_script='score.py', environment=environment)
aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)
service = Model.deploy(workspace=ws,
name=service_name,
models=[model],
inference_config=inference_config,
deployment_config=aci_config,
overwrite=True)
service.wait_for_deployment(show_output=True)
Переменные
- entry_script
- str
Путь к локальному файлу, содержащему код, выполняемый для образа.
- runtime
- str
Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
- conda_file
- str
Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
- extra_docker_file_steps
- str
Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
- source_directory
- str
Путь к папке, содержащей все файлы для создания образа.
- enable_gpu
- bool
Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes.
- azureml.core.model.InferenceConfig.description
Описание для этого образа.
- base_image
- str
Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
- base_image_registry
- ContainerRegistry
Реестр образов, содержащий базовый образ.
- cuda_version
- str
Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0.
Если задан параметр enable_gpu
, по умолчанию используется версия 9.1.
- azureml.core.model.InferenceConfig.environment
Объект среды, используемый для развертывания. Среду не нужно регистрировать.
Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script
, source_directory
и description
.
Методы
build_create_payload |
Создает полезные данные создания для образа контейнера. |
build_profile_payload |
Создает полезные данные профилирования для пакета модели. |
validate_configuration |
Проверка допустимости указанных значений конфигурации. Генерирует WebserviceException, если проверка завершается неудачно. |
validation_script_content |
Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse. Генерирует UserErrorException, если проверка завершается неудачно. |
build_create_payload
Создает полезные данные создания для образа контейнера.
build_create_payload(workspace, name, model_ids)
Параметры
Возвращаемое значение
Полезные данные для создания образа контейнера.
Возвращаемый тип
Исключения
build_profile_payload
Создает полезные данные профилирования для пакета модели.
build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)
Параметры
- workspace
- Workspace
Объект рабочей области, в котором необходимо профилировать модель.
- dataset_id
- str
Идентификатор, связанный с набором данных, содержащим входные данные для выполнения профилирования.
- container_resource_requirements
- ContainerResourceRequirements
Требования к ресурсам контейнера для самого крупного экземпляра, на котором должна быть развернута модель.
Возвращаемое значение
Полезные данные профиля модели.
Возвращаемый тип
Исключения
validate_configuration
Проверка допустимости указанных значений конфигурации.
Генерирует WebserviceException, если проверка завершается неудачно.
validate_configuration()
Исключения
validation_script_content
Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse.
Генерирует UserErrorException, если проверка завершается неудачно.
validation_script_content()
Исключения
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по