InferenceConfig 클래스

  • 참조

배포에 사용되는 사용자 지정 환경에 대한 구성 설정을 나타냅니다.

유추 구성은 Model 배포 관련 작업에 대한 입력 매개 변수입니다.

구성 개체를 초기화합니다.

상속
builtins.object
InferenceConfig

생성자

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

매개 변수

entry_script
str
필수

이미지에 대해 실행할 코드를 포함하는 로컬 파일의 경로입니다.

runtime
str
기본값: None

이미지에 사용할 런타임입니다. 현재 지원되는 런타임은 'spark-py' 및 'python'입니다.

conda_file
str
기본값: None

이미지에 사용할 conda 환경 정의가 포함된 로컬 파일의 경로입니다.

extra_docker_file_steps
str
기본값: None

이미지를 설정할 때 실행할 추가 Docker 단계가 포함된 로컬 파일의 경로입니다.

source_directory
str
기본값: None

이미지를 만들기 위한 모든 파일이 포함된 폴더의 경로입니다.

enable_gpu
bool
기본값: None

이미지에서 GPU 지원을 사용하도록 설정할지 여부를 나타냅니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 기본값은 False입니다.

description
str
기본값: None

이 이미지에 대한 설명입니다.

base_image
str
기본값: None

기본 이미지로 사용할 사용자 지정 이미지입니다. 기본 이미지가 지정되지 않으면 지정된 런타임 매개 변수를 기반으로 기본 이미지가 사용됩니다.

base_image_registry
ContainerRegistry
기본값: None

기본 이미지가 포함된 이미지 레지스트리입니다.

cuda_version
str
기본값: None

GPU 지원이 필요한 이미지에 설치할 CUDA 버전입니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 지원되는 버전은 9.0, 9.1 및 10.0입니다. enable_gpu가 설정된 경우 기본값은 '9.1'입니다.

environment
Environment
기본값: None

배포에 사용할 환경 개체입니다. 환경은 등록할 필요가 없습니다.

이 매개 변수 또는 다른 매개 변수를 제공하되 둘 다 제공하지 않습니다. 개별 매개 변수는 환경 개체에 대한 재정의 역할을 하지 않습니다. 예외는 entry_script, source_directory 및 description입니다.

entry_script
str
필수

이미지에 대해 실행할 코드를 포함하는 로컬 파일의 경로입니다.

runtime
str
필수

이미지에 사용할 런타임입니다. 현재 지원되는 런타임은 'spark-py' 및 'python'입니다.

conda_file
str
필수

이미지에 사용할 conda 환경 정의가 포함된 로컬 파일의 경로입니다.

extra_docker_file_steps
str
필수

이미지를 설정할 때 실행할 추가 Docker 단계가 포함된 로컬 파일의 경로입니다.

source_directory
str
필수

이미지를 만들기 위한 모든 파일이 포함된 폴더의 경로입니다.

enable_gpu
bool
필수

이미지에서 GPU 지원을 사용하도록 설정할지 여부를 나타냅니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 기본값은 False입니다.

description
str
필수

이 이미지에 대한 설명입니다.

base_image
str
필수

기본 이미지로 사용할 사용자 지정 이미지입니다. 기본 이미지가 지정되지 않으면 지정된 런타임 매개 변수를 기반으로 기본 이미지가 사용됩니다.

base_image_registry
ContainerRegistry
필수

기본 이미지가 포함된 이미지 레지스트리입니다.

cuda_version
str
필수

GPU 지원이 필요한 이미지에 설치할 CUDA 버전입니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 지원되는 버전은 9.0, 9.1 및 10.0입니다. enable_gpu가 설정된 경우 기본값은 '9.1'입니다.

environment
Environment
필수

배포에 사용할 환경 개체입니다. 환경은 등록할 필요가 없습니다.

이 매개 변수 또는 다른 매개 변수를 제공하되 둘 다 제공하지 않습니다. 개별 매개 변수는 환경 개체에 대한 재정의 역할을 하지 않습니다. 예외는 entry_script, source_directory 및 description입니다.

설명

다음 샘플은 InferenceConfig 개체를 만들고 이를 사용하여 모델을 배포하는 방법을 보여 줍니다.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

변수

entry_script
str

이미지에 대해 실행할 코드를 포함하는 로컬 파일의 경로입니다.

runtime
str

이미지에 사용할 런타임입니다. 현재 지원되는 런타임은 'spark-py' 및 'python'입니다.

conda_file
str

이미지에 사용할 conda 환경 정의가 포함된 로컬 파일의 경로입니다.

extra_docker_file_steps
str

이미지를 설정할 때 실행할 추가 Docker 단계가 포함된 로컬 파일의 경로입니다.

source_directory
str

이미지를 만들기 위한 모든 파일이 포함된 폴더의 경로입니다.

enable_gpu
bool

이미지에서 GPU 지원을 사용하도록 설정할지 여부를 나타냅니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다.

azureml.core.model.InferenceConfig.description

이 이미지에 대한 설명입니다.

base_image
str

기본 이미지로 사용할 사용자 지정 이미지입니다. 기본 이미지가 지정되지 않으면 지정된 런타임 매개 변수를 기반으로 기본 이미지가 사용됩니다.

base_image_registry
ContainerRegistry

기본 이미지가 포함된 이미지 레지스트리입니다.

cuda_version
str

GPU 지원이 필요한 이미지에 설치할 CUDA 버전입니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 지원되는 버전은 9.0, 9.1 및 10.0입니다. enable_gpu가 설정된 경우 기본값은 '9.1'입니다.

azureml.core.model.InferenceConfig.environment

배포에 사용할 환경 개체입니다. 환경은 등록할 필요가 없습니다.

이 매개 변수 또는 다른 매개 변수를 제공하되 둘 다 제공하지 않습니다. 개별 매개 변수는 환경 개체에 대한 재정의 역할을 하지 않습니다. 예외는 entry_script, source_directory 및 description입니다.

메서드

build_create_payload

컨테이너 이미지에 대한 만들기 페이로드를 빌드합니다.
build_profile_payload

모델 패키지에 대한 프로파일링 페이로드를 빌드합니다.
validate_configuration

지정된 구성 값이 유효한지 확인합니다.

유효성 검사에 실패하면 WebserviceException이 발생합니다.
validation_script_content

ast.parse를 사용하여 스코어 스크립트의 구문이 유효한지 확인합니다.

유효성 검사에 실패하면 UserErrorException이 발생합니다.

build_create_payload

컨테이너 이미지에 대한 만들기 페이로드를 빌드합니다.

build_create_payload(workspace, name, model_ids)

매개 변수

workspace
Workspace
필수

이미지를 만들 작업 영역 개체입니다.

name
str
필수

이미지의 이름입니다.

model_ids
list[str]
필수

이미지에 패키지할 모델 ID 목록입니다.

반환

컨테이너 이미지 만들기 페이로드입니다.

반환 형식

dict

예외

WebserviceException

build_profile_payload

모델 패키지에 대한 프로파일링 페이로드를 빌드합니다.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

매개 변수

profile_name
str
필수

프로파일링 실행의 이름입니다.

input_data
str
기본값: None

프로파일링을 위한 입력 데이터입니다.

workspace
Workspace
기본값: None

모델을 프로파일링할 작업 영역 개체입니다.

models
list[Model]
기본값: None

모델 개체 목록입니다. 빈 목록일 수 있습니다.

dataset_id
str
기본값: None

프로파일링 실행에 대한 입력 데이터가 포함된 데이터 세트와 연결된 ID입니다.

container_resource_requirements
ContainerResourceRequirements
기본값: None

모델이 배포될 가장 큰 인스턴스에 대한 컨테이너 리소스 요구 사항

description
str
기본값: None

프로파일링 실행과 연결할 설명입니다.

반환

모델 프로필 페이로드

반환 형식

dict

예외

WebserviceException

validate_configuration

지정된 구성 값이 유효한지 확인합니다.

유효성 검사에 실패하면 WebserviceException이 발생합니다.

validate_configuration()

예외

WebserviceException

validation_script_content

ast.parse를 사용하여 스코어 스크립트의 구문이 유효한지 확인합니다.

유효성 검사에 실패하면 UserErrorException이 발생합니다.

validation_script_content()

예외

UserErrorException