AksEndpoint 클래스

참고

이는 실험적인 클래스이며 언제든지 변경될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

Azure Kubernetes Service에서 실행되는 동일한 엔드포인트 뒤에 있는 웹 서비스 버전 컬렉션을 나타냅니다.

AksWebservice는 단일 채점 엔드포인트가 있는 단일 서비스를 배포하는 반면, AksEndpoint 클래스를 사용하면 동일한 채점 엔드포인트 뒤에 여러 웹 서비스 버전을 배포할 수 있습니다. 각 웹 서비스 버전은 트래픽의 일정 비율을 제공하도록 구성할 수 있으므로 A/B 테스트 등을 위해 제어된 방식으로 모델을 배포할 수 있습니다. AksEndpoint를 사용하면 AksWebservice와 유사한 모델 개체에서 배포할 수 있습니다.

Webservice instance 초기화합니다.

Webservice 생성자는 제공된 작업 영역과 연결된 Webservice 개체의 클라우드 표현을 검색합니다. 검색된 Webservice 개체의 특정 형식에 해당하는 자식 클래스의 instance 반환합니다.

상속

AksWebservice

AksEndpoint

생성자

AksEndpoint(workspace, name)

매개 변수

Name	Description
workspace 필수	Workspace 검색할 Webservice 개체를 포함하는 작업 영역 개체입니다.
name 필수	str 검색할 Webservice 개체의 이름입니다.

변수

Name	Description
versions	dict[str, AksWebservice] 버전 개체에 대한 버전 이름의 사전입니다. 이 엔드포인트의 일부로 배포된 모든 버전이 포함되어 있습니다.

메서드

create_version	제공된 속성을 사용하여 엔드포인트에 새 버전을 추가합니다.
delete_version	엔드포인트에서 버전을 삭제합니다.
deploy_configuration	AKS 컴퓨팅 대상에 배포하기 위한 구성 개체를 만듭니다.
serialize	이 Webservice를 JSON 직렬화 사전으로 변환합니다.
update	제공된 속성으로 엔드포인트를 업데이트합니다. None으로 남겨진 값은 이 엔드포인트에서 변경되지 않은 상태로 유지됩니다.
update_version	제공된 속성으로 엔드포인트의 기존 버전을 업데이트합니다. None으로 남겨진 값은 이 버전에서 변경되지 않은 상태로 유지됩니다.

create_version

제공된 속성을 사용하여 엔드포인트에 새 버전을 추가합니다.

create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

매개 변수

Name	Description
version_name 필수	str 엔드포인트에 추가할 버전의 이름입니다.
autoscale_enabled	bool 엔드포인트에서 이 버전에 대한 자동 크기 조정을 사용할지 여부입니다. num_replicas가 None인 경우 기본값은 True입니다. Default value: None
autoscale_min_replicas	int 엔드포인트에서 이 버전을 자동 크기 조정할 때 사용할 최소 컨테이너 수입니다. 기본값은 1입니다. Default value: None
autoscale_max_replicas	int 엔드포인트에서 이 버전을 자동 크기 조정할 때 사용할 최대 컨테이너 수입니다. 기본값은 10입니다. Default value: None
autoscale_refresh_seconds	int 자동 크기 조정기가 엔드포인트에서 이 버전의 비율 크기 조정을 시도해야 하는 빈도입니다. 기본값은 1입니다. Default value: None
autoscale_target_utilization	int 자동 크기 조정기가 엔드포인트에서 이 버전에 대해 유지를 시도해야 하는 대상 사용률(백분율)입니다. 기본값은 70입니다. Default value: None
collect_model_data	bool 엔드포인트에서 이 버전에 대한 모델 데이터 컬렉션을 사용할지 여부입니다. 기본값은 False입니다. Default value: None
cpu_cores	float 엔드포인트에서 이 버전에 할당할 CPU 코어 수입니다. 10진수일 수 있습니다. 기본값은 0.1입니다. Default value: None
memory_gb	float 엔드포인트에서 이 버전에 할당할 메모리 양(GB)입니다. 10진수일 수 있습니다. 기본값은 0.5입니다. Default value: None
scoring_timeout_ms	int 엔드포인트에서 이 버전에 대한 호출을 채점하기 위해 적용할 시간 제한입니다. 기본값은 60000입니다. Default value: None
replica_max_concurrent_requests	int 엔드포인트에서 이 버전을 허용하기 위한 복제본당 최대 동시 요청 수입니다. 기본값은 1입니다. Microsoft 기술 지원 또는 Azure Machine Learning 팀의 멤버가 지시하지 않는 한 이 설정을 기본값 1에서 변경하지 마세요. Default value: None
max_request_wait_time	int 요청이 큐에 유지되는 최대 시간(밀리초)입니다. 이 시간이 경과하면 503 오류가 반환됩니다. 기본값은 500입니다. Default value: None
num_replicas	int 엔드포인트에서 이 버전에 할당할 컨테이너 수입니다. 기본값은 없습니다. 이 매개 변수를 설정하지 않으면 기본적으로 자동 크기 조정기가 사용됩니다. Default value: None
tags	dict[str, str] 이 엔드포인트를 제공할 키 값 태그의 사전입니다. Default value: None
properties	dict[str, str] 이 엔드포인트를 제공할 키 값 속성의 사전입니다. 배포 후에는 이러한 속성을 변경할 수 없지만 새 키 값 쌍을 추가할 수 있습니다. Default value: None
description	str 이 엔드포인트에 제공할 설명입니다. Default value: None
models	list[Model] 업데이트된 서비스를 사용하여 패키징할 모델 개체 목록입니다. Default value: None
inference_config	InferenceConfig 필요한 모델 배포 속성을 제공하는 데 사용되는 InferenceConfig 개체입니다. Default value: None
gpu_cores	int 엔드포인트에서 이 버전에 할당할 GPU 코어 수입니다. 기본값은 0입니다. Default value: None
period_seconds	int 활동성 프로브를 수행하는 빈도(초)입니다. 기본값은 10초입니다. 최솟값은 1입니다. Default value: None
initial_delay_seconds	int 컨테이너가 시작된 후 활동성 프로브가 시작되기 전까지의 시간(초)입니다. 기본값은 310입니다. Default value: None
timeout_seconds	int 이 시간(초)이 경과하면 활동성 프로브가 시간 초과됩니다. 기본값은 2초입니다. 최솟값은 1입니다. Default value: None
success_threshold	int 활동성 프로브가 실패한 후 성공한 것으로 간주되는 최소 연속 성공 횟수입니다. 기본값은 1입니다. 최솟값은 1입니다. Default value: None
failure_threshold	int Pod가 시작되고 활동성 프로브가 실패하면 Kubernetes에서 포기하기 전에 failureThreshold 시간을 시도합니다. 기본값은 3입니다. 최솟값은 1입니다. Default value: None
traffic_percentile	float 버전이 엔드포인트에서 차지하는 트래픽 양입니다. Default value: None
is_default	bool 엔드포인트에서 이 버전을 기본 버전으로 사용할지 여부입니다. 기본값은 False입니다. Default value: None
is_control_version_type	bool 엔드포인트에서 이 버전을 컨트롤 버전으로 만들지 여부입니다. 기본값은 False입니다. Default value: None
cpu_cores_limit	float 이 Webservice에서 사용할 수 있는 최대 CPU 코어 수입니다. 10진수일 수 있습니다. Default value: None
memory_gb_limit	float 이 Webservice에서 사용할 수 있는 최대 메모리 양(GB)입니다. 10진수일 수 있습니다. Default value: None

예외

형식	Description
WebserviceException

delete_version

엔드포인트에서 버전을 삭제합니다.

delete_version(version_name)

매개 변수

Name	Description
version_name 필수	str 삭제할 엔드포인트의 버전 이름입니다.

예외

형식	Description
WebserviceException

deploy_configuration

AKS 컴퓨팅 대상에 배포하기 위한 구성 개체를 만듭니다.

static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)

매개 변수

Name	Description
autoscale_enabled	bool 엔드포인트에서 이 버전에 대한 자동 크기 조정을 사용할지 여부입니다. num_replicas가 None인 경우 기본값은 True입니다. Default value: None
autoscale_min_replicas	int 엔드포인트에서 이 버전을 자동 크기 조정할 때 사용할 최소 컨테이너 수입니다. 기본값은 1입니다. Default value: None
autoscale_max_replicas	int 엔드포인트에서 이 버전을 자동 크기 조정할 때 사용할 최대 컨테이너 수입니다. 기본값은 10입니다. Default value: None
autoscale_refresh_seconds	int 자동 크기 조정기가 엔드포인트에서 이 버전의 비율 크기 조정을 시도해야 하는 빈도입니다. 기본값은 1입니다. Default value: None
autoscale_target_utilization	int 자동 크기 조정기가 엔드포인트에서 이 버전에 대해 유지를 시도해야 하는 대상 사용률(백분율)입니다. 기본값은 70입니다. Default value: None
collect_model_data	bool 엔드포인트에서 이 버전에 대한 모델 데이터 컬렉션을 사용할지 여부입니다. 기본값은 False입니다. Default value: None
auth_enabled	bool 엔드포인트에서 이 버전에 대한 키 인증을 사용할지 여부입니다. 기본값은 True입니다. Default value: None
cpu_cores	float 엔드포인트에서 이 버전에 할당할 CPU 코어 수입니다. 10진수일 수 있습니다. 기본값은 0.1입니다. Default value: None
memory_gb	float 엔드포인트에서 이 버전에 할당할 메모리 양(GB)입니다. 10진수일 수 있습니다. 기본값은 0.5입니다. Default value: None
enable_app_insights	bool 엔드포인트에서 이 버전에 대한 ApplicationInsights 로깅을 사용할지 여부입니다. 기본값은 False입니다. Default value: None
scoring_timeout_ms	int 엔드포인트에서 이 버전에 대한 채점 호출을 적용하기 위한 시간 제한입니다. 기본값은 60000입니다. Default value: None
replica_max_concurrent_requests	int 엔드포인트에서 이 버전을 허용하기 위한 복제본당 최대 동시 요청 수입니다. 기본값은 1입니다. Microsoft 기술 지원 또는 Azure Machine Learning 팀의 멤버가 지시하지 않는 한 이 설정을 기본값 1에서 변경하지 마세요. Default value: None
max_request_wait_time	int 요청이 큐에 유지되는 최대 시간(밀리초)입니다. 이 시간이 경과하면 503 오류가 반환됩니다. 기본값은 500입니다. Default value: None
num_replicas	int 엔드포인트에서 이 버전에 할당할 컨테이너 수입니다. 기본값은 없습니다. 이 매개 변수를 설정하지 않으면 기본적으로 자동 크기 조정기가 사용됩니다. Default value: None
primary_key	str 이 엔드포인트에 사용할 기본 인증 키입니다. Default value: None
secondary_key	str 이 웹 서비스에 사용할 보조 인증 키입니다. Default value: None
tags	dict[str, str] 이 엔드포인트를 제공할 키 값 태그의 사전입니다. Default value: None
properties	dict[str, str] 이 엔드포인트를 제공할 키 값 속성의 사전입니다. 배포 후에는 이러한 속성을 변경할 수 없지만 새 키 값 쌍을 추가할 수 있습니다. Default value: None
description	str 이 엔드포인트에 제공할 설명입니다. Default value: None
gpu_cores	int 엔드포인트에서 이 버전에 할당할 GPU 코어 수입니다. 기본값은 0입니다. Default value: None
period_seconds	int 활동성 프로브를 수행하는 빈도(초)입니다. 기본값은 10초입니다. 최솟값은 1입니다. Default value: None
initial_delay_seconds	int 컨테이너가 시작된 후 활동성 프로브가 시작되기 전까지의 시간(초)입니다. 기본값은 310입니다. Default value: None
timeout_seconds	int 활동성 프로브의 시간이 초과된 후 경과된 시간(초)입니다. 기본값은 2초입니다. 최솟값은 1입니다. Default value: None
success_threshold	int 활동성 프로브가 실패한 후 성공한 것으로 간주되는 최소 연속 성공 횟수입니다. 기본값은 1입니다. 최솟값은 1입니다. Default value: None
failure_threshold	int Pod가 시작되고 활동성 프로브가 실패하면 Kubernetes에서 포기하기 전에 failureThreshold회를 시도합니다. 기본값은 3입니다. 최솟값은 1입니다. Default value: None
namespace	str 이 엔드포인트를 배포할 Kubernetes 네임스페이스: 최대 63자의 소문자 영숫자('a'-'z', '0'-'9') 및 하이픈('-') 문자입니다. 첫 번째 문자와 마지막 문자는 하이픈일 수 없습니다. Default value: None
token_auth_enabled	bool 이 엔드포인트에 토큰 인증을 사용할지 여부입니다. 이 기능을 사용하면 사용자는 Azure Active Directory 자격 증명을 사용하여 액세스 토큰을 가져와 이 엔드포인트에 액세스할 수 있습니다. 기본값은 False입니다. Default value: None
version_name	str 엔드포인트의 버전 이름입니다. Default value: None
traffic_percentile	float 버전이 엔드포인트에서 차지하는 트래픽 양입니다. Default value: None
compute_target_name	str 배포할 컴퓨팅 대상의 이름입니다. Default value: None
cpu_cores_limit	float 이 Webservice에서 사용할 수 있는 최대 CPU 코어 수입니다. 10진수일 수 있습니다. Default value: None
memory_gb_limit	float 이 Webservice에서 사용할 수 있는 최대 메모리 양(GB)입니다. 10진수일 수 있습니다. Default value: None

반환

형식	Description
AksEndpointDeploymentConfiguration

예외

형식	Description
WebserviceException

serialize

이 Webservice를 JSON 직렬화 사전으로 변환합니다.

serialize()

반환

형식	Description
dict	이 WebService의 JSON 표현입니다.

예외

형식	Description
WebserviceException

update

제공된 속성으로 엔드포인트를 업데이트합니다.

None으로 남겨진 값은 이 엔드포인트에서 변경되지 않은 상태로 유지됩니다.

update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)

매개 변수

Name	Description
auth_enabled	bool 엔드포인트에서 이 버전에 대한 키 인증을 사용할지 여부입니다. 기본값은 True입니다. Default value: None
token_auth_enabled	bool 이 엔드포인트에 토큰 인증을 사용할지 여부입니다. 이 기능을 사용하면 사용자는 Azure Active Directory 자격 증명을 사용하여 액세스 토큰을 가져와 이 엔드포인트에 액세스할 수 있습니다. 기본값은 False입니다. Default value: None
enable_app_insights	bool 엔드포인트에서 이 버전에 대한 Application Insights 로깅을 사용할지 여부입니다. 기본값은 False입니다. Default value: None
description	str 이 엔드포인트에 제공할 설명입니다. Default value: None
tags	dict[str, str] 이 엔드포인트를 제공할 키 값 태그의 사전입니다. Default value: None
properties	dict[str, str] 이 엔드포인트를 제공할 키 값 속성의 사전입니다. 배포 후에는 이러한 속성을 변경할 수 없지만 새 키 값 쌍을 추가할 수 있습니다. Default value: None

예외

형식	Description
WebserviceException

update_version

제공된 속성으로 엔드포인트의 기존 버전을 업데이트합니다.

None으로 남겨진 값은 이 버전에서 변경되지 않은 상태로 유지됩니다.

update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

매개 변수

Name	Description
version_name 필수	str 엔드포인트의 버전 이름입니다.
autoscale_enabled	bool 엔드포인트에서 이 버전에 대한 자동 크기 조정을 사용할지 여부입니다. num_replicas가 None이면 기본값은 True입니다. Default value: None
autoscale_min_replicas	int 엔드포인트에서 이 버전을 자동 크기 조정할 때 사용할 최소 컨테이너 수입니다. 기본값은 1입니다. Default value: None
autoscale_max_replicas	int 엔드포인트에서 이 버전을 자동 크기 조정할 때 사용할 최대 컨테이너 수입니다. 기본값은 10입니다. Default value: None
autoscale_refresh_seconds	int 자동 크기 조정기가 엔드포인트에서 이 버전의 비율 크기 조정을 시도해야 하는 빈도입니다. 기본값은 1입니다. Default value: None
autoscale_target_utilization	int 자동 크기 조정기가 엔드포인트에서 이 버전에 대해 유지를 시도해야 하는 대상 사용률(백분율)입니다. 기본값은 70입니다. Default value: None
collect_model_data	bool 엔드포인트에서 이 버전에 대한 모델 데이터 컬렉션을 사용할지 여부입니다. 기본값은 False입니다. Default value: None
cpu_cores	float 엔드포인트에서 이 버전에 할당할 CPU 코어 수입니다. 10진수일 수 있습니다. 기본값은 0.1입니다. Default value: None
memory_gb	float 엔드포인트에서 이 버전에 할당할 메모리 양(GB)입니다. 10진수일 수 있습니다. 기본값은 0.5입니다. Default value: None
scoring_timeout_ms	int 엔드포인트에서 이 버전에 대한 호출을 채점하기 위해 적용할 시간 제한입니다. 기본값은 60000입니다. Default value: None
replica_max_concurrent_requests	int 엔드포인트에서 이 버전을 허용하기 위한 복제본당 최대 동시 요청 수입니다. 기본값은 1입니다. Microsoft 기술 지원 또는 Azure Machine Learning 팀의 멤버가 지시하지 않는 한 이 설정을 기본값 1에서 변경하지 마세요. Default value: None
max_request_wait_time	int 요청이 큐에 유지되는 최대 시간(밀리초)입니다. 이 시간이 경과하면 503 오류가 반환됩니다. 기본값은 500입니다. Default value: None
num_replicas	int 엔드포인트에서 이 버전에 할당할 컨테이너 수입니다. 기본값은 없습니다. 이 매개 변수를 설정하지 않으면 기본적으로 자동 크기 조정기가 사용됩니다. Default value: None
tags	dict[str, str] 이 엔드포인트를 제공할 키 값 태그의 사전입니다. Default value: None
properties	dict[str, str] 이 엔드포인트를 제공할 키 값 속성의 사전입니다. 배포 후에는 이러한 속성을 변경할 수 없지만 새 키 값 쌍을 추가할 수 있습니다. Default value: None
description	str 이 엔드포인트에 제공할 설명입니다. Default value: None
models	list[Model] 업데이트된 서비스를 사용하여 패키징할 모델 개체 목록입니다. Default value: None
inference_config	InferenceConfig 필요한 모델 배포 속성을 제공하는 데 사용되는 InferenceConfig 개체입니다. Default value: None
gpu_cores	int 엔드포인트에서 이 버전에 할당할 GPU 코어 수입니다. 기본값은 0입니다. Default value: None
period_seconds	int 활동성 프로브를 수행하는 빈도(초)입니다. 기본값은 10초입니다. 최솟값은 1입니다. Default value: None
initial_delay_seconds	int 컨테이너가 시작된 후 활동성 프로브가 시작되기 전까지의 시간(초)입니다. 기본값은 310입니다. Default value: None
timeout_seconds	int 이 시간(초)이 경과하면 활동성 프로브가 시간 초과됩니다. 기본값은 2초입니다. 최솟값은 1입니다. Default value: None
success_threshold	int 활동성 프로브가 실패한 후 성공한 것으로 간주되는 최소 연속 성공 횟수입니다. 기본값은 1입니다. 최솟값은 1입니다. Default value: None
failure_threshold	int Pod가 시작되고 활동성 프로브가 실패하면 Kubernetes에서 포기하기 전에 failureThreshold 시간을 시도합니다. 기본값은 3입니다. 최솟값은 1입니다. Default value: None
traffic_percentile	float 버전이 엔드포인트에서 차지하는 트래픽 양입니다. Default value: None
is_default	bool 엔드포인트에서 이 버전을 기본 버전으로 사용할지 여부입니다. 기본값은 False입니다. Default value: None
is_control_version_type	bool 엔드포인트에서 이 버전을 컨트롤 버전으로 만들지 여부입니다. 기본값은 False입니다. Default value: None
cpu_cores_limit	float 이 Webservice에서 사용할 수 있는 최대 CPU 코어 수입니다. 10진수일 수 있습니다. Default value: None
memory_gb_limit	float 이 Webservice에서 사용할 수 있는 최대 메모리 양(GB)입니다. 10진수일 수 있습니다. Default value: None

예외

형식	Description
WebserviceException