ml 패키지

  • 참조

패키지

automl

Azure Machine Learning SDKv2에 대한 자동화된 기계 학습 클래스를 포함합니다.

주요 영역에는 AutoML 작업 관리가 포함됩니다.
constants

이 패키지는 Azure Machine Learning SDKv2에서 사용되는 상수를 정의합니다.
data_transfer
dsl
entities

Azure Machine Learning SDKv2에 대한 엔터티 및 SDK 개체를 포함합니다.

주요 영역에는 컴퓨팅 대상 관리, 작업 영역 및 작업 만들기/관리, 모델 제출/액세스, 실행 및 실행 출력/로깅 등이 있습니다.
identity

Azure Machine Learning SDKv2에 대한 ID 구성을 포함합니다.
operations

Azure Machine Learning SDKv2에 대해 지원되는 작업을 포함합니다.

작업은 클래스에 백 엔드 서비스와 상호 작용하는 논리(일반적으로 자동 생성된 작업 호출)가 포함됩니다.
parallel
sweep

모듈

exceptions

Azure Machine Learning SDKv2의 예외 모듈을 포함합니다.

여기에는 예외에 대한 열거형 및 클래스가 포함됩니다.

클래스

AmlTokenConfiguration

AzureML 토큰 ID 구성.
Input

Input 개체를 초기화합니다.
MLClient

Azure ML 서비스와 상호 작용하는 클라이언트 클래스입니다.

이 클라이언트를 사용하여 작업 영역, 작업, 모델 등과 같은 Azure ML 리소스를 관리합니다.
ManagedIdentityConfiguration

관리 ID 자격 증명 구성.
MpiDistribution

MPI 배포 구성.
Output
PyTorchDistribution

PyTorch 배포 구성.
RayDistribution

참고

이는 실험적인 클래스이며 언제든지 변경될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

광선 분포 구성.
TensorFlowDistribution

TensorFlow 배포 구성.
UserIdentityConfiguration

사용자 ID 구성.

함수

command

dsl.pipeline 함수 내에서 사용하거나 독립 실행형 명령 작업으로 사용할 수 있는 Command 개체를 만듭니다.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

매개 변수

name
Optional[str]

명령 작업 또는 구성 요소의 이름입니다.

description
Optional[str]

명령에 대한 설명입니다. 기본값은 None입니다.

tags
Optional[dict[str, str]]

태그 사전. 태그를 추가, 제거 및 업데이트할 수 있습니다. 기본값은 None입니다.

properties
Optional[dict[str, str]]

작업 속성 사전입니다. 기본값은 None입니다.

display_name
Optional[str]

작업의 표시 이름입니다. 기본적으로 임의로 생성된 이름으로 설정됩니다.

command
Optional[str]

실행할 명령입니다. 기본값은 None입니다.

experiment_name
Optional[str]

작업을 만들 실험의 이름입니다. 기본값은 현재 디렉터리 이름으로 설정됩니다.

environment
Optional[Union[str, Environment]]

작업이 실행될 환경입니다.

environment_variables
Optional[dict[str, str]]

환경 변수 이름 및 값의 사전입니다. 이러한 환경 변수는 사용자 스크립트가 실행되는 프로세스에서 설정됩니다. 기본값은 None입니다.

distribution
Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

분산 작업에 대한 구성입니다. 기본값은 None입니다.

compute
Optional[str]

작업이 실행될 컴퓨팅 대상입니다. 기본값은 기본 컴퓨팅입니다.

inputs
Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

입력 이름을 작업에 사용되는 입력 데이터 원본에 매핑합니다. 기본값은 None입니다.

outputs
Optional[dict[str, Union[str, Output]]]

작업에 사용되는 출력 데이터 원본에 대한 출력 이름의 매핑입니다. 기본값은 None입니다.

instance_count
Optional[int]

컴퓨팅 대상에서 사용할 인스턴스 또는 노드 수입니다. 기본값은 1입니다.

instance_type
Optional[str]

컴퓨팅 대상에서 사용할 VM의 유형입니다.

locations
Optional[list[str]]

작업이 실행될 위치 목록입니다.

docker_args
Optional[str]

Docker 실행 명령에 전달할 추가 인수입니다. 이렇게 하면 시스템 또는 이 섹션에서 이미 설정된 매개 변수가 재정의됩니다. 이 매개 변수는 Azure ML 컴퓨팅 유형에 대해서만 지원됩니다. 기본값은 None입니다.

shm_size
Optional[str]

Docker 컨테이너의 공유 메모리 블록 크기입니다. 이 형식은 (number)(unit) 형식이어야 합니다. 여기서 숫자는 0보다 커야 하며 단위는 b(바이트), k(킬로바이트), m(메가바이트) 또는 g(기가바이트) 중 하나일 수 있습니다.

timeout
Optional[int]

작업이 취소된 후의 숫자(초)입니다.

code
Optional[Union[str, PathLike]]

작업을 실행할 소스 코드입니다. 원격 위치를 가리키는 로컬 경로 또는 "http:", "https:" 또는 "azureml:" URL일 수 있습니다.

identity
Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

컴퓨팅에서 실행하는 동안 명령 작업이 사용할 ID입니다.

is_deterministic
bool

동일한 입력이 지정된 경우 명령이 동일한 출력을 반환할지 여부를 지정합니다. 기본값은 True입니다. True이면 명령 구성 요소가 결정적이며 동일한 입력 및 설정을 사용하여 현재 작업 영역에서 이전에 실행된 경우 파이프라인에서 노드 또는 단계로 사용할 때 이전에 제출된 작업의 결과를 다시 사용합니다. 이 시나리오에서는 컴퓨팅 리소스가 사용되지 않습니다.

services
Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

노드에 대한 대화형 서비스입니다. 기본값은 None입니다. 실험적 매개 변수이며 언제든지 변경 될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

job_tier
Optional[str]

작업 계층입니다. 허용되는 값은 "Spot", "Basic", "Standard" 또는 "Premium"입니다.

priority
Optional[str]

컴퓨팅에서 작업의 우선 순위입니다. 허용되는 값은 "low", "medium" 및 "high"입니다. 기본값은 "보통"입니다.

반환

Command 개체

반환 형식

Command

예제

command() 작성기 메서드를 사용하여 명령 작업을 만듭니다.


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

load_batch_deployment

yaml 파일에서 일괄 처리 배포 개체를 생성합니다.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

일괄 배포 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 일괄 처리 배포 개체입니다.

반환 형식

BatchDeployment

load_batch_endpoint

yaml 파일에서 일괄 처리 엔드포인트 개체를 생성합니다.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

일괄 처리 엔드포인트 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str
기본값: None

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 일괄 처리 엔드포인트 개체입니다.

반환 형식

BatchEndpoint

load_component

로컬 또는 원격에서 구성 요소 함수로 구성 요소를 로드합니다.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
기본값: None

구성 요소의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

Component 개체

반환 형식

Union[CommandComponent, ParallelComponent, PipelineComponent]

예제

YAML 파일에서 Component 개체를 로드하고 해당 버전을 "1.0.2"로 재정의한 다음 원격으로 등록합니다.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

load_compute

yaml 파일에서 컴퓨팅 개체를 생성합니다.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

컴퓨팅의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
Optional[str]

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
Optional[List[Dict]]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

로드된 컴퓨팅 개체입니다.

반환 형식

Compute

예제

YAML 파일에서 Compute 개체를 로드하고 설명을 재정의합니다.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

load_data

yaml 파일에서 데이터 개체를 생성합니다.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

데이터 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 Data 또는 DataImport 개체입니다.

반환 형식

Data

예외

ValidationException

데이터의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.

load_datastore

yaml 파일에서 데이터 저장소 개체를 생성합니다.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

데이터 저장소의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

로드된 데이터 저장소 개체입니다.

반환 형식

Datastore

예외

ValidationException

Datastore의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.

load_environment

yaml 파일에서 환경 개체를 생성합니다.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

환경의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없는 경우 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 환경 개체입니다.

반환 형식

Environment

예외

ValidationException

환경의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.

load_job

YAML 파일에서 Job 개체를 생성합니다.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

로컬 YAML 파일 또는 작업 구성을 포함하는 이미 열려 있는 파일 개체에 대한 경로입니다. 원본이 경로이면 열리고 읽습니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽습니다.

relative_origin
Optional[str]

YAML의 루트 디렉터리입니다. 이 디렉터리가 구문 분석된 YAML에서 참조되는 파일의 상대 위치를 추론하기 위한 원본으로 사용됩니다. 원본이 파일 또는 파일 경로 입력인 경우 기본값은 원본과 동일한 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
Optional[list[dict]]

YAML 파일의 값을 덮어쓸 매개 변수 필드입니다.

반환

로드된 Job 개체입니다.

반환 형식

Job

예외

ValidationException

작업의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.

예제

YAML 구성 파일에서 작업 로드


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

load_model

YAML 파일에서 Model 개체를 생성합니다.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

로컬 YAML 파일 또는 작업 구성을 포함하는 이미 열려 있는 파일 개체에 대한 경로입니다. 원본이 경로이면 열리고 읽습니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽습니다.

relative_origin
Optional[str]

YAML의 루트 디렉터리입니다. 이 디렉터리가 구문 분석된 YAML에서 참조되는 파일의 상대 위치를 추론하기 위한 원본으로 사용됩니다. 원본이 파일 또는 파일 경로 입력인 경우 기본값은 원본과 동일한 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
Optional[list[dict]]

YAML 파일의 값을 덮어쓸 매개 변수 필드입니다.

반환

로드된 Model 개체입니다.

반환 형식

Model

예외

ValidationException

작업의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 자세한 내용은 오류 메시지에 제공됩니다.

예제

YAML 구성 파일에서 모델을 로드하고 이름 및 버전 매개 변수를 재정의합니다.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

load_model_package

참고

이는 실험적인 메서드이며 언제든지 변경될 수도 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

YAML 파일에서 ModelPackage 개체를 생성합니다.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

로컬 YAML 파일 또는 작업 구성을 포함하는 이미 열려 있는 파일 개체에 대한 경로입니다. 원본이 경로이면 열리고 읽습니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽습니다.

relative_origin
Optional[str]

YAML의 루트 디렉터리입니다. 이 디렉터리가 구문 분석된 YAML에서 참조되는 파일의 상대 위치를 추론하기 위한 원본으로 사용됩니다. 원본이 파일 또는 파일 경로 입력인 경우 기본적으로 원본과 동일한 디렉터리로 설정됩니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
Optional[list[dict]]

YAML 파일의 값을 덮어쓸 매개 변수 필드입니다.

반환

로드된 ModelPackage 개체입니다.

반환 형식

ModelPackage

예외

ValidationException

작업의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 세부 정보는 오류 메시지에 제공됩니다.

예제

YAML 구성 파일에서 ModelPackage 로드


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

load_online_deployment

yaml 파일에서 온라인 배포 개체를 생성합니다.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

온라인 배포 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 온라인 배포 개체입니다.

반환 형식

OnlineDeployment

예외

ValidationException

온라인 배포의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 세부 정보는 오류 메시지에 제공됩니다.

load_online_endpoint

yaml 파일에서 온라인 엔드포인트 개체를 생성합니다.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

온라인 엔드포인트 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 온라인 엔드포인트 개체입니다.

반환 형식

OnlineEndpoint

예외

ValidationException

온라인 엔드포인트의 유효성을 성공적으로 검사할 수 없는 경우 발생합니다. 세부 정보는 오류 메시지에 제공됩니다.

load_registry

yaml 파일에서 레지스트리 개체를 로드합니다.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

레지스트리의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

로드된 레지스트리 개체입니다.

반환 형식

Registry

load_workspace

yaml 파일에서 작업 영역 개체를 로드합니다.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

작업 영역의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

로드된 작업 영역 개체입니다.

반환 형식

Workspace

load_workspace_connection

yaml 파일에서 작업 영역 연결 개체를 생성합니다.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

작업 영역 연결 개체의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

생성된 작업 영역 연결 개체입니다.

반환 형식

WorkspaceConnection

load_workspace_hub

참고

이는 실험적인 메서드이며 언제든지 변경될 수도 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

yaml 파일에서 WorkspaceHub 개체를 로드합니다.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

매개 변수

source
Union[<xref:PathLike>, str, TextIOWrapper]
필수

WorkspaceHub의 로컬 yaml 원본입니다. 로컬 파일의 경로이거나 이미 열려 있는 파일이어야 합니다. 원본이 경로이면 열리고 읽습니다. 파일이 없으면 예외가 발생합니다. 원본이 열려 있는 파일인 경우 파일을 직접 읽고 파일을 읽을 수 없는 경우 예외가 발생합니다.

relative_origin
str

구문 분석된 yaml에서 참조되는 파일의 상대 위치를 추론할 때 사용할 원본입니다. 기본값은 파일 또는 파일 경로 입력인 경우 입력된 원본의 디렉터리입니다. 원본이 이름 값이 없는 스트림 입력인 경우 기본값은 "./"입니다.

params_override
List[Dict]

yaml 파일 위에 덮어쓸 필드입니다. 형식은 [{"field1": "value1"}, {"field2": "value2"}]

반환

로드된 WorkspaceHub 개체입니다.

반환 형식

WorkspaceHub

spark

dsl.pipeline 함수 내에서 사용하거나 독립 실행형 Spark 작업으로 사용할 수 있는 Spark 개체를 만듭니다.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

매개 변수

experiment_name
Optional[str]

작업이 만들어질 실험의 이름입니다.

name
Optional[str]

작업의 이름입니다.

display_name
Optional[str]

작업 표시 이름입니다.

description
Optional[str]

작업에 대한 설명입니다. 기본값은 None입니다.

tags
Optional[dict[str, str]]

작업에 대한 태그 사전입니다. 태그를 추가, 제거 및 업데이트할 수 있습니다. 기본값은 None입니다.

code

작업을 실행할 소스 코드입니다. 원격 위치를 가리키는 로컬 경로 또는 "http:", "https:" 또는 "azureml:" URL일 수 있습니다.

entry
Optional[Union[dict[str, str], SparkJobEntry]]

파일 또는 클래스 진입점입니다.

py_files
Optional[list[str]]

Python 앱용 PYTHONPATH에 배치할 .zip, .egg 또는 .py 파일 목록입니다. 기본값은 None입니다.

jars
Optional[list[str]]

의 목록입니다. 드라이버 및 실행기 클래스 경로에 포함할 JAR 파일입니다. 기본값은 None입니다.

files
Optional[list[str]]

각 실행기의 작업 디렉터리에 배치할 파일 목록입니다. 기본값은 None입니다.

archives
Optional[list[str]]

각 실행기의 작업 디렉터리로 추출할 보관 파일 목록입니다. 기본값은 None입니다.

identity
Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

컴퓨팅에서 실행하는 동안 Spark 작업이 사용할 ID입니다.

driver_cores
Optional[int]

클러스터 모드에서만 드라이버 프로세스에 사용할 코어 수입니다.

driver_memory
Optional[str]

드라이버 프로세스에 사용할 메모리 양이며 크기 단위 접미사("k", "m", "g" 또는 "t")(예: "512m", "2g")가 있는 문자열 형식입니다.

executor_cores
Optional[int]

각 실행기에 사용할 코어의 수입니다.

executor_memory
Optional[str]

실행기 프로세스당 사용할 메모리 양이며 크기 단위 접미사("k", "m", "g" 또는 "t")(예: "512m", "2g")가 있는 문자열 형식입니다.

executor_instances
Optional[int]

초기 실행기 수입니다.

dynamic_allocation_enabled
Optional[bool]

워크로드에 따라 이 애플리케이션에 등록된 실행기 수를 확장 및 축소하는 동적 리소스 할당을 사용할지 여부입니다.

dynamic_allocation_min_executors
Optional[int]

동적 할당을 사용하는 경우 실행기 수에 대한 하한입니다.

dynamic_allocation_max_executors
Optional[int]

동적 할당을 사용하는 경우 실행기 수의 상한입니다.

conf
Optional[dict[str, str]]

미리 정의된 Spark 구성 키와 값이 있는 사전입니다. 기본값은 None입니다.

environment
Optional[Union[str, Environment]]

작업을 실행할 Azure ML 환경입니다.

inputs
Optional[dict[str, Input]]

작업에 사용되는 입력 데이터에 대한 입력 이름의 매핑입니다. 기본값은 None입니다.

outputs
Optional[dict[str, Output]]

작업에 사용되는 출력 데이터에 대한 출력 이름의 매핑입니다. 기본값은 None입니다.

args
Optional[str]

작업에 대한 인수입니다.

compute
Optional[str]

작업이 실행되는 컴퓨팅 리소스입니다.

resources
Optional[Union[dict, SparkResourceConfiguration]]

작업에 대한 컴퓨팅 리소스 구성입니다.

반환

Spark 개체입니다.

반환 형식

Spark

예제

DSL 파이프라인 데코레이터를 사용하여 Spark 파이프라인 빌드


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )