MpiStep 클래스
MPI 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.
MpiStep 사용의 예는 Notebook https://aka.ms/pl-style-trans를 참조하세요.
MPI 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.
사용되지 않습니다. CommandStep을 대신 사용합니다. 예제는 CommandStep을 사용하여 파이프라인에서 분산 학습을 실행하는 방법을 참조하세요.
- 상속
-
MpiStep
생성자
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
매개 변수
- node_count
- int
[필수] 학습에 사용되는 컴퓨팅 대상의 노드 수입니다. 1보다 크면 MPI 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.
- process_count_per_node
- int
[필수] 노드당 프로세스 수입니다. 1보다 크면 MPI 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
입력 포트 바인딩 목록입니다.
출력 포트 바인딩 목록입니다.
- allow_reuse
- bool
동일한 설정으로 다시 실행할 때 단계에서 이전 결과를 재사용해야 하는지 여부를 나타냅니다. 기본적으로 재사용하도록 설정됩니다. 단계 내용(스크립트/종속성)과 입력 및 매개 변수가 변경되지 않은 상태로 유지되면 이 단계의 이전 실행 결과가 재사용됩니다. 단계를 재사용할 때, 컴퓨팅할 작업을 제출하는 대신 이전 실행의 결과를 후속 단계에 즉시 사용할 수 있습니다. Azure Machine Learning 데이터 세트를 입력으로 사용하는 경우 재사용은 기본 데이터가 변경되었는지 여부가 아니라 데이터 세트의 정의가 변경되었는지 여부에 따라 결정됩니다.
- hash_paths
- list
사용되지 않음: 더 이상 필요하지 않습니다.
단계 내용의 변경 내용을 확인할 때 해시할 경로 목록입니다. 검색된 변경 내용이 없으면 파이프라인은 이전 실행의 단계 내용을 재사용합니다. 기본적으로 source_directory
의 내용은 .amlignore 또는 .gitignore에 나열된 파일을 제외하고 해시됩니다.
- use_gpu
- bool
실험을 실행할 환경이 GPU를 지원해야 하는지 여부를 나타냅니다.
True인 경우 환경에서 GPU 기반 기본 Docker 이미지가 사용됩니다. False인 경우 CPU 기반 이미지가 사용됩니다. 기본 Docker 이미지(CPU 또는 GPU)는 custom_docker_image
매개 변수가 설정되지 않은 경우에만 사용됩니다. 이 설정은 Docker 지원 컴퓨팅 대상에서만 사용됩니다.
- custom_docker_image
- str
학습에 사용할 이미지가 빌드될 Docker 이미지의 이름입니다. 설정하지 않으면 기본 CPU 기반 이미지가 기본 이미지로 사용됩니다.
- user_managed
- bool
Azure ML이 기존 Python 환경을 다시 사용하는지 여부를 나타냅니다. False는 Azure ML이 conda 종속성 사양을 기반으로 Python 환경을 생성함을 의미합니다.
- pip_requirements_file_path
- str
pip 요구 사항 텍스트 파일의 상대 경로입니다.
이 매개 변수는 pip_packages
매개 변수와 함께 지정할 수 있습니다.
- environment_definition
- EnvironmentDefinition
실험에 대한 EnvironmentDefinition입니다. 여기에는 PythonSection, DockerSection, 환경 변수가 포함됩니다. 다른 매개 변수를 통해 MpiStep 구성에 직접 노출되지 않는 환경 옵션은 이 매개 변수를 사용하여 설정할 수 있습니다. 이 매개 변수를 지정하면 use_gpu, custom_docker_image, conda_packages 또는 pip_packages 같은 다른 환경 관련 매개 변수보다 우선하며 이러한 잘못된 조합에 대해 오류가 보고됩니다.
- node_count
- int
[필수] 학습에 사용되는 컴퓨팅 대상의 노드 수입니다. 1보다 큰 경우 mpi 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.
- process_count_per_node
- int
[필수] 노드당 프로세스 수입니다. 1보다 큰 경우 mpi 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
입력 포트 바인딩 목록입니다.
- outputs
- list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]
출력 포트 바인딩 목록입니다.
- allow_reuse
- bool
동일한 매개 변수를 사용하여 다시 실행할 때 단계가 이전 결과를 다시 사용할지 여부를 나타냅니다. 이 단계의 이전 실행에서 출력이 다시 사용됩니다. 단계를 재사용할 때, 컴퓨팅할 작업을 제출하는 대신 이전 실행의 결과를 후속 단계에 즉시 사용할 수 있습니다. Azure Machine Learning 데이터 집합을 입력으로 사용하는 경우 재사용은 기본 데이터가 변경되었는지 여부가 아니라 데이터 집합의 정의가 변경되었는지 여부에 따라 결정됩니다.
- hash_paths
- list
사용되지 않음: 더 이상 필요하지 않습니다.
단계 내용의 변경 내용을 확인할 때 해시할 경로 목록입니다. 검색된 변경 내용이 없으면 파이프라인은 이전 실행의 단계 내용을 재사용합니다. 기본적으로 source_directory
의 내용은 .amlignore 또는 .gitignore에 나열된 파일을 제외하고 해시됩니다.
- use_gpu
- bool
실험을 실행할 환경이 GPU를 지원해야 하는지 여부를 나타냅니다.
True인 경우 환경에서 GPU 기반 기본 Docker 이미지가 사용됩니다. False인 경우 CPU 기반 이미지가 사용됩니다. 기본 Docker 이미지(CPU 또는 GPU)는 custom_docker_image
매개 변수가 설정되지 않은 경우에만 사용됩니다. 이 설정은 Docker 지원 컴퓨팅 대상에서만 사용됩니다.
- use_docker
- bool
실험을 실행할 환경이 Docker 기반이어야 하는지 여부를 나타냅니다. custom_docker_image(str): mpi 작업에 사용할 이미지를 빌드할 Docker 이미지의 이름입니다. 설정하지 않으면 기본 CPU 기반 이미지가 기본 이미지로 사용됩니다.
- custom_docker_image
- str
학습에 사용할 이미지가 빌드될 Docker 이미지의 이름입니다. 설정하지 않으면 기본 CPU 기반 이미지가 기본 이미지로 사용됩니다.
- user_managed
- bool
Azure ML이 기존 Python 환경을 다시 사용하는지 여부를 나타냅니다. False는 Azure ML이 conda 종속성 사양을 기반으로 Python 환경을 생성함을 의미합니다.
- pip_requirements_file_path
- str
pip 요구 사항 텍스트 파일의 상대 경로입니다.
이 매개 변수는 pip_packages
매개 변수와 함께 지정할 수 있습니다.
- environment_definition
- EnvironmentDefinition
실험에 대한 EnvironmentDefinition입니다. 여기에는 PythonSection, DockerSection, 환경 변수가 포함됩니다. 다른 매개 변수를 통해 MpiStep 구성에 직접 노출되지 않는 환경 옵션은 이 매개 변수를 사용하여 설정할 수 있습니다. 이 매개 변수를 지정하면 use_gpu, custom_docker_image, conda_packages 또는 pip_packages 같은 다른 환경 관련 매개 변수보다 우선하며 이러한 잘못된 조합에 대해 오류가 보고됩니다.
피드백
https://aka.ms/ContentUserFeedback
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요.다음에 대한 사용자 의견 제출 및 보기