steps 패키지

  • 참조

Azure Machine Learning 파이프라인에서 실행할 수 있는 미리 빌드된 단계가 포함되어 있습니다.

Azure ML 파이프라인 단계를 함께 구성하여 공유 가능하고 재사용 가능한 Azure Machine Learning 워크플로를 나타내는 파이프라인을 구성할 수 있습니다. 파이프라인의 각 단계는 단계 내용(스크립트 및 종속성)과 입력 및 매개 변수가 변경되지 않은 상태로 유지되는 경우 이전 실행 결과를 재사용할 수 있도록 구성할 수 있습니다.

이 패키지의 클래스는 일반적으로 core 패키지의 클래스와 함께 사용됩니다. 코어 패키지에는 데이터 구성(PipelineData), 예약(Schedule) 및 단계 출력 관리(StepRun)를 위한 클래스가 포함되어 있습니다.

이 패키지의 사전 빌드 단계는 기계 학습 워크플로에서 발생하는 많은 일반적인 시나리오를 다룹니다. 사전 빌드된 파이프라인 단계를 시작하려면 다음을 참조하세요.

모듈

adla_step

Azure Data Lake Analytics를 사용하여 U-SQL 스크립트를 실행하는 Azure ML 파이프라인 단계를 만드는 기능이 포함되어 있습니다.
automl_step

Azure Machine Learning에서 자동화된 ML 파이프라인 단계를 추가하고 관리하기 위한 기능이 포함되어 있습니다.
azurebatch_step

Azure Batch에서 Windows 실행 파일을 실행하는 Azure ML 파이프라인 단계를 생성하는 기능이 포함되어 있습니다.
command_step

명령을 실행하는 Azure ML 파이프라인 단계를 생성하는 기능이 포함되어 있습니다.
data_transfer_step

스토리지 옵션 간에 데이터를 전송하는 Azure ML 파이프라인 단계를 생성하는 기능이 포함되어 있습니다.
databricks_step

DBFS에서 Databricks Notebook 또는 Python 스크립트를 실행하기 위한 Azure ML 파이프라인 단계를 만드는 기능이 포함되어 있습니다.
estimator_step

Machine Learning 모델 학습을 위해 예측 도구를 실행하는 파이프라인 단계를 만드는 기능이 포함되어 있습니다.
hyper_drive_step

하이퍼 매개 변수 튜닝을 실행하는 Azure ML 파이프라인 단계를 만들고 관리하기 위한 기능이 포함되어 있습니다.
kusto_step

Kusto Notebook을 실행하는 Azure ML 파이프라인 단계를 생성하는 기능이 포함되어 있습니다.
module_step

기존 버전의 모듈을 사용하여 Azure Machine Learning 파이프라인 단계를 추가하는 기능이 포함되어 있습니다.
mpi_step

Machine Learning 모델 학습을 위한 MPI 작업을 실행하는 Azure ML 파이프라인 단계를 추가하는 기능이 포함되어 있습니다.
parallel_run_config

ParallelRunStep을 구성하는 기능이 포함되어 있습니다.
parallel_run_step

여러 AmlCompute 대상에서 사용자 스크립트를 병렬 모드로 실행하는 단계를 추가하는 기능이 포함되어 있습니다.
python_script_step

Python 스크립트를 실행하는 Azure ML 파이프라인 단계를 생성하는 기능이 포함되어 있습니다.
r_script_step

R 스크립트를 실행하는 Azure ML 파이프라인 단계를 생성하는 기능이 포함되어 있습니다.
synapse_spark_step

Python 스크립트를 실행하는 Azure ML Synapse 단계를 생성하는 기능이 포함되어 있습니다.

클래스

AdlaStep

Azure Data Lake Analytics를 사용하여 U-SQL 스크립트를 실행하는 Azure ML 파이프라인 단계를 만듭니다.

이 AdlaStep 사용의 예제는 Notebook https://aka.ms/pl-adla을 참조하세요.

Azure ML 파이프라인 단계를 만들어 Azure Data Lake Analytics 사용하여 U-SQL 스크립트를 실행합니다.
AutoMLStep

자동화된 ML 실행을 캡슐화하는 Azure ML 파이프라인 단계를 생성합니다.

AutoMLStep 사용 예제는 Notebook https://aka.ms/pl-automl을 참조하세요.

AutoMLStep을 초기화합니다.
AutoMLStepRun

자동화된 ML 실험 실행 및 기본 출력을 검색하는 메서드에 대한 정보를 제공합니다.

AutoMLStepRun 클래스는 자동화된 ML 실행이 파이프라인에 제출되면 관리, 상태 확인, 실행 세부 정보 검색에 사용됩니다. 또한 이 클래스를 사용하여 StepRun 클래스를 통해 AutoMLStep의 기본 출력을 가져올 수 있습니다.

automl 단계 실행을 초기화합니다.
AzureBatchStep

Azure Batch에 작업을 제출하기 위한 Azure ML 파이프라인 단계를 생성합니다.

참고: 이 단계는 디렉터리 및 해당 콘텐츠의 업로드/다운로드를 지원하지 않습니다.

AzureBatchStep 사용 예제는 Notebook https://aka.ms/pl-azbatch를 참조하세요.

Azure Batch 작업을 제출하기 위한 Azure ML 파이프라인 단계를 만듭니다.
CommandStep

명령을 실행하는 Azure ML 파이프라인 단계를 생성합니다.

명령을 실행하는 Azure ML 파이프라인 단계를 생성합니다.
DataTransferStep

스토리지 옵션 간에 데이터를 전송하는 Azure ML 파이프라인 단계를 생성합니다.

DataTransferStep은 원본 및 싱크로 Azure Blob Storage 및 Azure Data Lake와 같은 일반적인 스토리지 형식을 지원합니다. 자세한 내용은 주의 섹션을 참조하세요.

DataTransferStep 사용 예제는 Notebook https://aka.ms/pl-data-trans를 참조하세요.

스토리지 옵션 간에 데이터를 전송하는 Azure ML 파이프라인 단계를 만듭니다.
DatabricksStep

DataBricks Notebook, Python 스크립트 또는 JAR을 노드로 추가하는 Azure ML 파이프라인 단계를 만듭니다.

DatabricksStep 사용의 예제는 Notebook https://aka.ms/pl-databricks를 참조하세요.

Azure ML 파이프라인 단계를 만들어 DataBricks Notebook, Python 스크립트 또는 JAR을 노드로 추가합니다.

DatabricksStep 사용의 예제는 Notebook https://aka.ms/pl-databricks를 참조하세요.

:p aram python_script_name:[필수] 에 상대적 source_directory인 Python 스크립트의 이름입니다. 스크립트가 입력과 출력을 사용하면 매개 변수로 스크립트에 전달됩니다. python_script_name가 지정되면 source_directory도 지정되어야 합니다.

notebook_path, python_script_path, python_script_name 또는 main_class_name 중 정확히 하나를 지정합니다.

DataReference 개체를 data_reference_name=input1에 입력으로 지정하고 PipelineData 개체를 name=output1에 출력으로 지정하면 입력과 출력이 매개 변수로 스크립트에 전달됩니다. 그러면 다음과 같이 표시되며 각 입력 및 출력의 경로에 액세스하려면 스크립트의 인수를 구문 분석해야 합니다. "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

또한 스크립트 내에서 다음 매개 변수를 사용할 수 있습니다.

  • AZUREML_RUN_TOKEN: Azure Machine Learning으로 인증하기 위한 AML 토큰입니다.
  • AZUREML_RUN_TOKEN_EXPIRY: AML 토큰 만료 시간입니다.
  • AZUREML_RUN_ID: 이 실행에 대한 Azure Machine Learning 실행 ID입니다.
  • AZUREML_ARM_SUBSCRIPTION: AML 작업 영역에 대한 Azure 구독입니다.
  • AZUREML_ARM_RESOURCEGROUP: Azure Machine Learning 작업 영역에 대한 Azure 리소스 그룹입니다.
  • AZUREML_ARM_WORKSPACE_NAME: Azure Machine Learning 작업 영역의 이름입니다.
  • AZUREML_ARM_PROJECT_NAME: Azure Machine Learning 실험의 이름입니다.
  • AZUREML_SERVICE_ENDPOINT: AML 서비스의 엔드포인트 URL입니다.
  • AZUREML_WORKSPACE_ID: Azure Machine Learning 작업 영역의 ID입니다.
  • AZUREML_EXPERIMENT_ID: Azure Machine Learning 실험의 ID입니다.
  • AZUREML_SCRIPT_DIRECTORY_NAME: source_directory가 복사된 DBFS의 디렉터리 경로입니다.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

DatabricksStep 매개 변수 source_directory 및 python_script_name을 사용하여 Databricks의 로컬 머신에서 Python 스크립트를 실행하는 경우 source_directory가 DBFS로 복사되고 DBFS의 디렉터리 경로가 실행을 시작할 때 스크립트에 매개 변수로 전달됩니다. 이 매개 변수의 레이블은 AZUREML_SCRIPT_DIRECTORY_NAME입니다. DBFS의 디렉터리에 액세스하려면 문자열 “dbfs:/” 또는 “/dbfs/”를 접두사로 추가해야 합니다.
EstimatorStep

사용되지 않습니다. Azure ML 모델 학습을 위해 Estimator를 실행할 파이프라인 단계를 만듭니다.

Machine Learning 모델 학습용 Estimator를 실행하는 Azure ML 파이프라인 단계를 만듭니다.

사용되지 않습니다. CommandStep을 대신 사용합니다. 예제는 CommandStep을 사용하여 파이프라인에서 ML 학습을 실행하는 방법을 참조하세요.
HyperDriveStep

Machine Learning 모델 학습에 대한 하이퍼 매개 변수 튜닝을 실행하는 Azure ML 파이프라인 단계를 만듭니다.

HyperDriveStep 사용 예제는 Notebook https://aka.ms/pl-hyperdrive를 참조하세요.

Machine Learning 모델 학습을 위한 하이퍼 매개 변수 튜닝을 실행하는 Azure ML 파이프라인 단계를 만듭니다.
HyperDriveStepRun

HyperDriveStep 파이프라인 단계에 대한 실행 세부 정보를 관리, 상태 확인 및 검색합니다.

HyperDriveStepRun은 StepRun의 추가 지원을 통해 HyperDriveRun 기능을 제공합니다. HyperDriveStepRun 클래스를 사용하면 HyperDrive 실행 및 생성된 각 자식 실행에 대한 실행 세부 정보를 관리하고, 상태를 확인하고, 검색할 수 있습니다. StepRun 클래스를 사용하면 부모 파이프라인 실행이 제출되고 파이프라인이 단계 실행을 제출한 후에 이 작업을 수행할 수 있습니다.

HyperDriveStepRun을 초기화합니다.

HyperDriveStepRun은 StepRun의 추가 지원을 통해 HyperDriveRun 기능을 제공합니다. HyperDriveRun 클래스를 사용하면 HyperDrive 실행 및 생성된 각 자식 실행에 대한 실행 세부 정보를 관리, 검사 상태 검색할 수 있습니다. StepRun 클래스를 사용하면 부모 파이프라인 실행이 제출되고 파이프라인이 단계 실행을 제출한 후에 이 작업을 수행할 수 있습니다.
KustoStep

KustoStep은 Azure ML Pipelines의 대상 Kusto 클러스터에서 Kusto 쿼리를 실행하는 기능을 사용하도록 설정합니다.

KustoStep을 초기화합니다.
ModuleStep

특정 버전의 모듈을 실행하기 위한 Azure Machine Learning 파이프라인 단계를 생성합니다.

Module 개체는 스크립트 또는 실행 파일과 같은 재사용 가능한 계산을 정의하며 다양한 기계 학습 시나리오와 다양한 사용자가 사용할 수 있습니다. 파이프라인에서 특정 버전의 모듈을 사용하려면 ModuleStep을 생성합니다. ModuleStep은 기존 ModuleVersion을 사용하는 파이프라인의 단계입니다.

ModuleStep 사용 예제는 Notebook https://aka.ms/pl-modulestep을 참조하세요.

특정 버전의 모듈을 실행하는 Azure ML 파이프라인 단계를 만듭니다.
MpiStep

MPI 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.

MpiStep 사용의 예는 Notebook https://aka.ms/pl-style-trans를 참조하세요.

MPI 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.

사용되지 않습니다. CommandStep을 대신 사용합니다. 예제는 CommandStep을 사용하여 파이프라인에서 분산 학습을 실행하는 방법을 참조하세요.
ParallelRunConfig

ParallelRunStep 개체에 대한 구성을 정의합니다.

ParallelRunStep을 사용하는 예제는 Notebook https://aka.ms/batch-inference-notebooks을 참조하세요.

문제 해결 가이드는 https://aka.ms/prstsg를 참조하세요. 이 문서에서 더 많은 참고 자료를 찾을 수 있습니다.

구성 개체를 초기화합니다.
ParallelRunStep

Azure Machine Learning 파이프라인 단계를 만들어 대량의 데이터를 비동기적으로, 그리고 병렬로 처리합니다.

ParallelRunStep을 사용하는 예제는 Notebook https://aka.ms/batch-inference-notebooks을 참조하세요.

문제 해결 가이드는 https://aka.ms/prstsg를 참조하세요. 이 문서에서 더 많은 참고 자료를 찾을 수 있습니다.

대량의 데이터를 비동기적으로 병렬로 처리하는 Azure ML 파이프라인 단계를 만듭니다.

ParallelRunStep을 사용하는 예제는 Notebook 링크를 https://aka.ms/batch-inference-notebooks참조하세요.
PythonScriptStep

Python 스크립트를 실행하는 Azure ML 파이프라인 단계를 만듭니다.

PythonScriptStep을 사용하는 예제는 Notebook https://aka.ms/pl-get-started을 참조하세요.

Python 스크립트를 실행하는 Azure ML 파이프라인 단계를 만듭니다.
RScriptStep

참고

이는 실험적인 클래스이며 언제든지 변경될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

R 스크립트를 실행하는 Azure ML Pipeline 단계를 생성합니다.

R 스크립트를 실행하는 Azure ML 파이프라인 단계를 만듭니다.

사용되지 않습니다. CommandStep을 대신 사용합니다. 예제는 CommandStep을 사용하여 파이프라인에서 R 스크립트를 실행하는 방법을 참조하세요.
SynapseSparkStep

참고

이는 실험적인 클래스이며 언제든지 변경될 수 있습니다. 자세한 내용은 https://aka.ms/azuremlexperimental을 참조하세요.

Python 스크립트를 제출하고 실행하는 Azure ML Synapse 단계를 생성합니다.

synapse Spark 풀에서 Spark 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.