스크립트 실행을 SDK v2로 업그레이드

  • 아티클

SDK v2에서 "실험"과 "실행"은 작업으로 통합됩니다.

작업에는 형식이 있습니다. 대부분의 작업은 python main.py와 같은 command를 실행하는 명령 작업입니다. 작업에서 실행되는 것은 모든 프로그래밍 언어에 독립적이므로 bash 스크립트를 실행하고, python 인터프리터를 호출하고, 많은 curl 명령을 실행하는 등의 작업을 실행할 수 있습니다.

업그레이드하려면 SDK v2에 작업을 제출하기 위한 코드를 변경해야 합니다. 작업 내에서 실행하는 항목은 SDK v2로 업그레이드할 필요가 없습니다. 그러나 모델 학습 스크립트에서 Azure Machine Learning 관련 코드를 제거하는 것이 좋습니다. 이러한 분리를 통해 로컬과 클라우드 간에 더 쉽게 전환할 수 있으며 성숙한 MLOps에 대한 모범 사례로 간주됩니다. 실제로 이는 azureml.* 줄의 코드를 제거하는 것을 의미합니다. 모델 로깅 및 추적 코드를 MLflow로 바꿔야 합니다. 자세한 내용은 v2에서 MLflow를 사용하는 방법을 참조하세요.

이 문서에서는 SDK v1과 SDK v2의 시나리오를 비교합니다.

스크립트 실행 제출

  • SDK v1

    from azureml.core import Workspace, Experiment, Environment, ScriptRunConfig

# connect to the workspace
ws = Workspace.from_config()

# define and configure the experiment
experiment = Experiment(workspace=ws, name='day1-experiment-train')
config = ScriptRunConfig(source_directory='./src',
                            script='train.py',
                            compute_target='cpu-cluster')

# set up pytorch environment
env = Environment.from_conda_specification(
    name='pytorch-env',
    file_path='pytorch-env.yml')
config.run_config.environment = env

run = experiment.submit(config)

aml_url = run.get_portal_url()
print(aml_url)

  • SDK v2

    #import required libraries
from azure.ai.ml import MLClient, command
from azure.ai.ml.entities import Environment
from azure.identity import DefaultAzureCredential

#connect to the workspace
ml_client = MLClient.from_config(DefaultAzureCredential())

# set up pytorch environment
env = Environment(
    image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04",
    conda_file="pytorch-env.yml",
    name="pytorch-env"
)

# define the command
command_job = command(
    code="./src",
    command="train.py",
    environment=env,
    compute="cpu-cluster",
)

returned_job = ml_client.jobs.create_or_update(command_job)
returned_job

v1 및 v2의 주요 기능 매핑

SDK v1의 기능 SDK v2의 대략적인 매핑
experiment.submit MLCLient.jobs.create_or_update
ScriptRunConfig() command()

다음 단계

자세한 내용은 다음을 참조하세요.