Azure Machine Learning용 MLflow 구성

이 문서에서는 추적, 레지스트리 및 배포를 위해 Azure Machine Learning 작업 영역에 연결하도록 MLflow를 구성하는 방법을 설명합니다.

Azure Machine Learning 작업 영역은 MLflow와 호환되므로 추가 구성 없이 MLflow 서버 역할을 할 수 있습니다. 각 작업 영역에는 MLflow가 작업 영역에 연결하는 데 사용할 수 있는 MLflow 추적 URI가 있습니다. Azure Machine Learning 작업 영역 은 이미 MLflow 에서 작동하도록 구성되어 있으므로 추가 구성이 필요하지 않습니다.

그러나 Azure Machine Learning 외부에서 작업하는 경우(예: 로컬 머신, Azure Synapse Analytics 또는 Azure Databricks) 작업 영역을 가리키도록 MLflow를 구성해야 합니다.

Important

Azure Compute(Azure Machine Learning Notebooks, Azure Machine Learning 컴퓨팅 인스턴스에서 호스트되는 Jupyter Notebook 또는 Azure Machine Learning 컴퓨팅 클러스터에서 실행되는 작업)에서 실행하는 경우 추적 URI를 구성할 필요가 없습니다. 자동으로 구성됩니다.

필수 조건

이 자습서를 수행하려면 다음 필수 구성 요소가 필요합니다.

  • MLflow SDK 패키지 mlflow 및 MLflow azureml-mlflow용 Azure Machine Learning 플러그 인을 설치합니다.

    pip install mlflow azureml-mlflow
    

    SQL Storage, 서버, UI 또는 데이터 과학 종속성이 없는 경량 MLflow 패키지인 패키지를 사용할 mlflow-skinny 수 있습니다. mlflow-skinny 는 배포를 비롯한 전체 기능 모음을 가져오지 않고 MLflow의 추적 및 로깅 기능이 주로 필요한 사용자에게 권장됩니다.

  • Azure Machine Learning 작업 영역 기계 학습 리소스 만들기 자습서따라 만들 수 있습니다.

    • 작업 영역에서 MLflow 작업을 수행하는 데 필요한 액세스 권한을 확인합니다.
  • 원격 추적(즉, Azure Machine Learning 외부에서 실행되는 실험 추적)을 수행하는 경우 Azure Machine Learning 작업 영역의 추적 URI를 가리키도록 MLflow를 구성합니다. MLflow를 작업 영역에 연결하는 방법에 대한 자세한 내용은 Azure Machine Learning용 MLflow 구성을 참조하세요.

MLflow 추적 URI 구성

MLflow를 Azure Machine Learning 작업 영역에 연결하려면 작업 영역에 대한 추적 URI가 필요합니다. 각 작업 영역에는 자체 추적 URI가 있으며 프로토콜 azureml://이 있습니다.

  1. 작업 영역에 대한 추적 URI를 가져옵니다.

    적용 대상:Azure CLI ml 확장 v2(현재)

    1. 작업 영역에 로그인하고 구성합니다.

      az account set --subscription <subscription>
      az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
      
    2. 다음 명령을 사용하여 추적 URI를 가져올 수 있습니다.az ml workspace

      az ml workspace show --query mlflow_tracking_uri
      
  2. 추적 URI 구성:

    그런 다음, 메서드 set_tracking_uri()는 MLflow 추적 URI로 해당 URI를 가리킵니다.

    import mlflow
    
    mlflow.set_tracking_uri(mlflow_tracking_uri)
    

    Azure Databricks 클러스터, Azure Synapse Analytics 클러스터 등과 같은 공유 환경에서 작업하는 경우 클러스터 수준에서 환경 변수 MLFLOW_TRACKING_URI 를 설정하여 세션별로 수행하지 않고 클러스터에서 실행되는 모든 세션에 대해 Azure Machine Learning을 가리키도록 MLflow 추적 URI를 자동으로 구성하는 것이 유용합니다.

인증 구성

추적이 설정되면 연결된 작업 영역에 대한 인증 방법도 구성해야 합니다. 기본적으로 MLflow용 Azure Machine Learning 플러그 인은 기본 브라우저를 열고 자격 증명을 묻는 메시지를 표시하여 대화형 인증을 수행합니다.

MLflow용 Azure Machine Learning 플러그 인은 플러그 인azureml-mlflow에 대한 종속성으로 설치된 패키지를 azure-identity통해 여러 인증 메커니즘을 지원합니다. 다음 인증 방법은 그 중 하나가 성공할 때까지 하나씩 시도됩니다.

  1. 환경: 환경 변수를 통해 지정된 계정 정보를 읽고 이를 사용하여 인증합니다.
  2. 관리 ID: 관리 ID를 사용하도록 설정된 Azure 호스트에 애플리케이션을 배포하는 경우 이를 통해 인증됩니다.
  3. Azure CLI: 사용자가 Azure CLI az login 명령을 통해 로그인하면 해당 사용자로 인증됩니다.
  4. Azure PowerShell: 사용자가 Azure PowerShell의 Connect-AzAccount 명령을 통해 로그인하면 해당 사용자로 인증됩니다.
  5. 대화형 브라우저: 기본 브라우저를 통해 사용자를 대화형으로 인증합니다.

세션에 연결된 사용자가 있는 대화형 작업의 경우 대화형 인증을 사용할 수 있으므로 추가 작업이 필요하지 않습니다.

Warning

대화형 브라우저 인증은 자격 증명을 묻는 메시지가 표시될 때 코드 실행을 차단합니다. 학습 작업과 같은 무인 환경에서 인증에 적합한 옵션이 아닙니다. 다른 인증 모드를 구성하는 것이 좋습니다.

무인 실행이 필요한 시나리오의 경우 Azure Machine Learning과 통신하도록 서비스 주체를 구성해야 합니다.

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

공유 환경에서 작업할 때 컴퓨팅에서 이러한 환경 변수를 구성하는 것이 좋습니다. 가능한 경우 Azure Key Vault 인스턴스에서 비밀로 관리하는 것이 가장 좋습니다. 예를 들어 Azure Databricks에서는 클러스터 구성 AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}에서 다음과 같이 환경 변수에서 비밀을 사용할 수 있습니다. Azure Databricks에서 수행하는 방법에 대한 환경 변수의 비밀 참조를 참조하거나 플랫폼에서 유사한 설명서를 참조하세요.

비밀 대신 인증서를 사용하려는 경우 환경 변수 AZURE_CLIENT_CERTIFICATE_PATHPEM 를 인증서 파일 경로( PKCS12 프라이빗 키 포함)와 AZURE_CLIENT_CERTIFICATE_PASSWORD 인증서 파일의 암호(있는 경우)로 구성할 수 있습니다.

권한 부여 및 권한 수준 구성

AzureML 데이터 과학자 또는 기여자 같은 일부 기본 역할은 Azure Machine Learning 작업 영역에서 MLflow 작업을 수행하도록 이미 구성되어 있습니다. 사용자 지정 역할을 사용하는 경우 다음 권한이 필요합니다.

  • MLflow 추적을 사용하려면:

    • Microsoft.MachineLearningServices/workspaces/experiments/*
    • Microsoft.MachineLearningServices/workspaces/jobs/*
  • MLflow 모델 레지스트리를 사용하려면:

    • Microsoft.MachineLearningServices/workspaces/models/*/*

만든 서비스 주체 또는 사용자 계정에 대한 액세스 권한을 작업 영역에 부여하는 방법을 알아보려면 액세스 권한 부여를 참조하세요.

인증 문제 해결

MLflow는 서비스와 mlflow.set_experiment() 상호 작용하는 첫 번째 작업에서 Azure Machine Learning에 대한 인증을 시도합니다 mlflow.start_run(). 프로세스 중에 문제 또는 예기치 않은 인증 프롬프트가 발견되면 로깅 수준을 늘려 오류에 대한 자세한 내용을 확인할 수 있습니다.

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

실험 이름 설정(선택 사항)

모든 MLflow 실행은 활성 실험에 기록됩니다. 기본적으로 실행은 자동으로 만들어지는 Default라는 실험에 로그됩니다. 추적이 수행되는 실험을 구성할 수 있습니다.

Azure Machine Learning CLI v2를 사용하여 작업을 제출할 때 작업의 YAML 정의에서 속성을 experiment_name 사용하여 실험 이름을 설정할 수 있습니다. 학습 스크립트에서 구성할 필요가 없습니다. 자세한 내용은 YAML: 표시 이름, 실험 이름, 설명 및 태그를 참조하세요.

MLflow 명령을 mlflow.set_experiment()사용하여 실험을 구성합니다.

experiment_name = 'experiment_with_mlflow'
mlflow.set_experiment(experiment_name)

비공유 Azure 클라우드 지원

MLflow용 Azure Machine Learning 플러그 인은 기본적으로 글로벌 Azure 클라우드에서 작동하도록 구성됩니다. 그러나 환경 변수 AZUREML_CURRENT_CLOUD를 설정하여 사용 중인 Azure 클라우드를 구성할 수 있습니다.

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

다음 Azure CLI 명령을 사용하여 사용 중인 클라우드를 식별할 수 있습니다.

az cloud list

현재 클라우드의 값 IsActive 이 .로 설정되어 있습니다 True.

다음 단계

이제 환경이 Azure Machine Learning의 작업 영역에 연결되었으므로 작업 작업을 시작할 수 있습니다.