실험 추적 및 관찰 가능성

AI 런타임은 MLflow와 통합되어 실험 추적, 관찰 가능성, 디버깅 도구를 제공합니다. MLflow는 노트북에서 개발하든, databricks air CLI로 워크로드를 제출하든, 작업을 예약하든 런의 매개변수, 지표, GPU 시스템 지표, 로그, 산출물을 한곳에서 확인하고 관리할 수 있습니다.

MLflow가 제공하는 것

MLflow 실험은 관련 훈련 실행을 그룹화하며, 각 실행은 훈련 구성과 결과에 대한 지속적인 기록을 제공합니다.

• 지표 및 매개변수: 훈련 손실, 평가 지표, 학습률, 하이퍼파라미터를 기록한 후 실행마다 비교하세요.
• 시스템 메트릭: 시스템 메트릭 탭에서 관리된 실행에 대한 GPU, CPU, 메모리 사용률을 확인하세요.
• 로그 뷰: 실행의 Logs 탭에서 작업 기반 워크로드의 드라이버 출력을 확인하세요. MLflow 로그 탭의 로그 보기를 참조하세요.
• 산출물 및 모델: 실행 시 모델 파일, 구성 및 기타 출력물을 저장합니다. 크거나 지속적으로 보존되는 아티팩트는 Unity 카탈로그 볼륨을 사용하세요.
• 공유와 협업: 실험에 대한 접근 권한을 부여하여 다른 작업 공간 사용자가 해당 실험의 실행(run)들을 보고 비교할 수 있도록 하세요. MLflow 실험을 사용하여 학습 실행 구성을 참조하세요.
• 프레임워크 통합: Hugging Face Transformers, PyTorch Lightning 및 기타 지원 라이브러리와의 MLflow 통합을 사용하세요.

databricks air run로 제출된 워크로드와 같은 작업 기반 워크로드의 경우, Azure Databricks 작업 실행은 실행 상태, 연산, 시도 및 드라이버 출력을 기록함으로써 MLflow를 보완합니다.

MLflow 런이 어떻게 생성되는지

MLflow 실행을 어떻게 시작하거나 연결할지는 작업 시작 방식에 따라 다릅니다:

워크로드를 실행하는 방법	MLflow 런의 시작	실험 선택 방법
Databricks CLI (databricks air run)	각 시도마다 자동으로 런이 생성됩니다.	workload YAML에서 experiment_name을 설정하세요.
Databricks AI 런타임 SDK가 탑재된 노트북 (.distributed())	각 호출마다 자동으로 실행이 생성됩니다.	MLFLOW_EXPERIMENT_NAME 전에 .distributed()에 전화하거나 mlflow.set_experiment()을(를) 설정하세요.
코드는 연결된 노트북에서 직접 실행됩니다	어떤 런도 자동으로 생성되지 않습니다. mlflow.start_run() 또는 자동 로깅을 사용하세요.	노트북에서 mlflow.set_experiment()을 호출하세요.
예약됨 ai_runtime_task	이 작업은 자동으로 run을 생성합니다.	작업 구성에서 experiment을(를) 설정하세요. AI 런타임 태스크를 참조하세요.

코드가 올바른 실행을 시작하거나 해당 실행에 참가한 후, MLflow 추적 API를 사용해 맞춤형 학습 데이터를 기록하세요. 지원되는 프레임워크의 경우, 개별 로그 호출을 추가하는 대신 자동 로그를 사용할 수 있습니다. 딥러닝 패턴에 대해서는 MLflow 3 딥러닝 워크플로우를 참조하세요.

MLflow 추적을 구성할 때 다음과 같은 방법을 사용하세요:

• 글로벌 배치나 에포흐와 같은 의미 있는 값으로 설정 step 하세요. 매 배치 대신 일정 간격으로 기록하세요. MLflow는 실행당 메트릭 단계 수를 제한합니다. 리소스 한도를 참조하세요.
• 분산 훈련의 경우, 각 값이 한 번만 기록되도록 랭크 0에서만 메트릭을 기록하세요.
• 노트북 워크플로우의 경우, 예: /Users/<username>/my-experiment 또는 /Workspace/Shared/<team>/my-experiment와 같은 절대 실험 경로를 사용하세요. 공유하고 싶은 실험을 공유 작업 공간 폴더에 넣으세요.
• 크고 내구성 있는 체크포인트를 Unity 카탈로그 볼륨에 저장하세요. 체크포인트 패턴에 대해서는 AI 런타임에서 훈련 성과 및 복원력 향상을 참조하세요.

메모

이 페이지의 예시는 MLflow 3.7 이상 버전을 사용하세요.

Databricks CLI 워크로드를 추적하세요

databricks air run가 포함된 워크로드를 제출하면 AI 런타임은 실행 세부 정보를 위한 Azure Databricks 작업 실행과 실험 데이터를 위한 MLflow 실행을 생성합니다. 원본 제출과 재시도는 하나의 작업 실행을 공유하며, 각 시도마다 같은 실험 내에서 별도의 MLflow 실행을 생성하여 시도를 비교할 수 있습니다.

GPU, CPU, 메모리 시스템 메트릭은 각 관리된 실행마다 자동으로 캡처되어 MLflow 시스템 메트릭 탭에 표시됩니다.

실행 로그를 기록하도록 구성하세요

워크로드 YAML을 사용해 실험을 선택하고 선택적으로 실행 이름과 아티팩트 위치를 설정하세요. 다음 예시는 필요한 MLflow 필드를 보여줍니다:

experiment_name: my-training
mlflow_run_name: baseline-lr3e5
mlflow_artifact_location: /Volumes/main/default/mlflow-artifacts/my-training

필드 요구사항, 기본값, 지원 값에 대해서는 Workload YAML 참고 자료를 참조하세요.

AI 런타임은 MLFLOW_RUN_ID를 통해 관리되는 실행 ID를 노출합니다. 해당 실행에 자신의 매개변수, 지표, 아티팩트를 기록하려면 MLflow 추적 API로 이를 다시 여세요:

import os

import mlflow

# Log from rank 0 only because all nodes share the same MLFLOW_RUN_ID.
if os.environ.get("RANK", "0") == "0":
    with mlflow.start_run(run_id=os.environ["MLFLOW_RUN_ID"]):
        mlflow.log_param("learning_rate", 3e-4)
        for step, loss in enumerate(training_losses):
            mlflow.log_metric("train_loss", loss, step=step)

실행 및 로그 찾기

로그는 Databricks CLI와 MLflow 실행 페이지를 통해 제공됩니다. 다음 명령어를 사용하여 워크로드를 찾고, 워크로드를 검사하며, 로그를 스트리밍하거나 다운로드하세요:

databricks air list --all-status
databricks air get <job-run-id>
databricks air logs <job-run-id>
databricks air logs <job-run-id> --node 2
databricks air logs <job-run-id> --download-to ./logs/

노트북 워크로드 추적

노트북에서 첨부된 세션에서 코드를 직접 실행하거나 Databricks AI 런타임 SDK의 @distributed 데코레이터를 통해 분산 학습을 실행할 수 있습니다.

노트북에서 직접 코드를 실행하세요

연결된 노트북에서 직접 실행되는 코드는 자동으로 MLflow 실행을 생성하지 않습니다. 실험을 선택한 후 실행을 시작하거나 자동 로그를 활성화하세요:

import mlflow

mlflow.set_experiment("/Users/<username>/my-experiment")

with mlflow.start_run(run_name="baseline"):
    train()

PyTorch Lightning 자동 로그를 활성화하려면 다음 패턴을 사용하세요:

mlflow.pytorch.autolog()

with mlflow.start_run(run_name="lightning-baseline"):
    trainer.fit(model, datamodule=datamodule)

Hugging Face Transformers의 경우, 다음과 같이 TrainingArguments를 구성하세요:

from transformers import TrainingArguments

args = TrainingArguments(
    output_dir="/Volumes/<catalog>/<schema>/<volume>/checkpoints",
    report_to="mlflow",
    run_name="llama7b-sft-lr3e5",
    logging_steps=50,
)

Databricks AI 런타임 SDK를 사용하세요

노트북에서 분산 학습을 하려면 Databricks AI Runtime SDK(databricks-sdk-air)의 @distributed 데코레이터를 사용하세요. SDK는 GPU 환경 버전 6 이상에서 databricks.air 네임스페이스에서 사용할 수 있으며, GPU 환경 버전 5 이하에서는 serverless_gpu로 사용할 수 있습니다.

from databricks.air import distributed

@distributed()
def train():
    # Training code
    ...

train.distributed()

각 .distributed() 호출은 자동으로 MLflow 실행 기록을 생성합니다. 기본 실험은 /Users/{WORKSPACE_USER}/{notebook-name}입니다. 다른 실험을 선택하려면 .distributed()를 호출하기 전에 설정하세요:

mlflow.set_experiment("/Users/<username>/my-experiment")
train.distributed()

.distributed()를 활성 실행 내에서 호출하면 AI 런타임은 중첩된 자식 실행을 생성합니다:

with mlflow.start_run() as parent_run:
    train.distributed()

이전 실행을 다시 시작하려면 MLFLOW_RUN_ID 앞에 .distributed()를 설정하세요:

import os

os.environ["MLFLOW_RUN_ID"] = "<previous-run-id>"
train.distributed()

셀 출력의 run 링크나 노트북 Experiment 패널을 이용해 MLflow run을 열어보세요.

로그 보기

• 노트북 출력: 학습 코드의 표준 출력과 오류는 노트북 셀 출력에 나타납니다.
• MLflow 로그: .distributed(remote=True) 호출과 같은 작업 기반 노트북 워크로드의 경우, MLflow Logs 탭에 관련 작업 실행의 출력이 표시됩니다.

실시간 GPU 리소스 모니터링

노트북 GPU 리소스 창에서는 단일 노드 및 다중 노드 작업 부하에 대한 실시간 GPU 사용률, 메모리, 온도를 보여줍니다. 실행에 연동된 영구 레코드가 필요할 때는 MLflow 시스템 메트릭 탭을 사용하세요.

창을 열려면 노트북을 AI 런타임에 연결한 후 오른쪽 창에서 GPU 리소스를 클릭하세요.

이 패널은 10초마다 메트릭을 폴링하고 최대 2시간치 기록을 유지합니다. 최신 값을 가져오려면 새로 고침을 클릭하세요. 5분간 활동이 없으면 창이 일시 중지됩니다. 모니터링을 재개하려면 다시 열어보세요.

MLflow Logs 탭에서 로그 보기

MLflow 실행 페이지의 Logs 탭은 작업 기반 AI Runtime 워크로드의 출력을 보여줍니다. 열려면 실행 페이지로 가서 로그를 클릭하세요.

새로운 런의 경우, Logs 탭이 이전에 해당 런의 Artifacts 탭에 저장되어 있던 로그 파일을 대체하며, Artifacts 탭은 더 이상 사용되지 않습니다. 이전에 생성된 런들은 로그 파일을 아티팩트 탭에 보관합니다.

로그(Logs) 탭에서 다음을 할 수 있습니다:

• 검색: 검색어가 포함된 줄만 표시하세요.
• 노드, 레벨, 시간 범위별로 필터링: 다중 노드 작업 부하 중 단일 노드를 선택하거나, 정보, 경고, 오류 라인만 표시하거나, 시간 범위로 좁혀 보기를 합니다.
• 실행 중인 워크로드 추적하기: 실행 중인 동안, 새로운 출력이 도착할 때마다 나타납니다. 위로 스크롤해서 팔로잉을 일시정지하세요.
• 복사 및 다운로드: 로드된 라인을 복사하거나 현재 필터에 맞는 모든 라인을 다운로드하세요.

로그 보존

로그는 로그 탭에서 60일 동안 이용할 수 있습니다.

로그 접근 문제 해결

MLflow 실행 페이지의 Logs 탭은 관련 있는 Azure Databricks 작업 실행에서 출력을 스트리밍합니다. MLflow 실험에 접근한다고 해서 작업에 대한 접근이 의미되는 것은 아닙니다.

탭에 이 로그들에 액세스할 수 없습니다가 표시되면, Can Manage 권한이 있는 사용자나 작업 공간 관리자에게 해당 작업에 대해 최소한 Can View 권한을 부여해 달라고 요청하세요. 작업에 대한 액세스 제어를 참조하세요.

Azure Databricks 전역 제한

리소스 한도를 참조하세요.