Esercitazione: Connettere l'ambiente di sviluppo a MLflow

Questa pagina illustra come creare un esperimento MLflow e connetterlo all'ambiente di sviluppo.

Un esperimento MLflow è il contenitore per l'applicazione GenAI. Altre informazioni sugli esperimenti MLflow sono disponibili nella guida al concetto di modello di dati dell'esperimento .

Passare alla sezione relativa all'ambiente di sviluppo:

• Localmente su un IDE o su un notebook
• Notebook ospitato da Databricks

Ambiente di sviluppo locale

Passaggio 1: Installare MLflow

Installare MLflow con la connettività di Databricks:

pip install --upgrade "mlflow[databricks]>=3.1"

Passaggio 2: Creare un esperimento MLflow

1. Aprire l'area di lavoro di Databricks.
2. Nella barra laterale sinistra, in Intelligenza artificiale/Machine Learning, fare clic su Esperimenti.
3. Nella parte superiore della pagina Esperimenti fare clic su App e agenti GenAI.

Passaggio 3: Configurare l'autenticazione

Annotazioni

Questi passaggi descrivono l'uso di un token di accesso personale di Databricks. MLflow funziona anche con gli altri metodi di autenticazione supportati da Databricks.

Scegliere uno dei metodi di autenticazione seguenti:

Variabili di ambiente

1. Nell'esperimento MLflow fare clic >Tracce di log in locale> Fare clic su Genera chiave API.
2. Copiare ed eseguire il codice generato nel terminale:

export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_REGISTRY_URI=databricks-uc
export MLFLOW_EXPERIMENT_ID=<experiment-id>

File .env

1. Nell'esperimento MLflow fare clic >Tracce di log in locale> Fare clic su Genera chiave API.
2. Copiare il codice generato in un .env file nella radice del progetto:

DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_REGISTRY_URI=databricks-uc
MLFLOW_EXPERIMENT_ID=<experiment-id>

1. Installare il pacchetto python-dotenv:

pip install python-dotenv

1. Caricare le variabili di ambiente nel codice:

# At the beginning of your Python script
from dotenv import load_dotenv

# Load environment variables from .env file
load_dotenv()

Passaggio 4: Verificare la connessione

Creare un file di test ed eseguire questo codice per verificare la connessione e registrare una traccia di test nell'esperimento MLflow:

import mlflow
import os

experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")

if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
    raise Exception("Environment variables are not configured correctly.")

@mlflow.trace
def hello_mlflow(message: str):

    hello_data = {
        "experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
        "experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Sviluppare in un notebook ospitato in Databricks

Passaggio 1: Creare un notebook

Creare un notebook di Databricks crea un esperimento MLflow che funge da contenitore per l'applicazione GenAI. Per altre informazioni sugli esperimenti, vedere Modello di dati.

1. Aprire l'area di lavoro di Databricks.
2. Passare a Nuovo nella parte superiore della barra laterale sinistra.
3. Clicca Notebook.

Passaggio 2: Installare MLflow

I runtime di Databricks includono MLflow, ma per un'esperienza ottimale con le funzionalità GenAI, eseguire l'aggiornamento alla versione più recente:

%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()

Passaggio 3: Configurare l'autenticazione

Non è necessaria alcuna configurazione di autenticazione aggiuntiva quando si lavora all'interno di un notebook di Databricks. Il notebook può accedere automaticamente all'area di lavoro e all'esperimento MLflow associato.

Passaggio 4: Verificare la connessione

Eseguire questo codice in una cella del notebook per verificare la connessione. Sotto la cella del notebook verrà visualizzata una traccia MLflow.

import mlflow
import os

@mlflow.trace
def hello_mlflow(message: str):
    hello_data = {
        "message": message,
    }
    return hello_data

result = hello_mlflow("hello, world!")
print(result)

Passaggi successivi

• Strumentare l'app con il tracciamento (IDE) - Aggiungere MLflow Tracing a un'app GenAI in un IDE locale
• Instrumentare l'app con il tracciamento (Notebook) - Aggiungere tracciamento MLflow in un Notebook di Databricks

Guide di riferimento

Per informazioni dettagliate sui concetti e sulle funzionalità di questa guida, vedere:

• Esperimenti MLflow : informazioni sul contenitore dell'esperimento per l'applicazione GenAI
• Autenticazione di Databricks - Esplorare tutti i metodi di autenticazione disponibili
• Concetti di traccia - Informazioni sui concetti fondamentali di MLflow Tracing