Dokumentacja tabel systemowych MLflow

Ważne

Tabele systemowe MLflow są dostępne w publicznej wersji zapoznawczej.

Tabele mlflow systemowe przechwytują metadane eksperymentu zarządzane w usłudze śledzenia MLflow. Te tabele umożliwiają uprzywilejowanym użytkownikom korzystanie z narzędzi typu lakehouse usługi Databricks na danych przepływu MLflow we wszystkich obszarach roboczych w regionie. Tabele umożliwiają tworzenie niestandardowych pulpitów nawigacyjnych sztucznej inteligencji/analizy biznesowej, konfigurowanie alertów SQL lub wykonywanie zapytań analitycznych na dużą skalę.

mlflow Za pomocą tabel systemowych użytkownicy mogą odpowiedzieć na pytania, takie jak:

• Które eksperymenty mają najniższą niezawodność?
• Jakie jest średnie wykorzystanie procesora GPU w różnych eksperymentach?

Uwaga / Notatka

Tabele mlflow systemowe zaczęły rejestrować dane przepływu MLflow ze wszystkich regionów 2 września 2025 r. Dane z wcześniejszej daty mogą być niedostępne.

Dostępne tabele

Schemat mlflow zawiera następujące tabele:

• system.mlflow.experiments_latest: rejestruje nazwy eksperymentów i zdarzenia usuwania nietrwałego. Te dane są podobne do strony eksperymentów w interfejsie użytkownika platformy MLflow.
• system.mlflow.runs_latest: rejestruje informacje o cyklu życia przebiegu, parametry i tagi skojarzone z każdym uruchomieniem oraz zagregowane statystyki minimalnych, maksymalnych i najnowszych wartości wszystkich metryk. Te dane są podobne do strony szczegółów uruchamiania wyszukiwania lub uruchamiania.
• system.mlflow.run_metrics_history: rejestruje nazwę, wartość, znacznik czasu i krok wszystkich zarejestrowanych przebiegów metryk, których można użyć do wykreślenia szczegółowych terminów z przebiegów. Te dane są podobne do karty metryki na stronie szczegółów przebiegów.

Poniżej przedstawiono przykład wykreślenia informacji o przebiegu przy użyciu pulpitu nawigacyjnego:

Schematy tabel

Poniżej przedstawiono schematy tabel z opisami i przykładowymi danymi.

system.mlflow.experiments_latest

Nazwa kolumny	Typ danych	Description	Example	Zanullowalny
account_id	ciąg	Identyfikator konta zawierającego eksperyment MLflow	"bd59efba-4444-4444-443f-44444449203"	Nie.
update_time	sygnatura czasowa	Czas systemowy ostatniej aktualizacji eksperymentu	2024-06-27T00:58:57.000+00:00	Nie.
delete_time	sygnatura czasowa	Czas systemowy, kiedy eksperyment MLflow został usunięty nietrwale przez użytkownika	2024-07-02T12:42:59.000+00:00	Tak
experiment_id	ciąg	Identyfikator eksperymentu MLflow	"2667956459304720"	Nie.
workspace_id	ciąg	Identyfikator obszaru roboczego zawierającego eksperyment MLflow	"6051921418418893"	Nie.
name	ciąg	Podana przez użytkownika nazwa eksperymentu	"/Users/first.last@databricks.com/myexperiment"	Nie.
create_time	sygnatura czasowa	Czas systemowy utworzenia eksperymentu	2024-06-27T00:58:57.000+00:00	Nie.

system.mlflow.runs_latest

Nazwa kolumny	Typ danych	Description	Example	Zanullowalny
account_id	ciąg	Identyfikator konta zawierającego przebieg MLflow	"bd59efba-4444-4444-443f-44444449203"	Nie.
update_time	sygnatura czasowa	Czas systemowy ostatniej aktualizacji przebiegu	2024-06-27T00:58:57.000+00:00	Nie.
delete_time	sygnatura czasowa	Czas systemowy, gdy przebieg MLflow został usunięty nietrwale przez użytkownika	2024-07-02T12:42:59.000+00:00	Tak
workspace_id	ciąg	Identyfikator obszaru roboczego zawierającego przebieg MLflow	"6051921418418893"	Nie.
run_id	ciąg	Identyfikator przebiegu MLflow	"7716d750d279487c95f64a75bff2ad56"	Nie.
experiment_id	ciąg	Identyfikator eksperymentu MLflow zawierającego przebieg MLflow	"2667956459304720"	Nie.
created_by	ciąg	Nazwa podmiotu zabezpieczeń usługi Databricks lub użytkownika, który utworzył przebieg MLflow	"<user>@<domain-name>"	Tak
start_time	sygnatura czasowa	Czas określony przez użytkownika po uruchomieniu platformy MLflow	2024-06-27T00:58:57.000+00:00	Nie.
end_time	sygnatura czasowa	Czas określony przez użytkownika po zakończeniu przebiegu platformy MLflow	2024-07-02T12:42:59.000+00:00	Tak
run_name	ciąg	Nazwa przebiegu MLflow	"wistful-deer-932", "my-xgboost-training-run"	Nie.
status	ciąg	Stan wykonywania przebiegu platformy MLflow	"FINISHED"	Nie.
params	ciąg mapy<, ciąg>	Parametry klucz-wartość przebiegu MLflow	{"n_layers": "5", "batch_size": "64", "optimizer": "Adam"}	Nie.
tags	ciąg mapy<, ciąg>	Tagi klucz-wartość ustawione w przebiegu MLflow	{"ready_for_review": "true"}	Nie.
aggregated_metrics	ciąg struktury<listy<, podwójna, podwójna, podwójna, podwójna>>	Zagregowany widok podsumowujący metryki w run_metrics_history	[{"metric_name": "training_accuracy", "latest_value": 0.97, "min_value": 0.8, "max_value": 1.0}, ...]	Nie.
aggregated_metrics.metric_name	ciąg	Określona przez użytkownika nazwa metryki	"training_accuracy"	Nie.
aggregated_metrics.latest_value	podwójny	Najnowsza wartość metric_name w serii czasowej tej kombinacji (uruchom, metric_name) w run_metrics_history	0.97	Nie.
aggregated_metrics.max_value	podwójny	Maksymalna wartość metric_name w serii czasowej tej kombinacji (uruchom, metric_name) w run_metrics_history. Jeśli dla metryki zarejestrowano dowolną wartość NaN, wartość będzie miała wartość NaN	1.0	Nie.
aggregated_metrics.min_value	podwójny	Minimalna wartość metric_name w serii czasowej tej kombinacji (run, metric_name) w run_metrics_history. Jeśli dla metryki zarejestrowano dowolną wartość NaN, wartość będzie miała wartość NaN	0.8	Nie.

system.mlflow.run_metrics_history

Nazwa kolumny	Typ danych	Description	Example	Zanullowalny
account_id	ciąg	Identyfikator konta zawierającego przebieg platformy MLflow, do którego zarejestrowano metryki	"bd59efba-4444-4444-443f-44444449203"	Nie.
insert_time	sygnatura czasowa	Czas systemowy, kiedy została wstawiona metryka	2024-06-27T00:58:57.000+00:00	Nie.
record_id	ciąg	Unikatowy identyfikator metryki do rozróżnienia między identycznymi wartościami	"Ae1mDT5gFMSUwb+UUTuXMQ=="	Nie.
workspace_id	ciąg	Identyfikator obszaru roboczego zawierającego przebieg platformy MLflow, do którego zarejestrowano metryki	"6051921418418893"	Nie.
experiment_id	ciąg	Identyfikator eksperymentu MLflow zawierającego przebieg platformy MLflow, do którego zarejestrowano metryki	"2667956459304720"	Nie.
run_id	ciąg	Identyfikator przebiegu MLflow, do którego zarejestrowano metryka	"7716d750d279487c95f64a75bff2ad56"	Nie.
metric_name	ciąg	Nazwa metryki	"training_accuracy"	Nie.
metric_time	sygnatura czasowa	Czas określony przez użytkownika podczas obliczania metryki	2024-06-27T00:55:54.1231+00:00	Nie.
metric_step	bigint	Krok (na przykład epoka) trenowania modelu lub opracowywania agentów, w którym zarejestrowano metryki	10	Nie.
metric_value	podwójny	Wartość metryki	0.97	Nie.

Udostępnianie dostępu użytkownikom

Domyślnie tylko administratorzy kont mają dostęp do schematów systemowych. Aby zapewnić dodatkowym użytkownikom dostęp do tabel, administrator konta musi przyznać im uprawnienia USE i SELECT w schemacie system.mlflow. . Zobacz uprawnienia Katalogu Unity i obiekty podlegające zabezpieczeniom.

Każdy użytkownik mający dostęp do tych tabel może wyświetlać metadane we wszystkich eksperymentach MLflow dla wszystkich obszarów roboczych na koncie. Aby skonfigurować dostęp do tabeli dla danej grupy, a nie poszczególnych użytkowników, zobacz Najlepsze rozwiązania dotyczące wykazu aparatu Unity.

Jeśli potrzebujesz bardziej szczegółowej kontroli niż przyznanie wszystkim użytkownikom dostępu do tabeli, możesz użyć widoków dynamicznych z kryteriami niestandardowymi, aby udzielić grupom określonego dostępu. Można na przykład utworzyć widok, który pokazuje tylko rekordy z określonego zestawu identyfikatorów eksperymentów. Po skonfigurowaniu widoku niestandardowego nadaj użytkownikom nazwę widoku, aby mogli wykonywać zapytania względem widoku dynamicznego, a nie bezpośrednio tabelę systemową.

Uwaga / Notatka

Nie można bezpośrednio zsynchronizować uprawnień eksperymentu MLflow z uprawnieniami wykazu aparatu Unity.

Przykładowe przypadki użycia metadanych MLflow

W poniższych sekcjach przedstawiono przykłady użycia tabel systemowych MLflow do odpowiadania na pytania dotyczące eksperymentów i przebiegów platformy MLflow.

Konfigurowanie alertu SQL pod kątem niskiej niezawodności eksperymentu

Korzystając z alertów SQL usługi Databricks (publiczna wersja zapoznawcza), możesz zaplanować regularne cykliczne zapytanie i otrzymywać powiadomienia, jeśli nie zostaną już spełnione pewne ograniczenia.

W tym przykładzie tworzony jest alert, który analizuje najczęściej uruchamiane eksperymenty w obszarze roboczym, aby określić, czy występują one w niskiej niezawodności i mogą wymagać szczególnej uwagi. Zapytanie używa runs_latest tabeli do obliczania przebiegów według eksperymentu, które są oznaczone jako zakończone, podzielone przez łączną liczbę przebiegów.

Uwaga / Notatka

Funkcja Alerty SQL jest obecnie dostępna w publicznej wersji zapoznawczej i można również używać starszych alertów .

1. Kliknij pozycję na pasku bocznym, a następnie kliknij pozycję Utwórz alert.

2. Skopiuj i wklej następujące zapytanie w edytorze zapytań.

    SELECT
      experiment_id,
      AVG(CASE WHEN status = 'FINISHED' THEN 1.0 ELSE 0.0 END) AS success_ratio,
      COUNT(status) AS run_count
    FROM system.mlflow.runs_latest
    WHERE status IS NOT NULL
    GROUP BY experiment_id
    ORDER BY run_count DESC
    LIMIT 20;
   

3. W polu Warunek ustaw warunki na MIN success_ratio < 0.9. Spowoduje to wyzwolenie alertu, jeśli którykolwiek z 20 najlepszych eksperymentów (według liczby przebiegów) ma współczynnik powodzenia mniejszy niż 90%.

Ponadto można przetestować warunek, ustawić harmonogram i skonfigurować powiadomienia. Aby uzyskać więcej informacji na temat konfigurowania alertu, zobacz Konfigurowanie alertu SQL. Poniżej przedstawiono przykładową konfigurację przy użyciu zapytania.

Przykładowe zapytania

Poniższe przykładowe zapytania umożliwiają uzyskanie informacji o działaniu platformy MLflow na koncie przy użyciu usługi Databricks SQL. Możesz również korzystać z narzędzi, takich jak notesy języka Python za pomocą platformy Spark.

Uzyskiwanie informacji o przebiegu z runs_latest

SELECT
  run_name,
  date(start_time) AS start_date,
  status,
  TIMESTAMPDIFF(MINUTE, start_time, end_time) AS run_length_minutes
FROM system.mlflow.runs_latest
WHERE
  experiment_id = :experiment_id
  AND run_id = :run_id
LIMIT 1

Spowoduje to zwrócenie informacji o danym przebiegu:

Uzyskiwanie informacji o eksperymencie i uruchamianiu z experiments_latest i runs_latest

SELECT
  runs.run_name,
  experiments.name,
  date(runs.start_time) AS start_date,
  runs.status,
  TIMESTAMPDIFF(MINUTE, runs.start_time, runs.end_time) AS run_length_minutes
FROM system.mlflow.runs_latest runs
  JOIN system.mlflow.experiments_latest experiments ON runs.experiment_id = experiments.experiment_id
  WHERE
    runs.experiment_id = :experiment_id
    AND runs.run_id = :run_id
LIMIT 1

Pobieranie statystyk podsumowania dla danego przebiegu run_metrics_history

SELECT
  metric_name,
  count(metric_time) AS num_data_points,
  ROUND(avg(metric_value), 1) AS avg,
  ROUND(max(metric_value), 1) AS max,
  ROUND(min(metric_value), 1) AS min,
  ROUND(PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_25,
  ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metric_value), 1) AS median,
  ROUND(PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_75
FROM
  system.mlflow.run_metrics_history
WHERE
  run_id = :run_id
GROUP BY
  metric_name, run_id
LIMIT 100

Spowoduje to zwrócenie podsumowania metryk dla danego run_idelementu :

Pulpity nawigacyjne dla eksperymentów i przebiegów

Pulpity nawigacyjne można tworzyć na podstawie danych tabel systemowych MLflow, aby analizować eksperymenty MLflow i uruchamiać je z całego obszaru roboczego.

Aby uzyskać więcej informacji, zobacz Build dashboards with MLflow metadata in system tables (Tworzenie pulpitów nawigacyjnych za pomocą metadanych platformy MLflow w tabelach systemowych)