Uspořádání trénovacích běhů pomocí experimentů MLflow

Experimenty jsou jednotky organizace pro vaše běhy MLflow, včetně trasování agentů, vyhodnocení aplikací LLM a trénovacích běhů modelu. Existují dva typy experimentů: pracovní prostor a poznámkový blok.

• Experiment pracovního prostoru můžete vytvořit z uživatelského rozhraní Databricks Mosaic AI nebo rozhraní API MLflow. Experimenty pracovního prostoru nejsou přidružené k žádnému notebooku a jakýkoli notebook může zapisovat spuštění do těchto experimentů pomocí ID experimentu nebo názvu experimentu.
• Experiment poznámkového bloku je přidružený ke konkrétnímu poznámkovému bloku. Azure Databricks automaticky vytvoří experiment poznámkového bloku, pokud při spuštění běhu pomocí mlflow.start_run() neexistuje žádný aktivní experiment.

Pokud chcete zobrazit všechny experimenty v pracovním prostoru, ke kterému máte přístup, vyberte na bočním panelu Machine Learning > Experimenty.

Vytvoření experimentu pracovního prostoru

Tato část popisuje, jak vytvořit experiment pracovního prostoru pomocí uživatelského rozhraní Azure Databricks. Experiment pracovního prostoru můžete vytvořit přímo z pracovního prostoru nebo ze stránky Experimenty.

Můžete také použít API MLflow nebo provider Databricks Terraform s databricks_mlflow_experiment.

Pokyny k protokolování spuštění a modelů do experimentů pracovního prostoru najdete v tématu Protokolování spuštění a modelů k experimentu.

Vytvoření experimentu z pracovního prostoru

1. Na bočním panelu klikněte na Pracovní prostor.

2. Přejděte do složky, ve které chcete experiment vytvořit.

3. Klikněte pravým tlačítkem na složku a vyberte Vytvořit experiment > MLflow.

4. V dialogovém okně Vytvořit experiment MLflow zadejte název experimentu a volitelné umístění artefaktu. Pokud nezadáte umístění artefaktů, artefakty se ukládají v úložišti artefaktů spravovaných MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   U pracovních prostorů povolených pro katalog Unity můžete také ukládat artefakty ve svazku katalogu Unity. Pokud chcete ukládat artefakty ve vlastním cloudovém úložišti, vytvořte externí svazek katalogu Unity.

   Pokud chcete uložit artefakty ve svazku katalogu Unity, zadejte cestu ke svazku formuláře dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path jako umístění artefaktu experimentu MLflow, a to buď v uživatelském rozhraní, nebo jak je znázorněno v následujícím kódu:

   import mlflow # Storing artifacts in a volume requires MLflow 2.15.0 or above
   
   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}" # can be a managed or external volume
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)
   

   Pokud váš pracovní prostor není povolený pro katalog Unity nebo nemáte přístup k MLflow 2.15.0 nebo vyšší, zadejte cestu v tomto formátu: dbfs:/path/to/artifacts.

   Databricks doporučuje pro úložiště artefaktů použít svazek katalogu Unity. Pokud není vhodný ani svazek katalogu Unity ani DBFS, můžete artefakty ukládat také přímo do služby Azure Blob Storage (nedoporučuje se). Pokud chcete ukládat artefakty ve službě Azure Blob Storage, zadejte identifikátor URI formuláře wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Artefakty uložené ve službě Azure Blob Storage se nezobrazují v uživatelském rozhraní MLflow; musíte je stáhnout pomocí klienta úložiště objektů blob.

   Poznámka:

   Pokud artefakt uložíte do jiného umístění než svazky DBFS spravovaného MLflow (výchozí) nebo Unity Catalog, artefakt se nezobrazí v uživatelském rozhraní MLflow. Modely uložené v jiných umístěních, než jsou tyto, nelze zaregistrovat v registru modelů.

5. Klikněte na Vytvořit. Zobrazí se stránka s podrobnostmi o experimentu pro nový experiment.

6. Pokud chcete protokolovat spuštění do tohoto experimentu, zavolejte mlflow.set_experiment() s cestou experimentu. Pokud chcete zobrazit cestu experimentu, klikněte na ikonu informací napravo od názvu experimentu. Podrobnosti a ukázkový poznámkový blok najdete v části Záznam běhů a modelů do experimentu.

Vytvoření experimentu ze stránky Experimenty

Pokud chcete vytvořit doladění základního modelu, AutoML nebo vlastní experiment, klikněte na Experimenty nebo vyberte Nový Experiment na levém postranním panelu.

V horní části stránky vyberte jednu z následujících možností konfigurace experimentu:

• základní model jemné ladění. Objeví se dialogové okno Foundation Model Fine-tuning. Podrobnosti najdete v tématu Vytvoření tréninkového běhu pomocí uživatelského rozhraní pro jemné ladění základního modelu.
• prognózování. Zobrazí se dialogové okno Konfigurace experimentu prognózování. Podrobnosti najdete v tématu Konfigurace experimentu AutoML.
• Klasifikace . Zobrazí se dialogové okno Konfigurovat experiment klasifikace. Podrobnosti najdete v tématu Nastavení klasifikačního experimentu s uživatelským rozhraním.
• regrese. Zobrazí se dialogové okno Konfigurovat experiment klasifikace. Podrobnosti najdete v tématu Nastavení regresního experimentu s uživatelským rozhraním.
• vlastní. Zobrazí se dialogové okno Vytvořit experiment MLflow. Podrobnosti najdete v kroku 4 v Vytvoření experimentu z pracovního prostoru.

vytvoření experimentu poznámkového bloku

Když použijete příkaz mlflow.start_run() v poznámkovém bloku, běh zaznamenává metriky a parametry do aktivního experimentu. Pokud není žádný experiment aktivní, Azure Databricks vytvoří experiment poznámkového bloku. Experiment na notebooku má stejný název a ID jako odpovídající notebook. ID poznámkového bloku je číselný identifikátor na konci adresy URL poznámkového bloku a ID.

Poznámka:

Uživatelé, kteří používají MLflow na výpočetních prostředcích s vyhrazeným přístupem ke skupině , musí ověřit, že má skupina oprávnění k zápisu do adresáře, ve kterém se nachází poznámkový blok, nebo použít mlflow.set_tracking_uri("<path>") k zadání složky, do které se má MLflow zapisovat.

Alternativně můžete předat cestu pracovního prostoru Azure Databricks k existujícímu poznámkovému bloku v mlflow.set_experiment() a vytvořit experiment v poznámkovém bloku.

Pokyny k protokolování běhů do experimentů v poznámkovém bloku najdete v tématu Protokolování běhů a modelů do experimentu.

Poznámka:

Pokud odstraníte experiment poznámkového bloku pomocí API (například MlflowClient.tracking.delete_experiment() v Pythonu), poznámkový blok je přesunut do složky Koš.

Zobrazení experimentů

Každý experiment, ke kterému máte přístup, se zobrazí na stránce experimentů. Na této stránce můžete zobrazit libovolný experiment. Kliknutím na název experimentu zobrazíte stránku podrobností experimentu.

Další způsoby přístupu ke stránce podrobností experimentu:

• Z nabídky pracovního prostoru můžete přistoupit na stránku s podrobnostmi o experimentu pracovního prostoru.
• Můžete získat přístup ke stránce s podrobnostmi o experimentu poznámkového bloku přímo z poznámkového bloku.

Pokud chcete hledat experimenty, zadejte text do pole Filtrovat experimenty a stiskněte Enter nebo klikněte na ikonu lupy. Seznam experimentů se změní tak, aby zobrazoval pouze experimenty, které obsahují hledaný text ve sloupcích Název nebo Umístění .

Pro pokročilé použití můžete zadat vyhledávací dotaz pro tags.`mlflow.note.content`, aby se hledalo na základě sloupce Popis. Další podrobnosti o syntaxi najdete v tématu Experimenty hledání. Upozorňujeme, že na rozdíl od hledání názvu nebo umístění vyžaduje, abyste vyhledávání pomocí značek vytvořili ručně pomocí identifikátoru a srovnávacího dotazu. Nevrátí přímo všechny výsledky, které obsahují hledaný text.

Kliknutím na název libovolného experimentu v tabulce zobrazíte stránku s podrobnostmi o experimentu:

Na stránce s podrobnostmi experimentu jsou uvedeny všechna spuštění přidružená k experimentu. V tabulce můžete otevřít stránku spuštěného procesu pro jakýkoli proces přidružený k experimentu kliknutím na jeho Název spuštění. Sloupec Source poskytuje přístup k verzi poznámkového bloku, která vytvořila spuštění. Můžete také vyhledávat a filtrovat běhy podle metrik nebo nastavení parametrů.

Zobrazení experimentu pracovního prostoru

1. Na bočním panelu klikněte na Pracovní prostor.
2. Přejděte do složky obsahující experiment.
3. Klikněte na název experimentu.

Zobrazení experimentu poznámkového bloku

Na pravém bočním panelu poznámkového bloku klikněte na

Postranní panel Spuštění experimentů se zobrazí a ukáže souhrn každého spuštění spojeného s experimentem v poznámkovém bloku, včetně parametrů a metrik každého spuštění. V horní části bočního panelu je název experimentu, do kterého se poznámkový blok naposledy protokoloval (buď experiment poznámkového bloku, nebo experiment pracovního prostoru).

Na bočním panelu můžete přejít na stránku s podrobnostmi experimentu nebo přímo na konkrétní průběh.

• Pokud chcete experiment zobrazit, klikněte na napravo vedle Spuštění experimentu.
• Chcete-li zobrazit běh, klikněte na její název.

Správa experimentů

Oprávnění k experimentu, který vlastníte, můžete přejmenovat, odstranit nebo spravovat na stránce experimentů, na stránce s podrobnostmi o experimentunebo v nabídce pracovního prostoru.

Poznámka:

Oprávnění k experimentu MLflow, který byl vytvořený poznámkovým blokem ve složce Databricks Git, nemůžete přímo přejmenovat, odstranit ani spravovat. Tyto akce musíte provést na úrovni složky Git.

Přejmenování experimentu

Experiment, který vlastníte, můžete přejmenovat ze stránky Experimenty nebo ze stránky s podrobnostmi o daném experimentu.

• Na stránce Experimenty klikněte na Ve sloupci úplně vpravo klikněte na Přejmenovat.

• Na stránce podrobností experimentu klikněte na Vedle Oprávnění a potom klikněte na Přejmenovat.

Experiment ve workspace můžete přejmenovat v rámci workspace. Klikněte pravým tlačítkem myši na název experimentu a potom klikněte na Přejmenovat.

Získání ID experimentu a cesty k experimentu

Na stránce podrobností experimentu lze kliknutím na ikonu informací napravo od názvu experimentu získat cestu k experimentu poznámkového bloku. Zobrazí se vyskakovací poznámka, která ukazuje cestu k experimentu, ID experimentu a umístění artefaktu. ID experimentu můžete použít v příkazu MLflow set_experiment k nastavení aktivního experimentu MLflow.

V poznámkovém bloku můžete zkopírovat úplnou cestu experimentu kliknutím na Tato ikona se nachází na bočním panelu experimentu.

Odstranění experimentu poznámkového bloku

Experimenty poznámkových bloků jsou součástí poznámkového bloku a nelze je odstranit samostatně. Když odstraníte poznámkový blok, odstraní se přidružený experiment poznámkového bloku. Když odstraníte experiment poznámkového bloku pomocí uživatelského rozhraní, poznámkový blok se odstraní také.

Pokud chcete odstranit experimenty poznámkového bloku pomocí rozhraní API, použijte rozhraní API pracovního prostoru, abyste zajistili, že se poznámkový blok i experiment odstraní z pracovního prostoru.

Smazat experiment pracovního prostoru nebo experiment v poznámkovém bloku

Experiment, který vlastníte, můžete odstranit ze stránky experimentů nebo ze stránky s podrobnostmi experimentu.

Důležité

Když odstraníte experiment poznámkového bloku, poznámkový blok se odstraní také.

• Na stránce Experimenty klikněte na Ve sloupci úplně vpravo klikněte na odstranit.

• Na stránce podrobností experimentu klikněte na Vedle Oprávnění a poté klikněte na Odstranit.

Experiment můžete odstranit z pracovního prostoru. Klikněte pravým tlačítkem myši na název experimentu a potom klikněte na Přesunout do koše.

Změnit oprávnění pro experiment

Chcete-li změnit oprávnění pro experiment ze stránky podrobností experimentu, klikněte na Oprávnění.

Oprávnění pro experiment, který vlastníte, můžete změnit na stránce Experimenty . Klikněte na Ve sloupci úplně vpravo klikněte na tlačítko Oprávnění.

Informace o úrovních oprávnění experimentu najdete v tématu Seznamy ACL experimentu MLflow.

Kopírování experimentů mezi pracovními prostory

K migraci experimentů MLflow mezi pracovními prostory můžete použít komunitou řízený open-source projekt MLflow Export-Import.

Pomocí těchto nástrojů můžete:

• Sdílejte a spolupracujte s dalšími datovými vědci na stejném nebo jiném sledovacím serveru. Do pracovního prostoru můžete například naklonovat experiment od jiného uživatele.
• Zkopírujte experimenty MLflow a běhy z místního sledovacího serveru do pracovního prostoru Databricks.
• Zálohujte klíčové experimenty a modely do jiného pracovního prostoru Databricks.