Sdílet prostřednictvím

Nastavení trénování AutoML pro tabulková data pomocí azure Machine Learning CLI a sady Python SDK

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

V tomto článku se dozvíte, jak nastavit trénovací úlohu AutoML pomocí sady Azure Machine Learning Python SDK v2. AutoML za vás vybere algoritmus a hyperparametry a vygeneruje model připravený k nasazení. Tento článek obsahuje podrobnosti o různých možnostech, které můžete použít ke konfiguraci experimentů AutoML.

Pokud dáváte přednost prostředí bez kódu, můžete také nastavit trénování AutoML bez kódu pro tabulková data pomocí uživatelského rozhraní studia.

Požadavky

Pokud chcete použít informace o sadě SDK , nainstalujte sadu Azure Machine Learning SDK v2 pro Python.

Sadu SDK můžete nainstalovat dvěma způsoby:

  • Vytvořte výpočetní instanci, která už obsahuje nejnovější sadu Azure Machine Learning Python SDK a je nakonfigurovaná pro pracovní postupy ML. Další informace najdete v tématu Vytvoření výpočetní instance služby Azure Machine Learning.
  • Nainstalujte sadu SDK na místní počítač.

Nastavení pracovního prostoru

Pokud se chcete připojit k pracovnímu prostoru, musíte zadat předplatné, skupinu prostředků a pracovní prostor.

Podrobnosti pracovního prostoru se připojují k pracovnímu MLClientazure.ai.ml prostoru Služby Azure Machine Learning.

Následující příklad používá výchozí ověřování Azure s výchozí konfigurací pracovního prostoru nebo konfigurací ze config.json souboru ve struktuře složek. Pokud ho nenajdete config.json, musíte při vytváření MLClientručně zadat ID předplatného, skupinu prostředků a pracovní prostor .

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient

credential = DefaultAzureCredential()
ml_client = None
try:
    ml_client = MLClient.from_config(credential)
except Exception as ex:
    print(ex)
    # Enter details of your Azure Machine Learning workspace
    subscription_id = "<SUBSCRIPTION_ID>"
    resource_group = "<RESOURCE_GROUP>"
    workspace = "<AZUREML_WORKSPACE_NAME>"
    ml_client = MLClient(credential, subscription_id, resource_group, workspace)

Zadání zdroje a formátu dat

Pokud chcete poskytnout trénovací data v sadě SDK v2, musíte je nahrát do cloudu prostřednictvím tabulky MLTable.

Požadavky na načtení dat do tabulky MLTable:

  • Data musí být v tabulkové podobě.
  • Hodnota, která se má předpovědět, cílový sloupec, musí být v datech.

Trénovací data musí být přístupná ze vzdáleného výpočetního prostředí. AutoML v2 (Python SDK a CLI/YAML) přijímá datové prostředky MLTable (v2). Kvůli zpětné kompatibilitě podporuje tabulkové datové sady verze 1 z verze 1 zaregistrovanou tabulkovou datovou sadu prostřednictvím stejných vlastností vstupní datové sady. Doporučujeme používat tabulku MLTable, která je dostupná ve verzi 2. V tomto příkladu jsou data uložena v místní cestě ./train_data/bank_marketing_train_data.csv.

Tabulku MLTable můžete vytvořit pomocí sady MLtable Python SDK , jak je znázorněno v následujícím příkladu:

import mltable

paths = [
    {'file': './train_data/bank_marketing_train_data.csv'}
]

train_table = mltable.from_delimited_files(paths)
train_table.save('./train_data')

Tento kód vytvoří nový soubor ./train_data/MLTable, který obsahuje formát souboru a pokyny k načtení.

Složka ./train_data teď obsahuje definiční soubor MLTable a datový soubor bank_marketing_train_data.csv.

Další informace o tabulce MLTable najdete v tématu Práce s tabulkami ve službě Azure Machine Learning.

Trénování, ověřování a testování dat

Můžete zadat samostatná trénovací data a sady ověřovacích dat. Do parametru training_data ve funkci továrny úlohy AutoML musíte zadat trénovací data.

Pokud explicitně nezadáte validation_data parametr nebo n_cross_validation parametr, AutoML použije výchozí techniky k určení způsobu ověřování. Toto určení závisí na počtu řádků v datové sadě přiřazené k vašemu training_data parametru.

Velikost trénovacích dat Technika ověřování
Větší než 20 000 řádků AutoML použije rozdělení trénovacích a ověřovacích dat. Výchozí hodnota má jako ověřovací sadu 10% počáteční trénovací sady dat. AutoML pak použije ověřovací sadu pro výpočet metrik.
Menší než nebo rovno 20 000 řádků AutoML používá přístup křížového ověřování. Výchozí počet záhybů závisí na počtu řádků.
Pokud je datová sada menší než 1 000 řádků, AutoML používá deset složených řádků.
Pokud jsou řádky rovny nebo mezi 1 000 a 20 000, použije AutoML tři záhyby.

Výpočetní prostředí pro spuštění experimentu

Úlohy AutoML se sadou Python SDK v2 (nebo CLI v2) se v současné době podporují jenom ve vzdáleném výpočetním clusteru nebo výpočetní instanci služby Azure Machine Learning. Další informace o vytváření výpočetních prostředků pomocí PythonU SDKv2 nebo CLIv2 najdete v tématu trénování modelů pomocí azure Machine Learning CLI, sady SDK a rozhraní REST API.

Konfigurace nastavení experimentu

Ke konfiguraci experimentu AutoML můžete použít několik možností. Tyto parametry konfigurace jsou nastavené ve vaší metodě úlohy. Pomocí nastavení a nastavení můžete také nastavit nastavení trénování úloh a ukončit kritériatraining

Následující příklad ukazuje požadované parametry pro úlohu klasifikace, která určuje přesnost jako primární metriku a pět křížových ověření přeložení.

from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import automl, Input

# note that this is a code snippet -- you might have to modify the variable values to run it successfully

# make an Input object for the training data
my_training_data_input = Input(
    type=AssetTypes.MLTABLE, path="./data/training-mltable-folder"
)

# configure the classification job
classification_job = automl.classification(
    compute=my_compute_name,
    experiment_name=my_exp_name,
    training_data=my_training_data_input,
    target_column_name="y",
    primary_metric="accuracy",
    n_cross_validations=5,
    enable_model_explainability=True,
    tags={"my_custom_tag": "My custom value"}
)

# Limits are all optional
classification_job.set_limits(
    timeout_minutes=600, 
    trial_timeout_minutes=20, 
    max_trials=5,
    enable_early_termination=True,
)

# Training properties are optional
classification_job.set_training(
    blocked_training_algorithms=["logistic_regression"], 
    enable_onnx_compatible_models=True
)

Výběr typu úlohy strojového učení

Než budete moct odeslat úlohu AutoML, určete typ problému strojového učení, který chcete vyřešit. Tento problém určuje, jakou funkci vaše úloha používá a jaké algoritmy modelu použije.

AutoML podporuje různé typy úloh:

  • Tabulkové úlohy založené na datech

    • klasifikace
    • regrese
    • prognózování

  • Úlohy počítačového zpracování obrazu, včetně

    • Klasifikace obrázků
    • Rozpoznávání objektů

  • Úlohy zpracování přirozeného jazyka, včetně

    • Klasifikace textu
    • Rozpoznávání entit

Další informace najdete v tématu Typy úkolů. Další informace o nastavení úloh prognózování najdete v tématu Nastavení AutoML pro trénování modelu prognózování časových řad.

Podporované algoritmy

AutoML během procesu automatizace a ladění zkouší různé modely a algoritmy. Jako uživatel nemusíte zadávat algoritmus.

Metoda úlohy určuje seznam algoritmů nebo modelů, které se mají použít. Chcete-li dále upravit iterace s dostupnými modely, které chcete zahrnout nebo vyloučit, použijte allowed_training_algorithms parametry blocked_training_algorithms v training konfiguraci úlohy.

V následující tabulce prozkoumejte podporované algoritmy na úlohu strojového učení.

Klasifikace Regrese Prognózování časové řady
Logistická regrese* Elastic Net* AutoARIMA
Light GBM* Light GBM* Prorok
Zvýšení přechodu* Zvýšení přechodu* Elastic Net
Rozhodovací strom* Rozhodovací strom* Light GBM
K Nejbližší sousedé* K Nejbližší sousedé* Nejbližší sousedé
Lineární SVC* Laso LARS* Rozhodovací strom
Klasifikace vektorů podpory (SVC)* Stochastický gradientní sestup (SGD)* Arimax
Náhodná doménová struktura* Náhodná doménová struktura Laso LARS
Extrémně randomizované stromy* Extrémně randomizované stromy* Extrémně randomizované stromy*
Xgboost* Xgboost* Náhodná doménová struktura
Naive Bayes* Xgboost TCNForecaster
Stochastický gradientní sestup (SGD)* Stochastický gradientní sestup (SGD) Zvýšení přechodu
ExponentialSmoothing
Sezónnínaive
Průměr
Naivní
Sezónní průměr

S jinými algoritmy:

Například poznámkové bloky jednotlivých typů úloh najdete v tématu automl-standalone-jobs.

Primární metrika

Parametr primary_metric určuje metriku, která se má použít během trénování modelu pro optimalizaci. Typ úkolu, který zvolíte, určuje metriky, které můžete vybrat.

Výběr primární metriky pro optimalizaci AutoML závisí na mnoha faktorech. Doporučujeme, abyste zvolili metriku, která nejlépe reprezentuje vaše obchodní potřeby. Pak zvažte, jestli je metrika vhodná pro váš profil datové sady, včetně velikosti dat, rozsahu a distribuce tříd. Následující části shrnují doporučené primární metriky na základě typu úlohy a obchodního scénáře.

Informace o konkrétních definicích těchto metrik najdete v tématu vyhodnocení výsledků experimentu AutoML.

Metriky pro scénáře klasifikace s více třídami

Tyto metriky platí pro všechny scénáře klasifikace, včetně tabulkových dat, obrázků nebo počítačového zpracování obrazu a textu pro zpracování přirozeného jazyka (NLP-Text).

Metriky závislé na prahových hodnotách, jako accuracyje například , recall_score_weightednorm_macro_recalla precision_score_weighted nemusí se optimalizovat ani pro datové sady, které jsou malé, mají nerovnoměrnou distribuci velkých tříd (nevyváženost tříd) nebo pokud je očekávaná hodnota metriky velmi blízko 0,0 nebo 1,0. V takových případech AUC_weighted může být lepší volbou pro primární metriku. Po dokončení AutoML můžete zvolit vítězný model na základě metriky, která nejlépe vyhovuje vašim obchodním potřebám.

Metrika Příklady případů použití
accuracy Klasifikace obrázků, analýza mínění, predikce četnosti změn
AUC_weighted Detekce podvodů, klasifikace obrázků, detekce anomálií / detekce spamu
average_precision_score_weighted Analýza postoje
norm_macro_recall Předpověď četnosti změn
precision_score_weighted

Metriky pro scénáře klasifikace s více popisky

U více popisků klasifikace textu je aktuálně podporována pouze primární metrika.

U více popisků klasifikace obrázků jsou v výčtu ClassificationMultilabelPrimaryMetrics definované primární metriky.

Metriky pro scénáře rozpoznávání pojmenovaných entit NLP

U textu NLP s názvem Rozpoznávání entit (NER) je aktuálně "Přesnost" jedinou podporovanou primární metrikou.

Metriky pro scénáře regrese

r2_score, normalized_mean_absolute_errora normalized_root_mean_squared_error všechny se snaží minimalizovat chyby predikce. r2_score a normalized_root_mean_squared_error zároveň minimalizují průměrné kvadratické chyby a normalized_mean_absolute_error minimalizují průměrnou absolutní hodnotu chyb. Absolutní hodnota zpracovává chyby ve všech velikostech podobně a čtvercové chyby mají mnohem větší trest za chyby s většími absolutními hodnotami. V závislosti na tom, jestli by větší chyby měly být potrestány více nebo ne, můžete zvolit optimalizaci kvadratické chyby nebo absolutní chyby.

Hlavním rozdílem mezi r2_score a normalized_root_mean_squared_error je to, jak jsou normalizovány a jejich významy. normalized_root_mean_squared_error je odmocněná střední kvadratická chyba normalizována podle rozsahu a lze ji interpretovat jako průměrnou velikost chyby pro předpověď. r2_score je střední kvadratická chyba normalizována odhadem odchylky dat. Jedná se o poměr variant, který model dokáže zachytit.

Poznámka:

r2_score a normalized_root_mean_squared_error také se chovají podobně jako primární metriky. Pokud se použije pevná ověřovací sada, tyto dvě metriky optimalizují stejný cíl, střední kvadratická chyba a optimalizují se stejným modelem. Pokud je k dispozici pouze trénovací sada a použije se křížové ověření, bude se mírně lišit, protože normalizátor normalized_root_mean_squared_error pro je pevně nastaven jako rozsah trénovací sady, ale normalizátor pro r2_score každé záhyby se bude lišit, protože se jedná o odchylku pro každou složenou záhybu.

Pokud je pořadí místo přesné hodnoty zajímavé, spearman_correlation může být lepší volbou. Měří korelaci pořadí mezi skutečnými hodnotami a předpověďmi.

AutoML v současné době nepodporuje žádné primární metriky, které měří relativní rozdíl mezi predikcemi a pozorováními. Metriky r2_scorea normalized_mean_absolute_errornormalized_root_mean_squared_error všechny míry absolutního rozdílu. Pokud se například předpověď liší od pozorování o 10 jednotek, tyto metriky počítají stejnou hodnotu, pokud je pozorování 20 jednotek nebo 20 000 jednotek. Naproti tomu procentuální rozdíl, což je relativní míra, poskytuje chyby 50 % a 0,05 % v uvedeném pořadí. Pokud chcete optimalizovat relativní rozdíl, můžete spustit AutoML s podporovanou primární metrikou a pak vybrat model s nejlepším mean_absolute_percentage_error nebo root_mean_squared_log_error. Tyto metriky nejsou definovány, pokud jsou jakékoli hodnoty pozorování nulové, takže nemusí být vždy dobrou volbou.

Metrika Příklady případů použití
spearman_correlation
normalized_root_mean_squared_error Predikce ceny (house/product/tip), predikce skóre recenze
r2_score Zpoždění letecké společnosti, odhad platu, doba řešení chyb
normalized_mean_absolute_error

Metriky pro scénáře prognózování časových řad

Doporučení se podobají doporučením pro regresní scénáře.

Metrika Příklady případů použití
normalized_root_mean_squared_error Predikce cen (prognózování), optimalizace zásob, prognóza poptávky
r2_score Predikce cen (prognózování), optimalizace zásob, prognóza poptávky
normalized_mean_absolute_error

Metriky pro scénáře detekce objektů obrázků

Pro rozpoznávání objektů obrázků jsou v výčtu ObjectDetectionPrimaryMetrics definovány primární metriky.

Metriky pro scénáře segmentace instance image

Pro scénáře segmentace instancí imagí jsou v výčtu InstanceSegmentationPrimaryMetrics definované primární metriky.

Featurizace dat

V každém experimentu AutoML se vaše data automaticky transformují na čísla a vektory čísel. Data se také škálují a normalizují, aby pomohly algoritmům citlivým na funkce, které jsou na různých škálách. Tyto transformace dat se nazývají featurizace.

Poznámka:

Kroky featurizace AutoML, jako je normalizace funkcí, zpracování chybějících dat a převod textu na číselnou hodnotu, se stanou součástí podkladového modelu. Při použití modelu pro předpovědi se na vstupní data automaticky použijí stejné kroky featurizace použité během trénování.

Při konfiguraci úloh AutoML můžete nastavení povolit nebo zakázat featurization .

Následující tabulka uvádí přijatá nastavení pro featurizaci.

Konfigurace featurizace Popis
"mode": 'auto' Označuje, že v rámci předběžného zpracování se kroky ochrany dat a featurizace provádějí automaticky. Tato hodnota je výchozím nastavením.
"mode": 'off' Označuje, že krok featurizace by neměl být proveden automaticky.
"mode": 'custom' Označuje, že byste měli použít přizpůsobený krok featurizace.

Následující kód ukazuje, jak v tomto případě poskytnout vlastní featurizaci pro regresní úlohu.

from azure.ai.ml.automl import ColumnTransformer

transformer_params = {
    "imputer": [
        ColumnTransformer(fields=["CACH"], parameters={"strategy": "most_frequent"}),
        ColumnTransformer(fields=["PRP"], parameters={"strategy": "most_frequent"}),
    ],
}
regression_job.set_featurization(
    mode="custom",
    transformer_params=transformer_params,
    blocked_transformers=["LabelEncoding"],
    column_name_and_types={"CHMIN": "Categorical"},
)

Kritéria ukončení

Před dokončením úlohy můžete ve set_limits() funkci definovat několik možností pro ukončení experimentu.

Kritéria popis
Žádná kritéria Pokud nedefinujete žádné výstupní parametry, experiment pokračuje, dokud se neprovedou žádné další pokroky v primární metrice.
timeout Definuje, jak dlouho má experiment v minutách běžet. Pokud není zadaný, celkový časový limit výchozí úlohy je šest dnů (8 640 minut). Pokud chcete zadat časový limit menší než nebo rovnou 1 hodině (60 minut), ujistěte se, že velikost datové sady není větší než 10 000 000 (sloupec s časy řádků) nebo chybové výsledky.

Tento časový limit zahrnuje spuštění nastavení, featurizace a trénování, ale nezahrnuje spuštění pro přeskakování a vysvětlení modelu na konci procesu, protože tyto akce musí proběhnout po dokončení všech pokusů (dětských úloh).
trial_timeout_minutes Maximální doba v minutách, po kterou může každá zkušební verze (podřízená úloha) běžet před ukončením. Pokud není zadáno, AutoML použije hodnotu 1 měsíc nebo 43200 minut.
enable_early_termination Jestli se má úloha ukončit, pokud se skóre v krátkodobém horizontu nezlepšuje.
max_trials Maximální počet pokusů/spuštění každého z nich s jinou kombinací algoritmu a hyper-parametrů, které se mají vyzkoušet během úlohy. Pokud není zadáno, výchozí hodnota je 1 000 pokusů. Pokud použijete enable_early_termination, může AutoML použít méně zkušebních verzí.
max_concurrent_trials Maximální počet pokusů (podřízených úloh), které by běžely paralelně. Je vhodné toto číslo shodovat s počtem uzlů, které cluster používá.

Spuštění experimentu

Odešlete experiment, aby se spustil a vygeneroval model.

Poznámka:

Pokud spustíte experiment se stejným nastavením konfigurace a primární metrikou vícekrát, může se zobrazit variace v konečném skóre metrik jednotlivých experimentů a vygenerovaných modelech. Algoritmy, které AutoML využívá, mají vlastní náhodnost, která může způsobit mírné odchylky ve výstupu modelů experimentem a konečné skóre metrik doporučeného modelu, jako je přesnost. Můžete také zobrazit výsledky se stejným názvem modelu, ale používají se různé hyperparametry.

Upozorňující

Pokud jste v pracovním prostoru nastavili pravidla v bráně firewall nebo skupině zabezpečení sítě, ověřte, že jsou požadovaná oprávnění udělena příchozím a odchozím síťovým přenosům definovaným v konfiguraci příchozího a odchozího síťového provozu.

MLClient Po vytvoření v požadavcích můžete v pracovním prostoru spustit následující příkaz.


# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

# Get a URL for the status of the job
returned_job.services["Studio"].endpoint

Více podřízených spuštění v clusterech

Podřízené spuštění experimentu AutoML můžete spustit v clusteru, na kterém už běží jiný experiment. Načasování závisí na tom, kolik uzlů cluster má a jestli jsou tyto uzly k dispozici ke spuštění jiného experimentu.

Každý uzel v clusteru funguje jako jednotlivý virtuální počítač, který dokáže provést jeden trénovací běh. Pro AutoML to znamená podřízené spuštění. Pokud jsou všechny uzly zaneprázdněné, AutoML zařadí nový experiment do fronty. Pokud jsou k dispozici bezplatné uzly, spustí nový experiment podřízená spuštění paralelně v dostupných uzlech nebo virtuálních počítačích.

Pokud chcete pomoct se správou podřízených spuštění a jejich spuštěním, doporučujeme vytvořit vyhrazený cluster na experiment a shodovat počet max_concurrent_iterations experimentů s počtem uzlů v clusteru. Tímto způsobem použijete všechny uzly clusteru současně s počtem souběžných podřízených spuštění a iterací, které chcete.

Nakonfigurujte max_concurrent_iterations v limits konfiguraci. Pokud není nakonfigurovaná, je ve výchozím nastavení povolená pouze jedna souběžná podřízená spuštění nebo iterace na experiment. U výpočetní instance můžete nastavit max_concurrent_trials stejnou hodnotu jako počet jader na virtuálním počítači výpočetní instance.

Prozkoumání modelů a metrik

AutoML nabízí možnosti, jak monitorovat a vyhodnocovat výsledky trénování.

V uživatelském rozhraní Azure Machine Learning na stránce modelu můžete také zobrazit hyperparametry použité při trénování konkrétního modelu a také zobrazit a přizpůsobit použitý trénovací kód interního modelu.

Registrace a nasazení modelů

Jakmile model otestujete a potvrdíte, že ho chcete použít v produkčním prostředí, můžete ho zaregistrovat pro pozdější použití.

Návod

U registrovaných modelů můžete použít nasazení jedním kliknutím pomocí studio Azure Machine Learning. Podívejte se na nasazení modelu.

Použití AutoML v kanálech

Pokud chcete ve svých pracovních postupech operací strojového učení používat AutoML, můžete do kanálů Služby Azure Machine Learning přidat kroky úlohy AutoML. Tento přístup umožňuje automatizovat celý pracovní postup propojením skriptů pro přípravu dat do AutoML. Pak zaregistrujte a ověřte výsledný nejlepší model.

Tento kód je ukázkový kanál s komponentou klasifikace AutoML a komponentou příkazu, která zobrazuje výsledný výstup. Kód odkazuje na vstupy (trénovací a ověřovací data) a výstupy (nejlepší model) v různých krocích.

# Define pipeline
@pipeline(
    description="AutoML Classification Pipeline",
    )
def automl_classification(
    classification_train_data,
    classification_validation_data
):
    # define the automl classification task with automl function
    classification_node = classification(
        training_data=classification_train_data,
        validation_data=classification_validation_data,
        target_column_name="y",
        primary_metric="accuracy",
        # currently need to specify outputs "mlflow_model" explictly to reference it in following nodes 
        outputs={"best_model": Output(type="mlflow_model")},
    )
    # set limits and training
    classification_node.set_limits(max_trials=1)
    classification_node.set_training(
        enable_stack_ensemble=False,
        enable_vote_ensemble=False
    )

    command_func = command(
        inputs=dict(
            automl_output=Input(type="mlflow_model")
        ),
        command="ls ${{inputs.automl_output}}",
        environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:latest"
    )
    show_output = command_func(automl_output=classification_node.outputs.best_model)


pipeline_job = automl_classification(
    classification_train_data=Input(path="./training-mltable-folder/", type="mltable"),
    classification_validation_data=Input(path="./validation-mltable-folder/", type="mltable"),
)

# set pipeline level compute
pipeline_job.settings.default_compute = compute_name

# submit the pipeline job
returned_pipeline_job = ml_client.jobs.create_or_update(
    pipeline_job,
    experiment_name=experiment_name
)
returned_pipeline_job

# ...
# Note that this is a snippet from the bankmarketing example you can find in our examples repo -> https://github.com/Azure/azureml-examples/tree/main/sdk/python/jobs/pipelines/1h_automl_in_pipeline/automl-classification-bankmarketing-in-pipeline

Další příklady, jak do kanálů zahrnout AutoML, najdete v úložišti příkladů.

Použití AutoML ve velkém měřítku: distribuované trénování

V případě velkých datových scénářů podporuje AutoML distribuované trénování pro omezenou sadu modelů:

Distribuovaný algoritmus Podporované úkoly Limit velikosti dat (přibližný)
LightGBM Klasifikace, regrese 1 TB
TCNForecaster Prognostika 200 GB

Distribuované trénovací algoritmy automaticky rozdělují a distribuují vaše data napříč několika výpočetními uzly pro trénování modelu.

Poznámka:

V distribuovaném trénovacím režimu se v současné době nepodporují křížové ověřování, modely souborů, podpora ONNX a generování kódu. AutoML také může provádět volby, jako je omezení dostupných featurizátorů a dat dílčího vzorkování používaných k ověření, vysvětlitelnosti a vyhodnocení modelu.

Distribuované trénování pro klasifikaci a regresi

Chcete-li použít distribuované trénování pro klasifikaci nebo regresi, nastavte training_mode a max_nodes vlastnosti objektu úlohy.

Vlastnost Popis
tréninkový režim Označuje režim trénování: distributed nebo non_distributed. Výchozí hodnota non_distributedje .
max_nodes Početuzlůch Toto nastavení musí být větší nebo rovno 4.

Následující ukázka kódu ukazuje příklad těchto nastavení pro úlohu klasifikace:

from azure.ai.ml.constants import TabularTrainingMode

# Set the training mode to distributed
classification_job.set_training(
    allowed_training_algorithms=["LightGBM"],
    training_mode=TabularTrainingMode.DISTRIBUTED
)

# Distribute training across 4 nodes for each trial
classification_job.set_limits(
    max_nodes=4,
    # other limit settings
)

Poznámka:

Distribuované trénování pro úlohy klasifikace a regrese v současné době nepodporuje více souběžných pokusů. Zkušební verze modelu běží postupně s každou zkušební verzí pomocí max_nodes uzlů. Nastavení limitu max_concurrent_trials je aktuálně ignorováno.

Distribuované trénování pro prognózování

Informace o tom, jak distribuované trénování funguje pro úlohy prognózování, najdete v tématu prognózování ve velkém měřítku. Pokud chcete použít distribuované trénování pro prognózování, musíte nastavit training_modeenable_dnn_trainingmax_nodes, a volitelně max_concurrent_trials vlastnosti objektu úlohy.

Vlastnost Popis
tréninkový režim Označuje režim trénování; distributed nebo non_distributed. Výchozí hodnota non_distributedje .
povolit_trénování_dnn Označení příznakem pro povolení modelů hluboké neurální sítě
maximální_souběžné_pokusy Tato hodnota je maximální počet zkušebních modelů, které se mají trénovat paralelně. Výchozí hodnota je 1.
max_nodes Celkový počet uzlů, které se mají použít pro trénování. Toto nastavení musí být větší nebo rovno 2. U úloh prognózování se každý zkušební model vytrénuje pomocí uzlů $\text{max}\left(2; \text{floor}( \text{max_nodes} / \text{max_concurrent_trials}) \right)$.

Následující ukázka kódu ukazuje příklad těchto nastavení pro úlohu prognózování:

from azure.ai.ml.constants import TabularTrainingMode

# Set the training mode to distributed
forecasting_job.set_training(
    enable_dnn_training=True,
    allowed_training_algorithms=["TCNForecaster"],
    training_mode=TabularTrainingMode.DISTRIBUTED
)

# Distribute training across 4 nodes
# Train 2 trial models in parallel => 2 nodes per trial
forecasting_job.set_limits(
    max_concurrent_trials=2,
    max_nodes=4,
    # other limit settings
)

Ukázky úplného konfiguračního kódu najdete v předchozích částech o konfiguraci a odeslání úlohy.

Související obsah

  • Last updated on