Chainer Třída
Představuje odhadce pro trénování v experimentech Chaineru.
ZASTARALÉ. Použijte objekt s ScriptRunConfig vlastním definovaným prostředím nebo s jedním z kurátorovaných prostředí Azure ML Chainer. Úvod ke konfiguraci spuštění experimentu pomocí ScriptRunConfig najdete v tématu Konfigurace a odesílání trénovacích běhů.
Podporované verze: 5.1.0, 7.0.0
Inicializace nástroje chainer estimator.
- Dědičnost
-
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimatorChainer
Konstruktor
Chainer(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)Parametry
- compute_target
- AbstractComputeTarget nebo str
Cílový výpočetní objekt, kde bude probíhat trénování. Může to být buď objekt, nebo řetězec "local".
- vm_size
- str
Velikost virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Podporované hodnoty: Libovolná velikost virtuálního počítače Azure.
- vm_priority
- str
Priorita virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Pokud není zadaný, použije se "dedicated".
Podporované hodnoty: dedicated a lowpriority.
To se projeví pouze v vm_size param případě, že je ve vstupu zadána hodnota .
- script_params
- dict
Slovník argumentů příkazového řádku, který se má předat trénovacímu skriptu zadanému v entry_script.
- node_count
- int
Počet uzlů ve výpočetním cíli, které se používají k trénování. Pokud je větší než 1, spustí se distribuovaná úloha MPI. AmlCompute Pro distribuované úlohy se podporuje pouze cíl.
- process_count_per_node
- int
Počet procesů na uzel Pokud je větší než 1, spustí se distribuovaná úloha MPI. AmlCompute Pro distribuované úlohy se podporuje pouze cíl.
- distributed_backend
- str
Komunikační back-end pro distribuované trénování.
ZASTARALÉ. distributed_training Použijte parametr .
Podporované hodnoty: mpi.
'mpi': MPI/Horovod
Tento parametr je povinný, když node_count nebo process_count_per_node> 1.
Pokud node_count == 1 a process_count_per_node == 1, nebude použit žádný back-end, pokud není back-end explicitně nastaven. AmlCompute Distribuované trénování podporuje pouze cíl.
- distributed_training
- Mpi
Parametry pro spuštění distribuované trénovací úlohy
Pokud chcete spustit distribuovanou úlohu s back-endem MPI, zadejte pomocí objektu Mpiprocess_count_per_node.
- use_gpu
- bool
Určuje, jestli by prostředí pro spuštění experimentu mělo podporovat GPU.
Pokud je hodnota true, použije se v prostředí výchozí image Dockeru založená na GPU. Pokud je false, použije se image založená na procesoru. Výchozí image Dockeru (CPU nebo GPU) se použijí jenom v případě, že custom_docker_image parametr není nastavený. Toto nastavení se používá jenom v cílových výpočetních objektech s podporou Dockeru.
- use_docker
- bool
Určuje, jestli má být prostředí pro spuštění experimentu založené na Dockeru.
- custom_docker_base_image
- str
Vytvoří se název image Dockeru, ze které se image použije pro trénování.
ZASTARALÉ. custom_docker_image Použijte parametr .
Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
- custom_docker_image
- str
Vytvoří se název image Dockeru, ze které se image použije pro trénování. Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
- user_managed
- bool
Určuje, jestli Azure ML znovu použije existující prostředí Pythonu. Pokud je hodnota false, Azure ML vytvoří prostředí Pythonu na základě specifikace závislostí conda.
- conda_packages
- list
Seznam řetězců představujících balíčky conda, které se mají přidat do prostředí Pythonu pro experiment.
- pip_packages
- list
Seznam řetězců představujících balíčky pip, které se mají přidat do prostředí Pythonu pro experiment.
- conda_dependencies_file_path
- str
Relativní cesta k souboru yaml závislostí conda.
Pokud zadáte tento parametr, Azure ML nenainstaluje žádné balíčky související s architekturou.
ZASTARALÉ. conda_dependencies_file Použijte parametr .
- pip_requirements_file_path
- str
Relativní cesta k textovému souboru požadavků pip.
To lze zadat v kombinaci s parametrem pip_packages .
ZASTARALÉ. pip_requirements_file Použijte parametr .
- conda_dependencies_file
- str
Relativní cesta k souboru yaml závislostí conda. Pokud zadáte tento parametr, Azure ML nenainstaluje žádné balíčky související s architekturou.
- pip_requirements_file
- str
Relativní cesta k textovému souboru požadavků pip.
To lze zadat v kombinaci s parametrem pip_packages .
- environment_variables
- dict
Slovník názvů a hodnot proměnných prostředí. Tyto proměnné prostředí se nastavují v procesu, ve kterém se spouští uživatelský skript.
- environment_definition
- Environment
Definice prostředí experimentu Zahrnuje PythonSection, DockerSection a proměnné prostředí. Pomocí tohoto parametru lze nastavit jakoukoli možnost prostředí, která není přímo zpřístupněna prostřednictvím jiných parametrů pro konstrukci estimátoru. Pokud je tento parametr zadaný, bude mít přednost před ostatními parametry souvisejícími s prostředím, jako use_gpujsou , custom_docker_image, conda_packagesnebo pip_packages.
U neplatných kombinací budou hlášeny chyby.
- inputs
- list
Seznam DataReference objektů nebo DatasetConsumptionConfig , které se mají použít jako vstup.
- shm_size
- str
Velikost bloku sdílené paměti kontejneru Dockeru. Pokud není nastavená, použije se výchozí azureml.core.environment._DEFAULT_SHM_SIZE. Další informace najdete v referenčních informacích o spuštění Dockeru.
- resume_from
- DataPath
Cesta k datům obsahující kontrolní bod nebo soubory modelu, ze kterých chcete pokračovat v experimentu.
- max_run_duration_seconds
- int
Maximální povolený čas pro spuštění. Azure ML se pokusí automaticky zrušit spuštění, pokud trvá déle než tato hodnota.
- framework_version
- str
Verze Chaineru, která se má použít ke spuštění trénovacího kódu.
Chainer.get_supported_versions() vrátí seznam verzí podporovaných aktuální sadou SDK.
- compute_target
- AbstractComputeTarget nebo str
Cílový výpočetní objekt, kde bude probíhat trénování. Může to být buď objekt, nebo řetězec "local".
- vm_size
- str
Velikost virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Podporované hodnoty: Libovolná velikost virtuálního počítače Azure.
- vm_priority
- str
Priorita virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Pokud není zadaný, bude výchozí hodnota vyhrazená.
Podporované hodnoty: dedicated a lowpriority.
To se projeví pouze v případě, že je ve vstupu zadán parametr vm_size.
- script_params
- dict
Slovník argumentů příkazového řádku, který se má předat trénovacímu skriptu zadanému v entry_script.
- node_count
- int
Počet uzlů ve výpočetním cíli, které se používají k trénování. Pokud je větší než 1, spustí se distribuovaná úloha MPI. AmlCompute Pro distribuované úlohy se podporuje pouze cíl.
- process_count_per_node
- int
Počet procesů na uzel Pokud je větší než 1, spustí se distribuovaná úloha MPI. U distribuovaných úloh se podporuje pouze AmlCompute cílový cílový výpočetní cíl.
- distributed_backend
- str
Komunikační back-end pro distribuované trénování.
ZASTARALÉ. distributed_training Použijte parametr .
Podporované hodnoty: mpi.
"mpi": MPI/Horovod
Tento parametr je povinný, pokud node_count nebo process_count_per_node> 1.
Pokud node_count je == 1 a process_count_per_node == 1, nebude použit žádný back-end, pokud není back-end explicitně nastaven. AmlCompute Pro distribuované trénování je podporován pouze cíl.
- distributed_training
- Mpi
Parametry pro spuštění distribuované trénovací úlohy
Pokud chcete spustit distribuovanou úlohu s back-endem Mpi MPI, použijte objekt k zadání process_count_per_node.
- use_gpu
- bool
Určuje, jestli by prostředí pro spuštění experimentu mělo podporovat GPU.
Pokud ano, použije se v prostředí výchozí image Dockeru založená na GPU. Pokud je false, použije se image založená na procesoru. Výchozí image Dockeru (CPU nebo GPU) se použijí jenom v případě, že custom_docker_image parametr není nastavený. Toto nastavení se používá jenom v cílových výpočetních prostředcích s podporou Dockeru.
- use_docker
- bool
Určuje, jestli má být prostředí pro spuštění experimentu založené na Dockeru.
- custom_docker_base_image
- str
Název image Dockeru, ze které se vytvoří image, která se má použít pro trénování.
ZASTARALÉ. custom_docker_image Použijte parametr .
Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
- custom_docker_image
- str
Název image Dockeru, ze které se vytvoří image, která se má použít pro trénování. Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
- user_managed
- bool
Určuje, jestli Azure ML opakovaně používá existující prostředí Pythonu. Pokud je false, Azure ML vytvoří prostředí Pythonu na základě specifikace závislostí conda.
- conda_packages
- list
Seznam řetězců představujících balíčky conda, které se mají přidat do prostředí Pythonu pro experiment.
- pip_packages
- list
Seznam řetězců představujících balíčky pip, které se mají přidat do prostředí Pythonu pro experiment.
- conda_dependencies_file_path
- str
Relativní cesta k závislosti conda soubor yaml. Pokud je zadáno, Azure ML nenainstaluje žádné balíčky související s architekturou.
ZASTARALÉ. conda_dependencies_file Použijte parametr .
- pip_requirements_file_path
- str
Relativní cesta k textovému souboru pip.
To je možné poskytnout v kombinaci s parametrem pip_packages .
ZASTARALÉ. pip_requirements_file Použijte parametr .
- conda_dependencies_file
- str
Relativní cesta k závislosti conda soubor yaml. Pokud je zadáno, Azure ML nenainstaluje žádné balíčky související s architekturou.
- pip_requirements_file
- str
Relativní cesta k textovému souboru pip.
To je možné poskytnout v kombinaci s parametrem pip_packages .
- environment_variables
- dict
Slovník názvů a hodnot proměnných prostředí. Tyto proměnné prostředí se nastavují v procesu, ve kterém se spouští uživatelský skript.
- environment_definition
- Environment
Definice prostředí pro experiment. Zahrnuje PythonSection, DockerSection a proměnné prostředí. Pomocí tohoto parametru lze nastavit všechny možnosti prostředí, které nejsou přímo vystaveny prostřednictvím jiných parametrů pro konstrukci nástroje Estimator. Pokud je tento parametr zadaný, bude mít přednost před ostatními parametry souvisejícími s prostředím, jako use_gpujsou , custom_docker_image, conda_packagesnebo pip_packages.
U neplatných kombinací budou hlášeny chyby.
- inputs
- list
Seznam azureml.data.data_reference. Objekty DataReference, které se mají použít jako vstup.
- shm_size
- str
Velikost bloku sdílené paměti kontejneru Dockeru Pokud není nastavená, použije se výchozí azureml.core.environment._DEFAULT_SHM_SIZE. Další informace najdete v referenčních informacích o spuštění Dockeru.
- resume_from
- DataPath
Cesta k datům obsahující soubory kontrolního bodu nebo modelu, ze kterých se má experiment pokračovat.
- max_run_duration_seconds
- int
Maximální povolený čas pro spuštění. Azure ML se pokusí automaticky zrušit spuštění, pokud trvá déle než tato hodnota.
- framework_version
- str
Verze Chaineru, která se má použít ke spuštění trénovacího kódu.
Chainer.get_supported_versions() vrátí seznam verzí podporovaných aktuální sadou SDK.
- _enable_optimized_mode
- bool
Povolte přírůstkové sestavování prostředí pomocí předem připravených imagí architektury pro rychlejší přípravu prostředí. Předem připravená image architektury je postavená na výchozích imagích procesoru/GPU Azure ML s předinstalovanými závislostmi architektury.
- _disable_validation
- bool
Před spuštěním odeslání zakažte ověření skriptu. Výchozí hodnota je Pravda.
- _show_lint_warnings
- bool
Zobrazit upozornění lintingu skriptu. Výchozí hodnota je Nepravda.
- _show_package_warnings
- bool
Zobrazit upozornění na ověření balíčku Výchozí hodnota je Nepravda.
Poznámky
Při odesílání trénovací úlohy Azure ML spustí váš skript v prostředí Conda v kontejneru Dockeru. Kontejnery Chainer mají nainstalované následující závislosti.
Závislosti | Chainer 5.1.0 | Chainer 7.0.0 | —————————- | —————– | ————— | Python | 3.6.2 | 3.6.2 | CUDA (pouze image GPU) | 9.0 | 9.0 | cuDNN (jenom obrázek GPU) | 7.6.3 | 7.6.3 | NCCL (jenom obrázek GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Nejnovější | Nejnovější | IntelMpi | 2018.3.222 | 2018.3.222 | horovod | 0.15.2 | 0.15.2 | miniconda | 4.5.11 | 4.5.11 | řetěz | 5.1.0 | 7.0.0 | cupy-cuda90 (jenom obrázek GPU) | 5.2.0 | 7.0.0 | git | 2.7.4 | 2.7.4 |
Image Dockeru rozšiřují Ubuntu 16.04.
Pokud chcete nainstalovat další závislosti, můžete použít pip_packages parametr nebo conda_packages . Nebo můžete zadat pip_requirements_file parametr nebo conda_dependencies_file .
Alternativně můžete vytvořit vlastní image a předat custom_docker_image parametr konstruktoru estimátoru.
Další informace o kontejnerech Dockeru používaných při trénování Chaineru najdete v tématu https://github.com/Azure/AzureML-Containers.
Atributy
DEFAULT_VERSION
DEFAULT_VERSION = '5.1.0'FRAMEWORK_NAME
FRAMEWORK_NAME = 'Chainer'Váš názor
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu: https://aka.ms/ContentUserFeedback.
Odeslat a zobrazit názory pro