TensorFlow Třída

Představuje estimátor pro trénování v experimentech TensorFlow.

ZAVRHOVANÝ. ScriptRunConfig Použijte objekt s vlastním definovaným prostředím nebo jedním z kurátorovaných prostředí Azure ML TensorFlow. Úvod ke konfiguraci experimentů TensorFlow pomocí ScriptRunConfig najdete v tématu Trénování modelů TensorFlow ve velkém měřítku pomocí služby Azure Machine Learning.

Podporované verze: 1.10, 1.12, 1.13, 2.0, 2.1, 2.2

Inicializace estimátoru TensorFlow

Referenční informace ke spuštění Dockeru :type shm_size: str :p aram resume_from: Datová cesta obsahující kontrolní bod nebo soubory modelu, ze kterých chcete experiment obnovit. :type resume_from: azureml.datapath.DataPath :p aram max_run_duration_seconds: Maximální povolený čas spuštění. Azure ML se pokusí automaticky

zrušte spuštění, pokud trvá déle, než je tato hodnota.

Konstruktor

TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parametry

Name	Description
source_directory Vyžadováno	str Místní adresář obsahující konfigurační soubory experimentu.
compute_target Vyžadováno	AbstractComputeTarget nebo str Cílový výpočetní objekt, ve kterém bude trénování probíhat. Může to být buď objekt, nebo řetězec "local".
vm_size Vyžadováno	str Velikost virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Podporované hodnoty: Libovolná velikost virtuálního počítače Azure
vm_priority Vyžadováno	str Priorita virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Pokud není zadáno, použije se "dedicated". Podporované hodnoty:'dedicated' a 'lowpriority'. To se projeví pouze v případě, `vm_size param` že je zadaný ve vstupu.
entry_script Vyžadováno	str Relativní cesta k souboru obsahujícímu trénovací skript.
script_params Vyžadováno	dict Slovník argumentů příkazového řádku, který se má předat trénovacímu skriptu zadanému v `entry_script`.
node_count Vyžadováno	int Početuzlůch AmlCompute Pro distribuované trénování se podporuje pouze cíl (`node_count`> 1).
process_count_per_node Vyžadováno	int Při použití mpI počet procesů na uzel.
worker_count Vyžadováno	int Při použití parametrového serveru pro distribuované trénování počet pracovních uzlů. ZAVRHOVANÝ. Zadejte jako součást parametru `distributed_training` .
parameter_server_count Vyžadováno	int Při použití parametrového serveru pro distribuované trénování počet uzlů serveru parametrů.
distributed_backend Vyžadováno	str Back-end komunikace pro distribuované trénování. ZAVRHOVANÝ. `distributed_training` Použijte parametr. Podporované hodnoty: "mpi" a "ps". Mpi představuje MPI/Horovod a ps představuje parametrový server. Tento parametr se vyžaduje, pokud některý z `node_count`, `process_count_per_node`, `worker_count`, nebo `parameter_server_count`> 1. V případě ps by měl být součet `worker_count` a `parameter_server_count` měl by být menší nebo roven `node_count` * (počet procesorů nebo GPU na uzel). Pokud `node_count` == 1 a `process_count_per_node` == 1, nebude použit žádný back-end, pokud není back-end explicitně nastaven. AmlCompute Pro distribuované trénování se podporuje jenom cíl.
distributed_training Vyžadováno	ParameterServer nebo Mpi Parametry pro spuštění distribuované trénovací úlohy Pro spuštění distribuované úlohy s back-endem parametrového ParameterServer serveru použijte objekt k určení `worker_count` a `parameter_server_count`. Součet `worker_count` parametrů a `parameter_server_count` parametrů by měl být menší nebo roven `node_count` * (počet procesorů nebo GPU na uzel). Pro spuštění distribuované úlohy s back-endem MPI použijte Mpi objekt k určení `process_count_per_node`.
use_gpu Vyžadováno	bool Určuje, jestli má prostředí pro spuštění experimentu podporovat gpu. Pokud ano, použije se v prostředí výchozí image Dockeru založená na GPU. Pokud je false, použije se image založená na procesoru. Výchozí image Dockeru (CPU nebo GPU) se použijí jenom v případě, že `custom_docker_image` parametr není nastavený. Toto nastavení se používá jenom v cílových výpočetních objektech s podporou Dockeru.
use_docker Vyžadováno	bool Určuje, jestli má být prostředí, ve kterém se má experiment spustit, založené na Dockeru.
custom_docker_base_image Vyžadováno	str Vytvoří se název image Dockeru, ze které se má image použít pro trénování. ZAVRHOVANÝ. `custom_docker_image` Použijte parametr. Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
custom_docker_image Vyžadováno	str Vytvoří se název image Dockeru, ze které se má image použít pro trénování. Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
image_registry_details Vyžadováno	ContainerRegistry Podrobnosti registru imagí Dockeru
user_managed Vyžadováno	bool Určuje, jestli Azure ML znovu používá existující prostředí Pythonu. Pokud je hodnota false, Azure ML vytvoří prostředí Pythonu na základě specifikace závislostí conda.
conda_packages Vyžadováno	list Seznam řetězců představujících balíčky conda, které se mají přidat do prostředí Pythonu pro experiment.
pip_packages Vyžadováno	list Seznam řetězců představujících balíčky pip, které se mají přidat do prostředí Pythonu pro experiment.
conda_dependencies_file_path Vyžadováno	str Řetězec představující relativní cestu k souboru yaml závislostí conda. Pokud je zadáno, Azure ML nenainstaluje žádné balíčky související s architekturou. ZAVRHOVANÝ. `conda_dependencies_file` Použijte parametr.
pip_requirements_file_path Vyžadováno	str Řetězec představující relativní cestu k textovému souboru požadavků pip. Dá se zadat v kombinaci s parametrem `pip_packages` . ZAVRHOVANÝ. `pip_requirements_file` Použijte parametr.
conda_dependencies_file Vyžadováno	str Řetězec představující relativní cestu k souboru yaml závislostí conda. Pokud je zadáno, Azure ML nenainstaluje žádné balíčky související s architekturou.
pip_requirements_file Vyžadováno	str Řetězec představující relativní cestu k textovému souboru požadavků pip. Dá se zadat v kombinaci s parametrem `pip_packages` .
environment_variables Vyžadováno	dict Slovník názvů a hodnot proměnných prostředí Tyto proměnné prostředí jsou nastavené v procesu, ve kterém se spouští uživatelský skript.
environment_definition Vyžadováno	Environment Definice prostředí pro experiment. Zahrnuje PythonSection, DockerSection a proměnné prostředí. Pomocí tohoto parametru lze nastavit jakoukoli možnost prostředí, která není přímo zpřístupněna prostřednictvím jiných parametrů pro konstrukci odhadce. Pokud je tento parametr zadán, bude mít přednost před jinými parametry souvisejícími s prostředím, jako je `use_gpu`, `custom_docker_image`, `conda_packages`nebo `pip_packages`. U těchto neplatných kombinací budou hlášeny chyby.
inputs Vyžadováno	list Seznam DataReference objektů nebo DatasetConsumptionConfig objektů, které se mají použít jako vstup.
source_directory_data_store Vyžadováno	Datastore Záložní úložiště dat pro sdílenou složku projektu.
shm_size Vyžadováno	str Velikost bloku sdílené paměti kontejneru Dockeru. Pokud není nastavená, použije se výchozí azureml.core.environment._DEFAULT_SHM_SIZE. Další informace najdete v referenčních informacích ke spuštění Dockeru.
resume_from Vyžadováno	DataPath Cesta k datům obsahující soubory kontrolního bodu nebo modelu, ze kterých chcete experiment obnovit.
max_run_duration_seconds Vyžadováno	int Maximální povolená doba běhu. Azure ML se pokusí spuštění automaticky zrušit, pokud trvá déle, než je tato hodnota.
framework_version Vyžadováno	str Verze TensorFlow, která se má použít ke spouštění trénovacího kódu. Pokud není k dispozici žádná verze, nástroj pro odhad ve výchozím nastavení použije nejnovější verzi podporovanou službou Azure ML. Slouží `TensorFlow.get_supported_versions()` k vrácení seznamu pro získání seznamu všech verzí podporovaných aktuální sadou Azure ML SDK.
source_directory Vyžadováno	str Místní adresář obsahující konfigurační soubory experimentu.
compute_target Vyžadováno	AbstractComputeTarget nebo str Cílový výpočetní objekt, ve kterém bude trénování probíhat. Může to být buď objekt, nebo řetězec "local".
vm_size Vyžadováno	str Velikost virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Podporované hodnoty: Libovolná velikost virtuálního počítače Azure
vm_priority Vyžadováno	str Priorita virtuálního počítače cílového výpočetního objektu, který se vytvoří pro trénování. Pokud není zadáno, použije se "dedicated". Podporované hodnoty:'dedicated' a 'lowpriority'. To se projeví pouze v případě, `vm_size param` že je zadaný ve vstupu.
entry_script Vyžadováno	str Relativní cesta k souboru obsahujícímu trénovací skript.
script_params Vyžadováno	dict Slovník argumentů příkazového řádku pro předání tne skript zadaný v `entry_script`.
node_count Vyžadováno	int Početuzlůch AmlCompute Pro distribuované trénování se podporuje pouze cíl (`node_count`> 1).
process_count_per_node Vyžadováno	int Při použití mpI počet procesů na uzel.
worker_count Vyžadováno	int Při použití parametrového serveru je počet pracovních uzlů. ZAVRHOVANÝ. Zadejte jako součást parametru `distributed_training` .
parameter_server_count Vyžadováno	int Při použití parametrového serveru je počet uzlů serveru parametrů.
distributed_backend Vyžadováno	str Back-end komunikace pro distribuované trénování. ZAVRHOVANÝ. `distributed_training` Použijte parametr. Podporované hodnoty: "mpi" a "ps". Mpi představuje MPI/Horovod a ps představuje parametrový server. Tento parametr se vyžaduje, pokud některý z `node_count`, `process_count_per_node`, `worker_count`, nebo `parameter_server_count`> 1. V případě ps by měl být součet `worker_count` a `parameter_server_count` měl by být menší nebo roven `node_count` * (počet procesorů nebo GPU na uzel). Pokud `node_count` == 1 a `process_count_per_node` == 1, nebude použit žádný back-end, pokud není back-end explicitně nastaven. AmlCompute Pro distribuované trénování se podporuje jenom cíl. se podporuje pro distribuované trénování.
distributed_training Vyžadováno	ParameterServer nebo Mpi Parametry pro spuštění distribuované trénovací úlohy Chcete-li spustit distribuovanou úlohu s back-endem parametrového serveru, použijte ParameterServer objekt k určení `worker_count` a `parameter_server_count`. Součet `worker_count` parametrů a `parameter_server_count` parametrů by měl být menší nebo roven `node_count` * (počet procesorů nebo GPU na uzel). Pro spuštění distribuované úlohy s back-endem MPI použijte Mpi objekt k určení `process_count_per_node`.
use_gpu Vyžadováno	bool Určuje, jestli má prostředí pro spuštění experimentu podporovat gpu. Pokud ano, použije se v prostředí výchozí image Dockeru založená na GPU. Pokud je false, použije se image založená na procesoru. Výchozí image Dockeru (CPU nebo GPU) se použijí jenom v případě, že `custom_docker_image` parametr není nastavený. Toto nastavení se používá jenom v cílových výpočetních objektech s podporou Dockeru.
use_docker Vyžadováno	bool Určuje, jestli má být prostředí, ve kterém se má experiment spustit, založené na Dockeru.
custom_docker_base_image Vyžadováno	str Vytvoří se název image Dockeru, ze které se má image použít pro trénování. ZAVRHOVANÝ. `custom_docker_image` Použijte parametr. Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
custom_docker_image Vyžadováno	str Vytvoří se název image Dockeru, ze které se má image použít pro trénování. Pokud není nastavená, jako základní image se použije výchozí image založená na procesoru.
image_registry_details Vyžadováno	ContainerRegistry Podrobnosti registru imagí Dockeru
user_managed Vyžadováno	bool Určuje, jestli Azure ML znovu používá existující prostředí Pythonu. Pokud je hodnota false, Azure ML vytvoří prostředí Pythonu na základě specifikace závislostí conda.
conda_packages Vyžadováno	list Seznam řetězců představujících balíčky conda, které se mají přidat do prostředí Pythonu pro experiment.
pip_packages Vyžadováno	list Seznam řetězců představujících balíčky pip, které se mají přidat do prostředí Pythonu pro experiment.
conda_dependencies_file_path Vyžadováno	str Relativní cesta k souboru yaml závislostí conda. Pokud je zadáno, Azure ML nenainstaluje žádné balíčky související s architekturou. ZAVRHOVANÝ. `conda_dependencies_file` Použijte parametr.
pip_requirements_file_path Vyžadováno	str Relativní cesta k textovému souboru požadavků pip. Dá se zadat v kombinaci s parametrem `pip_packages` . ZAVRHOVANÝ. `pip_requirements_file` Použijte parametr.
environment_variables Vyžadováno	dict Slovník názvů a hodnot proměnných prostředí Tyto proměnné prostředí jsou nastavené v procesu, ve kterém se spouští uživatelský skript.
conda_dependencies_file Vyžadováno	str Řetězec představující relativní cestu k souboru yaml závislostí conda. Pokud je zadáno, Azure ML nenainstaluje žádné balíčky související s architekturou.
pip_requirements_file Vyžadováno	str Relativní cesta k textovému souboru požadavků pip. Dá se zadat v kombinaci s parametrem `pip_packages` .
environment_variables Vyžadováno	Slovník názvů a hodnot proměnných prostředí Tyto proměnné prostředí jsou nastavené v procesu, ve kterém se spouští uživatelský skript.
environment_definition Vyžadováno	Environment Definice prostředí pro experiment. Zahrnuje PythonSection, DockerSection a proměnné prostředí. Pomocí tohoto parametru lze nastavit jakoukoli možnost prostředí, která není přímo zpřístupněna prostřednictvím jiných parametrů pro konstrukci odhadce. Pokud je tento parametr zadán, bude mít přednost před jinými parametry souvisejícími s prostředím, jako je `use_gpu`, `custom_docker_image`, `conda_packages`nebo `pip_packages`. U těchto neplatných kombinací budou hlášeny chyby.
inputs Vyžadováno	list Seznam azureml.data.data_reference Objekty DataReference, které se mají použít jako vstup.
source_directory_data_store Vyžadováno	str Záložní úložiště dat pro sdílenou složku projektu.
shm_size Vyžadováno	Velikost bloku sdílené paměti kontejneru Dockeru. Pokud není nastavená, výchozí hodnota je azureml.core.environment._DEFAULT_SHM_SIZE. Další informace naleznete zde
framework_version Vyžadováno	str Verze TensorFlow, která se má použít ke spouštění trénovacího kódu. Pokud není k dispozici žádná verze, nástroj pro odhad ve výchozím nastavení použije nejnovější verzi podporovanou službou Azure ML. Pomocí TensorFlow.get_supported_versions() vrátíte seznam, abyste získali seznam všech verzí podporovaných aktuální sadou Azure ML SDK.
_enable_optimized_mode Vyžadováno	bool Povolte přírůstkové sestavení prostředí s předem sestavenými imagemi architektury pro rychlejší přípravu prostředí. Předem sestavená image architektury je postavená na výchozích imagích procesoru a GPU Azure ML s předinstalovanými závislostmi architektury.
_disable_validation Vyžadováno	bool Před spuštěním odeslání zakažte ověření skriptu. Výchozí hodnota je True.
_show_lint_warnings Vyžadováno	bool Zobrazí upozornění pro lintování skriptu. Výchozí hodnota je False.
_show_package_warnings Vyžadováno	bool Zobrazí upozornění na ověření balíčku. Výchozí hodnota je False.

Poznámky

Při odesílání trénovací úlohy spustí Azure ML skript v prostředí Conda v kontejneru Dockeru. Kontejnery TensorFlow mají nainstalované následující závislosti.

Závislosti | TensorFlow 1.10/1.12 | TensorFlow 1.13 | TF 2.0/2.1/2.2 | ———————————— | ——————– | ————— | —————— | Python | 3.6.2 | 3.6.2 | 3.6.2 | CUDA (pouze image GPU) | 9,0 | 10,0 | 10,0 | cuDNN (pouze obrázek GPU) | 7.6.3 | 7.6.3 | 7.6.3 | NCCL (pouze image GPU) | 2.4.8 | 2.4.8 | 2.4.8 | výchozí hodnoty azureml | Nejnovější | Nejnovější | Nejnovější | azureml-dataset-runtime[fuse,pandas] | Nejnovější | Nejnovější | Nejnovější | IntelMpi | 2018.3.222 | 2018.3.222 | —- | OpenMpi | —- | —- | 3.1.2 | horovod | 0.15.2 | 0.16.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | 4.5.11 | tensorflow | 1.10.0/1.12.0 | 1.13.1 | 2.0.0/2.1.0/2.2.0 | git | 2.7.4 | 2.7.4 | 2.7.4 |

Image Dockeru v1 rozšiřují Ubuntu 16.04. Image Dockeru v2 rozšiřují Ubuntu 18.04.

K instalaci dalších závislostí můžete použít pip_packages parametr nebo conda_packages parametr. Nebo můžete zadat pip_requirements_file parametr nebo conda_dependencies_file parametr. Alternativně můžete vytvořit vlastní image a předat custom_docker_image parametr konstruktoru estimátoru.

Další informace o kontejnerech Dockeru používaných v trénování TensorFlow najdete v tématu https://github.com/Azure/AzureML-Containers.

Třída TensorFlow podporuje dvě metody distribuovaného trénování:

Distribuované trénování založené na MPI pomocí

Horovod framework
Nativní distribuovaný TensorFlow

Příklady a další informace o používání TensorFlow v distribuovaném trénování najdete v kurzu Trénování a registrace modelů TensorFlow ve velkém měřítku ve službě Azure Machine Learning.

Atributy

DEFAULT_VERSION

DEFAULT_VERSION = '1.13'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'TensorFlow'

Váš názor

Byla tato stránka užitečná?