PyTorch Klass
Representerar en beräknare för träning i PyTorch-experiment.
DEPRECATED. Använd - ScriptRunConfig objektet med din egen definierade miljö eller någon av azure ML PyTorch-organiserade miljöer. En introduktion till hur du konfigurerar PyTorch-experimentkörningar med ScriptRunConfig finns i Träna PyTorch-modeller i stor skala med Azure Machine Learning.
Versioner som stöds: 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6
Initiera en PyTorch-beräkning.
Docker-körningsreferens. :type shm_size: str :p aram resume_from: Datasökvägen som innehåller kontrollpunkten eller modellfilerna som experimentet ska återupptas från. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: Den högsta tillåtna tiden för körningen. Azure ML försöker automatiskt
avbryt körningen om det tar längre tid än det här värdet.
- Arv
-
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimatorPyTorch
Konstruktor
PyTorch(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)Parametrar
- compute_target
- AbstractComputeTarget eller str
Beräkningsmålet där träning ska ske. Detta kan antingen vara ett objekt eller strängen "local".
- vm_size
- str
Storleken på den virtuella datorn för beräkningsmålet som ska skapas för träningen. Värden som stöds: Valfri storlek på virtuella Azure-datorer.
- vm_priority
- str
Vm-prioriteten för det beräkningsmål som ska skapas för träningen. Om det inte anges används "dedikerad".
Värden som stöds: "dedikerad" och "lågprioritet".
Detta gäller endast när vm_size param anges i indata.
- script_params
- dict
En ordlista med kommandoradsargument som ska skickas till träningsskriptet som anges i entry_script.
- node_count
- int
Antalet noder i beräkningsmålet som används för träning. Om det är större än 1 körs ett MPI-distribuerat jobb. AmlCompute Endast målet stöds för distribuerade jobb.
- process_count_per_node
- int
Antalet processer per nod. Om det är större än 1 körs ett MPI-distribuerat jobb. AmlCompute Endast målet stöds för distribuerade jobb.
- distributed_backend
- str
Kommunikationsserverdelen för distribuerad träning.
DEPRECATED. Använd parametern distributed_training .
Värden som stöds: "mpi", "gloo" och "nccl".
'mpi': MPI/Horovod 'gloo', 'nccl': Native PyTorch Distributed Training
Den här parametern krävs när node_count eller process_count_per_node> 1.
När node_count == 1 och process_count_per_node == 1 används ingen serverdel om inte serverdelen uttryckligen anges. AmlCompute Endast målet stöds för distribuerad träning.
Parametrar för att köra ett distribuerat träningsjobb.
För att köra ett distribuerat jobb med MPI-serverdelen använder du Mpi objektet för att ange process_count_per_node.
Om du vill köra ett distribuerat jobb med gloo-serverdelen använder du Gloo.
Om du vill köra ett distribuerat jobb med nccl-serverdelen använder du Nccl.
- use_gpu
- bool
Anger om miljön som ska köra experimentet ska ha stöd för GPU:er.
Om det är sant används en GPU-baserad Standard Docker-avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.
- custom_docker_base_image
- str
Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas.
DEPRECATED. Använd parametern custom_docker_image .
Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
- custom_docker_image
- str
Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
- user_managed
- bool
Anger om Azure ML återanvänder en befintlig Python-miljö. Om det är falskt skapar Azure ML en Python-miljö baserat på specifikationen för conda-beroenden.
- conda_packages
- list
En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön för experimentet.
- pip_packages
- list
En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön för experimentet.
- conda_dependencies_file_path
- str
Den relativa sökvägen till yaml-filen conda-beroenden.
Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket.
DEPRECATED. Använd parametern conda_dependencies_file .
- pip_requirements_file_path
- str
Den relativa sökvägen till pip-kravtextfilen.
Detta kan anges i kombination med parametern pip_packages .
DEPRECATED. Använd parametern pip_requirements_file .
- conda_dependencies_file
- str
Den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket.
- pip_requirements_file
- str
Den relativa sökvägen till pip-kravtextfilen.
Detta kan anges i kombination med parametern pip_packages .
- environment_variables
- dict
En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i den process där användarskript körs.
- environment_definition
- Environment
Miljödefinitionen för experimentet. Den innehåller variablerna PythonSection, DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för beräkningskonstruktionen kan anges med den här parametern. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packageseller pip_packages.
Fel rapporteras vid ogiltiga kombinationer av parametrar.
- inputs
- list
En lista över DataReference eller DatasetConsumptionConfig objekt som ska användas som indata.
- source_directory_data_store
- Datastore
Det säkerhetskopierade dataarkivet för projektresursen.
- shm_size
- str
Storleken på Docker-containerns delade minnesblock. Om inte anges används standard azureml.core.environment._DEFAULT_SHM_SIZE. Mer information finns i Docker-körningsreferens.
- resume_from
- DataPath
Datasökvägen som innehåller kontrollpunkten eller modellfilerna som experimentet ska återupptas från.
- max_run_duration_seconds
- int
Den maximala tillåtna tiden för körningen. Azure ML försöker automatiskt avbryta körningen om det tar längre tid än det här värdet.
- framework_version
- str
Den PyTorch-version som ska användas för att köra träningskod.
PyTorch.get_supported_versions() returnerar en lista över de versioner som stöds av den aktuella SDK:en.
- compute_target
- AbstractComputeTarget eller str
Beräkningsmålet där träning ska ske. Detta kan antingen vara ett -objekt eller strängen "lokal".
- vm_size
- str
VM-storleken för beräkningsmålet som ska skapas för träningen. Värden som stöds: Valfri storlek på virtuella Azure-datorer.
- vm_priority
- str
VM-prioriteten för beräkningsmålet som ska skapas för träningen. Om inget anges används "dedikerad".
Värden som stöds: "dedikerad" och "lågprioritet".
Detta börjar endast gälla när vm_size param anges i indata.
- script_params
- dict
En ordlista med kommandoradsargument som ska skickas till träningsskriptet som anges i entry_script.
- node_count
- int
Antalet noder i beräkningsmålet som används för träning. Om det är större än 1 körs det mpi-distribuerade jobbet. Endast målet azureml.core.compute.AmlCompute stöds för distribuerade jobb.
- process_count_per_node
- int
Antalet processer per nod. Om det är större än 1 körs ett MPI-distribuerat jobb. Endast målet AmlCompute stöds för distribuerade jobb.
- distributed_backend
- str
Kommunikationsserverdelen för distribuerad träning.
DEPRECATED. Använd parametern distributed_training .
Värden som stöds: "mpi", "gloo" och "nccl".
'mpi': MPI/Horovod 'gloo', 'nccl': Native PyTorch Distributed Training
Den här parametern krävs när node_count eller process_count_per_node> 1.
När node_count == 1 och process_count_per_node == 1 används ingen serverdel om inte serverdelen uttryckligen anges. AmlCompute Endast målet stöds för distribuerad träning.
Parametrar för att köra ett distribuerat träningsjobb.
För att köra ett distribuerat jobb med MPI-serverdelen använder du Mpi -objektet för att ange process_count_per_node.
Om du vill köra ett distribuerat jobb med gloo-serverdelen använder du Gloo.
Om du vill köra ett distribuerat jobb med nccl-serverdelen använder du Nccl.
- use_gpu
- bool
Anger om miljön som ska köra experimentet ska ha stöd för GPU:er.
Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.
- custom_docker_base_image
- str
Namnet på den Docker-avbildning som avbildningen som ska användas för träning kommer att skapas.
DEPRECATED. Använd parametern custom_docker_image .
Om den inte anges används en standard-CPU-baserad avbildning som basavbildning.
- custom_docker_image
- str
Namnet på den Docker-avbildning som avbildningen som ska användas för träning kommer att skapas. Om den inte anges används en standard-CPU-baserad avbildning som basavbildning.
- user_managed
- bool
Anger om Azure ML återanvänder en befintlig Python-miljö. Om det är falskt skapar Azure ML en Python-miljö baserat på specifikationen för conda-beroenden.
- conda_packages
- list
En lista med strängar som representerar conda-paket som ska läggas till i Python-miljön för experimentet.
- pip_packages
- list
En lista med strängar som representerar pip-paket som ska läggas till i Python-miljön för experimentet.
- conda_dependencies_file_path
- str
Den relativa sökvägen till yaml-filen conda-beroenden. Om detta anges installerar Inte Azure ML några ramverksrelaterade paket.
DEPRECATED. Använd parametern conda_dependencies_file .
- pip_requirements_file_path
- str
Den relativa sökvägen till textfilen pip requirements.
Detta kan anges i kombination med parametern pip_packages .
DEPRECATED. Använd parametern pip_requirements_file .
- conda_dependencies_file
- str
Den relativa sökvägen till yaml-filen conda-beroenden. Om detta anges installerar Inte Azure ML några ramverksrelaterade paket.
- pip_requirements_file
- str
Den relativa sökvägen till textfilen pip requirements.
Detta kan anges i kombination med parametern pip_packages .
- environment_variables
- dict
En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i processen där användarskript körs.
- environment_definition
- Environment
Miljödefinitionen för experimentet. Den innehåller PythonSection, DockerSection och miljövariabler. Alla miljöalternativ som inte exponeras direkt via andra parametrar för beräkningskonstruktionen kan anges med den här parametern. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packageseller pip_packages.
Fel rapporteras vid ogiltiga kombinationer.
- inputs
- list
En lista över azureml.data.data_reference. DataReference-objekt som ska användas som indata.
- shm_size
Storleken på Docker-containerns delade minnesblock. Om det inte anges används standard azureml.core.environment._DEFAULT_SHM_SIZE. Mer information finns i
- framework_version
- str
Den PyTorch-version som ska användas för att köra träningskod.
PyTorch.get_supported_versions() returnerar en lista över de versioner som stöds av aktuell SDK.
- _enable_optimized_mode
- bool
Aktivera inkrementell miljögenerering med fördefinierade ramverksbilder för snabbare förberedelse av miljön. En fördefinierad ramverksavbildning bygger på Azure ML-standardmässiga CPU-/GPU-basavbildningar med ramverksberoenden förinstallerade.
- _disable_validation
- bool
Inaktivera skriptverifiering innan du kör sändningen. Standardvärdet är True.
Kommentarer
När du skickar ett träningsjobb kör Azure ML skriptet i en conda-miljö i en Docker-container. PyTorch-containrarna har följande beroenden installerade.
Beroenden | PyTorch 1.0/1.1/1.2/1.3/ | PyTorch 1.4/1.5/1.6 | ———————- | —————– | ————- | Python | 3.6.2 | 3.6.2 | CUDA (endast GPU-avbildning) | 10,0 | 10.1 | cuDNN (endast GPU-avbildning) | 7.6.3 | 7.6.3 | NCCL (endast GPU-avbildning) | 2.4.8 | 2.4.8 | azureml-defaults | Senaste | Senaste | OpenMpi | 3.1.2 | 3.1.2 | horovod | 0.18.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | fackla | 1.0/1.1/1.2/1.3.1 | 1.4.0/1.5.0/1.6.0 | torchvision | 0.4.1 | 0.5.0 | git | 2.7.4 | 2.7.4 | tensorboard | 1.14 | 1.14 | framtida | 0.17.1 | 0.17.1 |
Docker-avbildningarna utökar Ubuntu 16.04.
Om du vill installera ytterligare beroenden kan du antingen använda parametern pip_packages eller conda_packages . Eller så kan du ange parametern pip_requirements_file eller conda_dependencies_file .
Du kan också skapa en egen avbildning och skicka parametern custom_docker_image till beräkningskonstruktorn.
Mer information om Docker-containrar som används i PyTorch-träning finns i https://github.com/Azure/AzureML-Containers.
PyTorch-beräknaren stöder distribuerad träning över CPU- och GPU-kluster med Horovod, ett ramverk med öppen källkod och alla reduce-ramverk för distribuerad träning. Exempel och mer information om hur du använder PyTorch i distribuerad träning finns i självstudien Träna och registrera PyTorch-modeller i stor skala med Azure Machine Learning.
Attribut
DEFAULT_VERSION
DEFAULT_VERSION = '1.4'FRAMEWORK_NAME
FRAMEWORK_NAME = 'PyTorch'Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för