Delen via


MpiStep Klas

Hiermee maakt u een Azure ML-pijplijnstap om een MPI-taak uit te voeren.

Zie het notebook https://aka.ms/pl-style-transvoor een voorbeeld van het gebruik van MpiStep.

Een Azure ML-pijplijnstap maken om een MPI-taak uit te voeren.

AFGEKEURD. Gebruik in plaats daarvan de CommandStep . Zie Gedistribueerde training uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

Overname

Constructor

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Parameters

Name Description
name
str

[Vereist] De naam van de module.

Default value: None
source_directory
str

[Vereist] Een map met Python-script, conda env en andere resources die in de stap worden gebruikt.

Default value: None
script_name
str

[Vereist] De naam van een Python-script ten opzichte source_directoryvan .

Default value: None
arguments

[Vereist] Een lijst met opdrachtregelargumenten.

Default value: None
compute_target

[Vereist] Een rekendoel dat moet worden gebruikt.

Default value: None
node_count
int

[Vereist] Het aantal knooppunten in het rekendoel dat wordt gebruikt voor training. Als groter dan 1, wordt een gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund.

Default value: None
process_count_per_node
int

[Vereist] Het aantal processen per knooppunt. Als groter dan 1, wordt een gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund.

Default value: None
inputs

Een lijst met invoerpoortbindingen.

Default value: None
outputs

Een lijst met uitvoerpoortbindingen.

Default value: None
params
Vereist

Een woordenlijst met naam-waardeparen die zijn geregistreerd als omgevingsvariabelen met 'AML_PARAMETER_'.

allow_reuse

Hiermee wordt aangegeven of de stap eerdere resultaten opnieuw moet gebruiken wanneer deze opnieuw wordt uitgevoerd met dezelfde instellingen. Hergebruik is standaard ingeschakeld. Als de inhoud van de stap (scripts/afhankelijkheden) en de invoer en parameters ongewijzigd blijven, wordt de uitvoer van de vorige uitvoering van deze stap opnieuw gebruikt. Wanneer u de stap opnieuw gebruikt, worden de resultaten van de vorige uitvoering onmiddellijk beschikbaar gemaakt voor eventuele volgende stappen in plaats van de taak te verzenden om te berekenen. Als u Azure Machine Learning-gegevenssets als invoer gebruikt, wordt hergebruik bepaald door of de definitie van de gegevensset is gewijzigd, niet door of de onderliggende gegevens zijn gewijzigd.

Default value: True
version
str

Een optionele versietag om een wijziging in de functionaliteit voor de module aan te geven.

Default value: None
hash_paths

AFGESCHAFT: niet meer nodig.

Een lijst met paden naar hash bij het controleren op wijzigingen in de inhoud van de stap. Als er geen wijzigingen zijn gedetecteerd, gebruikt de pijplijn de stapinhoud van een vorige uitvoering opnieuw. Standaard wordt de inhoud van gehasht, met uitzondering van source_directory bestanden die worden vermeld in .amlignore of .gitignore.

Default value: None
use_gpu
Vereist

Geeft aan of de omgeving om het experiment uit te voeren GPU's moet ondersteunen. Indien Waar, wordt een op GPU gebaseerde standaard Docker-installatiekopieën gebruikt in de omgeving. Als onwaar is, wordt een op CPU gebaseerde installatiekopieën gebruikt. Standaard docker-installatiekopieën (CPU of GPU) worden alleen gebruikt als de custom_docker_image parameter niet is ingesteld. Deze instelling wordt alleen gebruikt in docker-rekendoelen.

use_docker
Vereist

Geeft aan of de omgeving om het experiment uit te voeren docker moet zijn.

custom_docker_image
Vereist
str

De naam van de Docker-installatiekopie van waaruit de installatiekopie voor training wordt gemaakt. Als dit niet is ingesteld, wordt een standaard-CPU-installatiekopieën gebruikt als de basisinstallatiekopieën.

image_registry_details
Vereist

De details van het register van de Docker-installatiekopieën.

user_managed
Vereist

Geeft aan of Azure ML een bestaande Python-omgeving opnieuw gebruikt; False betekent dat Azure ML een Python-omgeving maakt op basis van de specificatie conda-afhankelijkheden.

conda_packages
Vereist

Een lijst met tekenreeksen die conda-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving.

pip_packages
Vereist

Een lijst met tekenreeksen die pip-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving.

pip_requirements_file_path
Vereist
str

Het relatieve pad naar het tekstbestand pip-vereisten. Deze parameter kan worden opgegeven in combinatie met de pip_packages parameter .

environment_definition
Vereist

De EnvironmentDefinition voor het experiment. Het omvat PythonSection en DockerSection en omgevingsvariabelen. Elke omgevingsoptie die niet rechtstreeks beschikbaar wordt gemaakt via andere parameters voor de MpiStep-constructie, kan worden ingesteld met behulp van environment_definition parameter. Als deze parameter is opgegeven, heeft deze voorrang op andere omgevingsgerelateerde parameters, zoals use_gpu, custom_docker_image, conda_packages of pip_packages en fouten worden gerapporteerd voor deze ongeldige combinaties.

name
Vereist
str

[Vereist] De naam van de module.

source_directory
Vereist
str

[Vereist] Een map met Python-script, conda env en andere resources die in de stap worden gebruikt.

script_name
Vereist
str

[Vereist] De naam van een Python-script ten opzichte source_directoryvan .

arguments
Vereist

[Vereist] Een lijst met opdrachtregelargumenten.

compute_target
Vereist
<xref:azureml.core.compute.AmlComputeCompute>, str

[Vereist] Een rekendoel dat moet worden gebruikt.

node_count
Vereist
int

[Vereist] Het aantal knooppunten in het rekendoel dat wordt gebruikt voor de training. Als groter dan 1, wordt de gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund.

process_count_per_node
Vereist
int

[Vereist] Aantal processen per knooppunt. Als groter dan 1, wordt de gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund.

inputs
Vereist

Een lijst met invoerpoortbindingen.

outputs
Vereist

Een lijst met uitvoerpoortbindingen.

params
Vereist

Een woordenlijst met naam-waardeparen die zijn geregistreerd als omgevingsvariabelen met '>>AML_PARAMETER_<<'.

allow_reuse
Vereist

Geeft aan of de stap eerdere resultaten opnieuw moet gebruiken wanneer opnieuw wordt uitgevoerd met dezelfde parameters ongewijzigd blijft, de uitvoer van de vorige uitvoering van deze stap opnieuw wordt gebruikt. Wanneer u de stap opnieuw gebruikt, worden de resultaten van de vorige uitvoering onmiddellijk beschikbaar gemaakt voor eventuele volgende stappen in plaats van de taak te verzenden om te berekenen. Als u Azure Machine Learning-gegevenssets als invoer gebruikt, wordt hergebruik bepaald door of de definitie van de gegevensset is gewijzigd, niet door of de onderliggende gegevens zijn gewijzigd.

version
Vereist
str

Optionele versietag om een wijziging in de functionaliteit voor de module aan te geven

hash_paths
Vereist

AFGESCHAFT: niet meer nodig.

Een lijst met paden naar hash bij het controleren op wijzigingen in de inhoud van de stap. Als er geen wijzigingen zijn gedetecteerd, gebruikt de pijplijn de stapinhoud van een vorige uitvoering opnieuw. Standaard wordt de inhoud van gehasht, met uitzondering van source_directory bestanden die worden vermeld in .amlignore of .gitignore.

use_gpu
Vereist

Geeft aan of de omgeving om het experiment uit te voeren GPU's moet ondersteunen. Indien Waar, wordt een op GPU gebaseerde standaard Docker-installatiekopieën gebruikt in de omgeving. Als onwaar is, wordt een op CPU gebaseerde installatiekopieën gebruikt. Standaard docker-installatiekopieën (CPU of GPU) worden alleen gebruikt als de custom_docker_image parameter niet is ingesteld. Deze instelling wordt alleen gebruikt in docker-rekendoelen.

use_docker
Vereist

Geeft aan of de omgeving om het experiment uit te voeren docker moet zijn. custom_docker_image (str): de naam van de docker-installatiekopie van waaruit de installatiekopie voor de mpi-taak wordt gemaakt. Als dit niet is ingesteld, wordt een standaard-CPU-installatiekopieën gebruikt als de basisinstallatiekopieën.

custom_docker_image
Vereist
str

De naam van de Docker-installatiekopie van waaruit de installatiekopie voor training wordt gemaakt. Als dit niet is ingesteld, wordt een standaard-CPU-installatiekopieën gebruikt als basisinstallatiekopieën.

image_registry_details
Vereist

De details van het register van de Docker-installatiekopieën.

user_managed
Vereist

Geeft aan of Azure ML een bestaande Python-omgeving opnieuw gebruikt; False betekent dat Azure ML een Python-omgeving maakt op basis van de specificatie conda-afhankelijkheden.

conda_packages
Vereist

Een lijst met tekenreeksen die conda-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving.

pip_packages
Vereist

Een lijst met tekenreeksen die pip-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving.

pip_requirements_file_path
Vereist
str

Het relatieve pad naar het tekstbestand pip-vereisten. Deze parameter kan worden opgegeven in combinatie met de pip_packages parameter .

environment_definition
Vereist

De EnvironmentDefinition voor het experiment. Het bevat PythonSection en DockerSection en omgevingsvariabelen. Elke omgevingsoptie die niet rechtstreeks via andere parameters aan de MpiStep-constructie wordt weergegeven, kan worden ingesteld met behulp van environment_definition parameter. Als deze parameter is opgegeven, heeft deze voorrang op andere omgevingsgerelateerde parameters, zoals use_gpu, custom_docker_image, conda_packages of pip_packages en worden er fouten gerapporteerd voor deze ongeldige combinaties.