MpiStep Klas
Hiermee maakt u een Azure ML-pijplijnstap om een MPI-taak uit te voeren.
Zie het notebook https://aka.ms/pl-style-transvoor een voorbeeld van het gebruik van MpiStep.
Een Azure ML-pijplijnstap maken om een MPI-taak uit te voeren.
AFGEKEURD. Gebruik in plaats daarvan de CommandStep . Zie Gedistribueerde training uitvoeren in pijplijnen met CommandStep voor een voorbeeld.
- Overname
-
MpiStep
Constructor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
Parameters
Name | Description |
---|---|
name
|
[Vereist] De naam van de module. Default value: None
|
source_directory
|
[Vereist] Een map met Python-script, conda env en andere resources die in de stap worden gebruikt. Default value: None
|
script_name
|
[Vereist] De naam van een Python-script ten opzichte Default value: None
|
arguments
|
[Vereist] Een lijst met opdrachtregelargumenten. Default value: None
|
compute_target
|
[Vereist] Een rekendoel dat moet worden gebruikt. Default value: None
|
node_count
|
[Vereist] Het aantal knooppunten in het rekendoel dat wordt gebruikt voor training. Als groter dan 1, wordt een gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund. Default value: None
|
process_count_per_node
|
[Vereist] Het aantal processen per knooppunt. Als groter dan 1, wordt een gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund. Default value: None
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Een lijst met invoerpoortbindingen. Default value: None
|
outputs
|
Een lijst met uitvoerpoortbindingen. Default value: None
|
params
Vereist
|
Een woordenlijst met naam-waardeparen die zijn geregistreerd als omgevingsvariabelen met 'AML_PARAMETER_'. |
allow_reuse
|
Hiermee wordt aangegeven of de stap eerdere resultaten opnieuw moet gebruiken wanneer deze opnieuw wordt uitgevoerd met dezelfde instellingen. Hergebruik is standaard ingeschakeld. Als de inhoud van de stap (scripts/afhankelijkheden) en de invoer en parameters ongewijzigd blijven, wordt de uitvoer van de vorige uitvoering van deze stap opnieuw gebruikt. Wanneer u de stap opnieuw gebruikt, worden de resultaten van de vorige uitvoering onmiddellijk beschikbaar gemaakt voor eventuele volgende stappen in plaats van de taak te verzenden om te berekenen. Als u Azure Machine Learning-gegevenssets als invoer gebruikt, wordt hergebruik bepaald door of de definitie van de gegevensset is gewijzigd, niet door of de onderliggende gegevens zijn gewijzigd. Default value: True
|
version
|
Een optionele versietag om een wijziging in de functionaliteit voor de module aan te geven. Default value: None
|
hash_paths
|
AFGESCHAFT: niet meer nodig. Een lijst met paden naar hash bij het controleren op wijzigingen in de inhoud van de stap. Als er geen wijzigingen zijn gedetecteerd, gebruikt de pijplijn de stapinhoud van een vorige uitvoering opnieuw. Standaard wordt de inhoud van gehasht, met uitzondering van Default value: None
|
use_gpu
Vereist
|
Geeft aan of de omgeving om het experiment uit te voeren GPU's moet ondersteunen.
Indien Waar, wordt een op GPU gebaseerde standaard Docker-installatiekopieën gebruikt in de omgeving. Als onwaar is, wordt een op CPU gebaseerde installatiekopieën gebruikt. Standaard docker-installatiekopieën (CPU of GPU) worden alleen gebruikt als de |
use_docker
Vereist
|
Geeft aan of de omgeving om het experiment uit te voeren docker moet zijn. |
custom_docker_image
Vereist
|
De naam van de Docker-installatiekopie van waaruit de installatiekopie voor training wordt gemaakt. Als dit niet is ingesteld, wordt een standaard-CPU-installatiekopieën gebruikt als de basisinstallatiekopieën. |
image_registry_details
Vereist
|
De details van het register van de Docker-installatiekopieën. |
user_managed
Vereist
|
Geeft aan of Azure ML een bestaande Python-omgeving opnieuw gebruikt; False betekent dat Azure ML een Python-omgeving maakt op basis van de specificatie conda-afhankelijkheden. |
conda_packages
Vereist
|
Een lijst met tekenreeksen die conda-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving. |
pip_packages
Vereist
|
Een lijst met tekenreeksen die pip-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving. |
pip_requirements_file_path
Vereist
|
Het relatieve pad naar het tekstbestand pip-vereisten.
Deze parameter kan worden opgegeven in combinatie met de |
environment_definition
Vereist
|
De EnvironmentDefinition voor het experiment. Het omvat PythonSection en DockerSection en omgevingsvariabelen. Elke omgevingsoptie die niet rechtstreeks beschikbaar wordt gemaakt via andere parameters voor de MpiStep-constructie, kan worden ingesteld met behulp van environment_definition parameter. Als deze parameter is opgegeven, heeft deze voorrang op andere omgevingsgerelateerde parameters, zoals use_gpu, custom_docker_image, conda_packages of pip_packages en fouten worden gerapporteerd voor deze ongeldige combinaties. |
name
Vereist
|
[Vereist] De naam van de module. |
source_directory
Vereist
|
[Vereist] Een map met Python-script, conda env en andere resources die in de stap worden gebruikt. |
script_name
Vereist
|
[Vereist] De naam van een Python-script ten opzichte |
arguments
Vereist
|
[Vereist] Een lijst met opdrachtregelargumenten. |
compute_target
Vereist
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[Vereist] Een rekendoel dat moet worden gebruikt. |
node_count
Vereist
|
[Vereist] Het aantal knooppunten in het rekendoel dat wordt gebruikt voor de training. Als groter dan 1, wordt de gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund. |
process_count_per_node
Vereist
|
[Vereist] Aantal processen per knooppunt. Als groter dan 1, wordt de gedistribueerde mpi-taak uitgevoerd. Alleen het rekendoel AmlCompute wordt ondersteund voor gedistribueerde taken. PipelineParameter-waarden worden ondersteund. |
inputs
Vereist
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Een lijst met invoerpoortbindingen. |
outputs
Vereist
|
Een lijst met uitvoerpoortbindingen. |
params
Vereist
|
Een woordenlijst met naam-waardeparen die zijn geregistreerd als omgevingsvariabelen met '>>AML_PARAMETER_<<'. |
allow_reuse
Vereist
|
Geeft aan of de stap eerdere resultaten opnieuw moet gebruiken wanneer opnieuw wordt uitgevoerd met dezelfde parameters ongewijzigd blijft, de uitvoer van de vorige uitvoering van deze stap opnieuw wordt gebruikt. Wanneer u de stap opnieuw gebruikt, worden de resultaten van de vorige uitvoering onmiddellijk beschikbaar gemaakt voor eventuele volgende stappen in plaats van de taak te verzenden om te berekenen. Als u Azure Machine Learning-gegevenssets als invoer gebruikt, wordt hergebruik bepaald door of de definitie van de gegevensset is gewijzigd, niet door of de onderliggende gegevens zijn gewijzigd. |
version
Vereist
|
Optionele versietag om een wijziging in de functionaliteit voor de module aan te geven |
hash_paths
Vereist
|
AFGESCHAFT: niet meer nodig. Een lijst met paden naar hash bij het controleren op wijzigingen in de inhoud van de stap. Als er geen wijzigingen zijn gedetecteerd, gebruikt de pijplijn de stapinhoud van een vorige uitvoering opnieuw. Standaard wordt de inhoud van gehasht, met uitzondering van |
use_gpu
Vereist
|
Geeft aan of de omgeving om het experiment uit te voeren GPU's moet ondersteunen.
Indien Waar, wordt een op GPU gebaseerde standaard Docker-installatiekopieën gebruikt in de omgeving. Als onwaar is, wordt een op CPU gebaseerde installatiekopieën gebruikt. Standaard docker-installatiekopieën (CPU of GPU) worden alleen gebruikt als de |
use_docker
Vereist
|
Geeft aan of de omgeving om het experiment uit te voeren docker moet zijn. custom_docker_image (str): de naam van de docker-installatiekopie van waaruit de installatiekopie voor de mpi-taak wordt gemaakt. Als dit niet is ingesteld, wordt een standaard-CPU-installatiekopieën gebruikt als de basisinstallatiekopieën. |
custom_docker_image
Vereist
|
De naam van de Docker-installatiekopie van waaruit de installatiekopie voor training wordt gemaakt. Als dit niet is ingesteld, wordt een standaard-CPU-installatiekopieën gebruikt als basisinstallatiekopieën. |
image_registry_details
Vereist
|
De details van het register van de Docker-installatiekopieën. |
user_managed
Vereist
|
Geeft aan of Azure ML een bestaande Python-omgeving opnieuw gebruikt; False betekent dat Azure ML een Python-omgeving maakt op basis van de specificatie conda-afhankelijkheden. |
conda_packages
Vereist
|
Een lijst met tekenreeksen die conda-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving. |
pip_packages
Vereist
|
Een lijst met tekenreeksen die pip-pakketten vertegenwoordigen die moeten worden toegevoegd aan de Python-omgeving. |
pip_requirements_file_path
Vereist
|
Het relatieve pad naar het tekstbestand pip-vereisten.
Deze parameter kan worden opgegeven in combinatie met de |
environment_definition
Vereist
|
De EnvironmentDefinition voor het experiment. Het bevat PythonSection en DockerSection en omgevingsvariabelen. Elke omgevingsoptie die niet rechtstreeks via andere parameters aan de MpiStep-constructie wordt weergegeven, kan worden ingesteld met behulp van environment_definition parameter. Als deze parameter is opgegeven, heeft deze voorrang op andere omgevingsgerelateerde parameters, zoals use_gpu, custom_docker_image, conda_packages of pip_packages en worden er fouten gerapporteerd voor deze ongeldige combinaties. |