MpiStep Klasa
Tworzy krok potoku usługi Azure ML w celu uruchomienia zadania MPI.
Przykład użycia narzędzia MpiStep można znaleźć w notesie https://aka.ms/pl-style-trans.
Utwórz krok potoku usługi Azure ML, aby uruchomić zadanie MPI.
PRZESTARZAŁE. Zamiast tego użyj polecenia CommandStep . Przykład można znaleźć w temacie How to run distributed training in pipelines with CommandStep (Jak uruchomić trenowanie rozproszone w potokach za pomocą polecenia CommandStep).
- Dziedziczenie
-
MpiStep
Konstruktor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Parametry
- source_directory
- str
[Wymagane] Folder zawierający skrypt języka Python, env conda i inne zasoby używane w kroku.
- script_name
- str
[Wymagane] Nazwa skryptu języka Python względem source_directory.
- compute_target
- AmlCompute, str
[Wymagane] Docelowy obiekt obliczeniowy do użycia.
- node_count
- int
[Wymagane] Liczba węzłów w docelowym obiekcie obliczeniowym używanym do trenowania. Jeśli jest większe niż 1, zostanie uruchomione zadanie rozproszone mpi. Tylko obiekt docelowy obliczeniowy AmlCompute jest obsługiwany w przypadku zadań rozproszonych. Wartości PipelineParameter są obsługiwane.
- process_count_per_node
- int
[Wymagane] Liczba procesów na węzeł. Jeśli jest większe niż 1, zostanie uruchomione zadanie rozproszone mpi. Tylko obiekt docelowy obliczeniowy AmlCompute jest obsługiwany w przypadku zadań rozproszonych. Wartości PipelineParameter są obsługiwane.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Lista powiązań portów wejściowych.
Lista powiązań portów wyjściowych.
- params
- dict
Słownik par name-value zarejestrowanych jako zmienne środowiskowe z "AML_PARAMETER_".
- allow_reuse
- bool
Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego uruchomienia są natychmiast udostępniane wszelkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie.
- version
- str
Opcjonalny tag wersji, aby oznaczyć zmianę funkcjonalności modułu.
- hash_paths
- list
PRZESTARZAŁE: nie jest już potrzebne.
Lista ścieżek do skrótu podczas sprawdzania zmian w zawartości kroku. Jeśli nie wykryto żadnych zmian, potok ponownie użyje zawartości kroku z poprzedniego uruchomienia. Domyślnie zawartość elementu source_directory jest skrótem z wyjątkiem plików wymienionych w pliku .amlignore lub .gitignore.
- use_gpu
- bool
Wskazuje, czy środowisko do uruchomienia eksperymentu powinno obsługiwać procesory GPU.
Jeśli prawda, domyślny obraz platformy Docker oparty na procesorze GPU będzie używany w środowisku. Jeśli wartość False, zostanie użyty obraz oparty na procesorze CPU. Domyślne obrazy platformy Docker (procesor CPU lub PROCESOR GPU) będą używane tylko wtedy, gdy custom_docker_image parametr nie jest ustawiony. To ustawienie jest używane tylko w obiektach docelowych obliczeniowych z obsługą platformy Docker.
- use_docker
- bool
Wskazuje, czy środowisko do uruchomienia eksperymentu powinno być oparte na platformie Docker.
- custom_docker_image
- str
Nazwa obrazu platformy Docker, z którego obraz do użycia do trenowania zostanie utworzony. Jeśli nie zostanie ustawiony, zostanie użyty domyślny obraz oparty na procesorze CPU jako obraz podstawowy.
- user_managed
- bool
Wskazuje, czy usługa Azure ML ponownie używa istniejącego środowiska języka Python; Fałsz oznacza, że usługa Azure ML utworzy środowisko języka Python na podstawie specyfikacji zależności conda.
- conda_packages
- list
Lista ciągów reprezentujących pakiety conda do dodania do środowiska języka Python.
- pip_packages
- list
Lista ciągów reprezentujących pakiety pip do dodania do środowiska języka Python.
- pip_requirements_file_path
- str
Ścieżka względna do pliku tekstowego wymagań pip.
Ten parametr można określić w połączeniu z parametrem pip_packages .
- environment_definition
- EnvironmentDefinition
ŚrodowiskoDefinition dla eksperymentu. Obejmuje on zmienne środowiskowe i PythonSection oraz DockerSection. Każda opcja środowiska nie jest bezpośrednio uwidaczniona za pośrednictwem innych parametrów do konstrukcji MpiStep można ustawić przy użyciu parametru environment_definition. Jeśli ten parametr zostanie określony, pierwszeństwo będzie mieć inne parametry związane ze środowiskiem, takie jak use_gpu, custom_docker_image, conda_packages lub pip_packages i błędy zostaną zgłoszone na tych nieprawidłowych kombinacjach.
- source_directory
- str
[Wymagane] Folder zawierający skrypt języka Python, env conda i inne zasoby używane w kroku.
- compute_target
- <xref:azureml.core.compute.AmlComputeCompute>, str
[Wymagane] Docelowy obiekt obliczeniowy do użycia.
- node_count
- int
[Wymagane] Liczba węzłów w docelowym obiekcie obliczeniowym używanym do trenowania. Jeśli jest większe niż 1, zadanie rozproszone mpi zostanie uruchomione. Tylko obiekt docelowy obliczeniowy AmlCompute jest obsługiwany w przypadku zadań rozproszonych. Wartości PipelineParameter są obsługiwane.
- process_count_per_node
- int
[Wymagane] Liczba procesów na węzeł. Jeśli jest większe niż 1, zadanie rozproszone mpi zostanie uruchomione. Tylko obiekt docelowy obliczeniowy AmlCompute jest obsługiwany w przypadku zadań rozproszonych. Wartości PipelineParameter są obsługiwane.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Lista powiązań portów wejściowych.
- outputs
- list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]
Lista powiązań portów wyjściowych.
- params
- dict
Słownik par name-value zarejestrowanych jako zmienne środowiskowe z ">>AML_PARAMETER_<<".
- allow_reuse
- bool
Wskazuje, czy krok powinien ponownie używać poprzednich wyników podczas ponownego uruchamiania z tymi samymi parametrami pozostaje niezmieniony, dane wyjściowe z poprzedniego przebiegu tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego uruchomienia są natychmiast udostępniane wszelkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie.
- hash_paths
- list
PRZESTARZAŁE: nie jest już potrzebne.
Lista ścieżek do skrótu podczas sprawdzania zmian w zawartości kroku. Jeśli nie wykryto żadnych zmian, potok ponownie użyje zawartości kroku z poprzedniego uruchomienia. Domyślnie zawartość elementu source_directory jest skrótem z wyjątkiem plików wymienionych w pliku .amlignore lub .gitignore.
- use_gpu
- bool
Wskazuje, czy środowisko do uruchomienia eksperymentu powinno obsługiwać procesory GPU.
Jeśli prawda, domyślny obraz platformy Docker oparty na procesorze GPU będzie używany w środowisku. Jeśli wartość False, zostanie użyty obraz oparty na procesorze CPU. Domyślne obrazy platformy Docker (procesor CPU lub PROCESOR GPU) będą używane tylko wtedy, gdy custom_docker_image parametr nie jest ustawiony. To ustawienie jest używane tylko w obiektach docelowych obliczeniowych z obsługą platformy Docker.
- use_docker
- bool
Wskazuje, czy środowisko do uruchomienia eksperymentu powinno być oparte na platformie Docker. custom_docker_image (str): nazwa obrazu platformy Docker, z którego zostanie utworzony obraz do użycia dla zadania mpi. Jeśli nie zostanie ustawiony, domyślny obraz oparty na procesorze zostanie użyty jako obraz podstawowy.
- custom_docker_image
- str
Nazwa obrazu platformy Docker, z którego obraz do użycia do trenowania zostanie utworzony. Jeśli nie zostanie ustawiony, domyślny obraz oparty na procesorze CPU będzie używany jako obraz podstawowy.
- user_managed
- bool
Wskazuje, czy usługa Azure ML ponownie używa istniejącego środowiska języka Python; Wartość False oznacza, że usługa Azure ML utworzy środowisko języka Python na podstawie specyfikacji zależności conda.
- conda_packages
- list
Lista ciągów reprezentujących pakiety Conda do dodania do środowiska języka Python.
- pip_packages
- list
Lista ciągów reprezentujących pakiety pip do dodania do środowiska języka Python.
- pip_requirements_file_path
- str
Ścieżka względna do pliku tekstowego wymagań pip.
Ten parametr można określić w połączeniu z parametrem pip_packages .
- environment_definition
- EnvironmentDefinition
Element EnvironmentDefinition dla eksperymentu. Obejmuje ona zmienne środowiskowe PythonSection i DockerSection. Każda opcja środowiska nie jest bezpośrednio widoczna za pośrednictwem innych parametrów konstrukcji MpiStep można ustawić przy użyciu parametru environment_definition. Jeśli ten parametr zostanie określony, będzie mieć pierwszeństwo przed innymi parametrami związanymi ze środowiskiem, takimi jak use_gpu, custom_docker_image, conda_packages lub pip_packages, a błędy zostaną zgłoszone dla tych nieprawidłowych kombinacji.
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla