RunConfiguration Klasa

Reprezentuje konfigurację przebiegów eksperymentów przeznaczonych dla różnych obiektów obliczeniowych w usłudze Azure Machine Learning.

Obiekt RunConfiguration hermetyzuje informacje niezbędne do przesłania przebiegu trenowania w eksperymencie. Zazwyczaj obiekt RunConfiguration nie jest tworzony bezpośrednio, ale pobierany bezpośrednio z metody zwracającej ją, takiej jak submit metoda Experiment klasy.

RunConfiguration to podstawowa konfiguracja środowiska, która jest również używana w innych typach kroków konfiguracji, które zależą od rodzaju wyzwalanego przebiegu. Na przykład podczas konfigurowania PythonScriptStepelementu można uzyskać dostęp do obiektu RunConfiguration kroku i skonfigurować zależności Conda lub uzyskać dostęp do właściwości środowiska dla przebiegu.

Aby zapoznać się z przykładami konfiguracji uruchamiania, zobacz Wybieranie i używanie docelowego obiektu obliczeniowego do trenowania modelu.

Dziedziczenie
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
RunConfiguration

Konstruktor

RunConfiguration(script=None, arguments=None, framework=None, communicator=None, conda_dependencies=None, _history_enabled=None, _path=None, _name=None, command=None)

Parametry

script
str
wartość domyślna: None

Ścieżka względna do pliku skryptu języka Python. Ścieżka pliku jest względna względem katalogu źródłowego przekazanego do submit.

arguments
list[str]
wartość domyślna: None

Argumenty wiersza polecenia dla pliku skryptu języka Python.

framework
str
wartość domyślna: None

Docelowa struktura używana w przebiegu. Obsługiwane platformy to Python, PySpark, TensorFlow i PyTorch.

communicator
str
wartość domyślna: None

Komunikator używany w biegu. Obsługiwane komunikatory to None, ParameterServer, OpenMpi i IntelMpi. Należy pamiętać, że interfejs OpenMpi wymaga obrazu niestandardowego z zainstalowanym interfejsem OpenMpi. Użyj parametruServer lub OpenMpi dla klastrów AmlCompute. Użyj funkcji IntelMpi do zadań trenowania rozproszonego.

conda_dependencies
CondaDependencies
wartość domyślna: None

Po pozostawieniu wartości domyślnej false system tworzy środowisko języka Python, które zawiera pakiety określone w conda_dependenciespliku . Po ustawieniu wartości true można określić istniejące środowisko języka Python z ustawieniem python_interpreter.

auto_prepare_environment
bool
Wymagane

PRZESTARZAŁE. To ustawienie nie jest już używane.

command
list[str] lub str
wartość domyślna: None

Polecenie, które ma zostać przesłane do uruchomienia. Właściwość polecenia może być również używana zamiast skryptów/argumentów. Właściwości polecenia i skryptu/argumentu nie mogą być używane razem do przesyłania przebiegu. Aby przesłać plik skryptu przy użyciu właściwości polecenia ['python', 'train.py', '-arg1', arg1_val] Aby uruchomić rzeczywiste polecenie - ['ls']

_history_enabled
wartość domyślna: None
_path
wartość domyślna: None
_name
wartość domyślna: None

Uwagi

Zazwyczaj tworzymy systemy uczenia maszynowego w celu rozwiązania określonego problemu. Na przykład możemy zainteresować się znalezieniem najlepszego modelu, który plasuje strony internetowe, które mogą być obsługiwane jako wyniki wyszukiwania odpowiadające zapytaniu. Nasze wyszukiwanie najlepszego modelu uczenia maszynowego może wymagać wypróbowania różnych algorytmów lub rozważenia różnych ustawień parametrów itp.

W zestawie SDK usługi Azure Machine Learning używamy koncepcji eksperymentu w celu przechwycenia pojęcia, że różne przebiegi szkoleniowe są związane z problemem, który próbuje rozwiązać. Następnie Experiment działa jako kontener logiczny dla tych przebiegów szkoleniowych, co ułatwia śledzenie postępu między przebiegami trenowania, porównanie dwóch przebiegów treningowych bezpośrednio itp.

Element RunConfiguration hermetyzuje ustawienia środowiska wykonywania niezbędne do przesłania przebiegu trenowania w eksperymencie. Przechwytuje on zarówno współdzieloną strukturę przebiegów szkoleniowych, które mają na celu rozwiązanie tego samego problemu uczenia maszynowego, jak i różnice w parametrach konfiguracji (np. szybkość uczenia, funkcja utraty itp.), które różnią się od siebie różnymi przebiegami treningowymi.

W typowych scenariuszach trenowania funkcja RunConfiguration jest używana przez utworzenie ScriptRunConfig obiektu, który pakuje razem obiekt RunConfiguration i skrypt wykonywania do trenowania.

Konfiguracja funkcji RunConfiguration obejmuje następujące elementy:

  • Łączenie katalogu źródłowego eksperymentu, w tym przesłanego skryptu.

  • Ustawianie argumentów wiersza polecenia dla przesłanego skryptu.

  • Konfigurowanie ścieżki dla interpretera języka Python.

  • Uzyskaj konfigurację conda, aby zarządzać zależnościami aplikacji. Proces przesyłania zadania może używać konfiguracji do aprowizowania środowiska temp Conda i uruchamiania aplikacji w obrębie programu . Środowiska tymczasowe są buforowane i ponownie używane w kolejnych uruchomieniach.

  • Opcjonalne użycie platformy Docker i niestandardowych obrazów podstawowych.

  • Opcjonalny wybór przesyłania eksperymentu do wielu typów zasobów obliczeniowych platformy Azure.

  • Opcjonalny wybór konfigurowania sposobu materializacji danych wejściowych i przekazywania danych wyjściowych.

  • Zaawansowane ustawienia środowiska uruchomieniowego dla typowych środowisk uruchomieniowych, takich jak spark i tensorflow.

W poniższym przykładzie pokazano, jak przesłać skrypt trenowania na komputerze lokalnym.


   from azureml.core import ScriptRunConfig, RunConfiguration, Experiment

   # create or load an experiment
   experiment = Experiment(workspace, "MyExperiment")
   # run a trial from the train.py code in your current directory
   config = ScriptRunConfig(source_directory='.', script='train.py',
       run_config=RunConfiguration())
   run = experiment.submit(config)

W poniższym przykładzie pokazano, jak przesłać skrypt trenowania w klastrze przy użyciu właściwości polecenia zamiast skryptu i argumentów.


   from azureml.core import ScriptRunConfig, Experiment
   # create or load an experiment
   experiment = Experiment(workspace, 'MyExperiment')
   # create or retrieve a compute target
   cluster = workspace.compute_targets['MyCluster']
   # create or retrieve an environment
   env = Environment.get(ws, name='MyEnvironment')
   # configure and submit your training run
   config = ScriptRunConfig(source_directory='.',
                            command=['python', 'train.py', '--arg1', arg1_val],
                            compute_target=cluster,
                            environment=env)
   script_run = experiment.submit(config)

Poniższy przykład pokazuje, jak uruchomić polecenie w klastrze.


   from azureml.core import ScriptRunConfig, Experiment
   # create or load an experiment
   experiment = Experiment(workspace, 'MyExperiment')
   # create or retrieve a compute target
   cluster = workspace.compute_targets['MyCluster']
   # create or retrieve an environment
   env = Environment.get(ws, name='MyEnvironment')
   # configure and submit your training run
   config = ScriptRunConfig(source_directory='.',
                            command=['ls', '-l'],
                            compute_target=cluster,
                            environment=env)
   script_run = experiment.submit(config)

Zmienne

environment
Environment

Definicja środowiska. To pole konfiguruje środowisko języka Python. Można go skonfigurować do używania istniejącego środowiska języka Python lub skonfigurować do konfigurowania środowiska tymczasowego na potrzeby eksperymentu. Definicja jest również odpowiedzialna za ustawianie wymaganych zależności aplikacji.

max_run_duration_seconds
int

Maksymalny czas dla przebiegu. System podejmie próbę automatycznego anulowania przebiegu, jeśli trwało to dłużej niż ta wartość.

node_count
int

Liczba węzłów do użycia dla zadania.

priority
int

Priorytet zadania planowania zasad.

history
HistoryConfiguration

Sekcja konfiguracji używana do wyłączania i włączania funkcji rejestrowania historii eksperymentów.

spark
SparkConfiguration

Po ustawieniu platformy na wartość PySpark sekcja konfiguracja platformy Spark służy do ustawiania domyślnego zestawu SparkConf dla przesłanego zadania.

hdi
HdiConfiguration

Sekcja konfiguracji usługi HDI ma zastosowanie tylko wtedy, gdy element docelowy jest ustawiony na obliczenia usługi Azure HDI. Konfiguracja usługi HDI służy do ustawiania trybu wdrażania usługi YARN. Domyślnym trybem wdrażania jest klaster.

docker
DockerConfiguration

Sekcja konfiguracji platformy Docker służy do ustawiania zmiennych dla środowiska platformy Docker.

tensorflow
TensorflowConfiguration

Sekcja konfiguracji używana do konfigurowania rozproszonych parametrów biblioteki TensorFlow. Ten parametr ma zastosowanie tylko wtedy, gdy framework parametr jest ustawiony na TensorFlow, a parametr communicator na ParametrServer. AmlCompute jest jedynym obsługiwanym obliczeniam dla tej konfiguracji.

mpi
MpiConfiguration

Sekcja konfiguracji używana do konfigurowania rozproszonych parametrów zadania MPI. Ten parametr ma zastosowanie tylko wtedy, gdy framework parametr ma ustawioną wartość Python, a parametr communicator OpenMpi lub IntelMpi. AmlCompute jest jedynym obsługiwanym typem obliczeniowym dla tej konfiguracji.

pytorch
PyTorchConfiguration

Sekcja konfiguracji używana do konfigurowania rozproszonych parametrów zadania PyTorch. Ten parametr ma zastosowanie tylko wtedy, gdy framework parametr jest ustawiony na wartość PyTorch, a parametr communicator nccl lub Gloo. AmlCompute jest jedynym obsługiwanym typem obliczeniowym dla tej konfiguracji.

paralleltask
ParallelTaskConfiguration

Sekcja konfiguracji używana do konfigurowania rozproszonych parametrów zadania paralleltask. Ten parametr ma zastosowanie tylko wtedy, gdy framework parametr jest ustawiony na język Python, a parametr communicator ParallelTask. AmlCompute jest jedynym obsługiwanym typem obliczeniowym dla tej konfiguracji.

data_references
dict[str, DataReferenceConfiguration]

Wszystkie źródła danych są dostępne dla przebiegu podczas wykonywania na podstawie każdej konfiguracji. Dla każdego elementu słownika klucz jest nazwą nadaną źródle danych, a wartość to DataReferenceConfiguration.

data
dict[str, Data]

Wszystkie dane, które mają być dostępne dla przebiegu podczas wykonywania.

datacaches
<xref:buildin.list>[DatacacheConfiguration]

Wszystkie dane umożliwiające udostępnienie usługi datacache do uruchomienia podczas wykonywania.

output_data
OutputData

Wszystkie dane wyjściowe, które powinny zostać przekazane i śledzone dla tego przebiegu.

source_directory_data_store
str

Magazyn danych zaplecza dla udziału projektu.

amlcompute
AmlComputeConfiguration

Szczegóły obiektu docelowego obliczeniowego do utworzenia podczas eksperymentu. Konfiguracja ma zastosowanie tylko wtedy, gdy obiekt docelowy obliczeniowy to AmlCompute.

kubernetescompute
KubernetesComputeConfiguration

Szczegóły docelowego obiektu obliczeniowego do użycia podczas eksperymentu. Konfiguracja ma zastosowanie tylko wtedy, gdy docelowy obiekt obliczeniowy to KubernetesCompute.

services
dict[str, ApplicationEndpointConfiguration]

Punkty końcowe do interaktywnego użycia zasobu obliczeniowego. Dozwolone punkty końcowe to porty Jupyter, JupyterLab, VS Code, Tensorboard, SSH i Niestandardowe.

Metody

delete

Usuń plik konfiguracji uruchamiania.

Zgłasza wartość , UserErrorException jeśli plik konfiguracji nie zostanie znaleziony.

load

Załaduj wcześniej zapisany plik konfiguracji uruchamiania z pliku na dysku.

Jeśli path wskazuje plik, plik RunConfiguration jest ładowany z tego pliku.

Jeśli path wskazuje katalog, który powinien być katalogiem projektu, element RunConfiguration jest ładowany ze <ścieżki>/.azureml/<nazwy> lub <ścieżki>/aml_config/<nazwy>.

save

Zapisz plik RunConfiguration na dysku.

Element A UserErrorException jest zgłaszany, gdy:

  • Nie można zapisać właściwości RunConfiguration o określonej nazwie.

  • Nie name określono parametru.

  • Parametr path jest nieprawidłowy.

Jeśli path jest formatem <dir_path>/<file_name>, gdzie <dir_path> jest prawidłowym katalogiem, funkcja RunConfiguration jest zapisywana w <dir_path>/<file_name>.

Jeśli path wskazuje katalog, który powinien być katalogiem projektu, polecenie RunConfiguration jest zapisywane w ścieżce></.azureml/<name> lub <path>/aml_config/<name>.

Ta metoda jest przydatna podczas ręcznego edytowania konfiguracji lub udostępniania konfiguracji za pomocą interfejsu wiersza polecenia.

delete

Usuń plik konfiguracji uruchamiania.

Zgłasza wartość , UserErrorException jeśli plik konfiguracji nie zostanie znaleziony.

static delete(path, name)

Parametry

path
str
Wymagane

Użytkownik wybrał katalog główny dla konfiguracji uruchamiania. Zazwyczaj jest to repozytorium Git lub katalog główny projektu języka Python. Konfiguracja jest usuwana z katalogu podrzędnego o nazwie .azureml.

name
str
Wymagane

Nazwa pliku konfiguracji.

Wyjątki

UserErrorException

load

Załaduj wcześniej zapisany plik konfiguracji uruchamiania z pliku na dysku.

Jeśli path wskazuje plik, plik RunConfiguration jest ładowany z tego pliku.

Jeśli path wskazuje katalog, który powinien być katalogiem projektu, element RunConfiguration jest ładowany ze <ścieżki>/.azureml/<nazwy> lub <ścieżki>/aml_config/<nazwy>.

static load(path, name=None)

Parametry

path
str
Wymagane

Użytkownik wybrał katalog główny dla konfiguracji uruchamiania. Zazwyczaj jest to repozytorium Git lub katalog główny projektu języka Python. W celu zapewnienia zgodności z poprzednimi wersjami konfiguracja zostanie również załadowana z katalogu podrzędnego .azureml lub aml_config. Jeśli plik nie znajduje się w tych katalogach, plik jest ładowany z określonej ścieżki.

name
str
wartość domyślna: None

Nazwa pliku konfiguracji.

Zwraca

Obiekt konfiguracji uruchamiania.

Typ zwracany

Wyjątki

UserErrorException

save

Zapisz plik RunConfiguration na dysku.

Element A UserErrorException jest zgłaszany, gdy:

  • Nie można zapisać właściwości RunConfiguration o określonej nazwie.

  • Nie name określono parametru.

  • Parametr path jest nieprawidłowy.

Jeśli path jest formatem <dir_path>/<file_name>, gdzie <dir_path> jest prawidłowym katalogiem, funkcja RunConfiguration jest zapisywana w <dir_path>/<file_name>.

Jeśli path wskazuje katalog, który powinien być katalogiem projektu, polecenie RunConfiguration jest zapisywane w ścieżce></.azureml/<name> lub <path>/aml_config/<name>.

Ta metoda jest przydatna podczas ręcznego edytowania konfiguracji lub udostępniania konfiguracji za pomocą interfejsu wiersza polecenia.

save(path=None, name=None, separate_environment_yaml=False)

Parametry

separate_environment_yaml
bool
wartość domyślna: False

Wskazuje, czy zapisać konfigurację środowiska Conda. Jeśli prawda, konfiguracja środowiska Conda jest zapisywana w pliku YAML o nazwie "environment.yml".

path
str
wartość domyślna: None

Użytkownik wybrał katalog główny dla konfiguracji uruchamiania. Zazwyczaj jest to repozytorium Git lub katalog główny projektu języka Python. Konfiguracja jest zapisywana w katalogu podrzędnym o nazwie .azureml.

name
str
wartość domyślna: None

[Wymagane] Nazwa pliku konfiguracji.

Typ zwracany

Wyjątki

UserErrorException

Atrybuty

auto_prepare_environment

auto_prepare_environment Pobierz parametr. Jest to przestarzałe i nieużywane ustawienie.

environment_variables

Zmienne środowiskowe środowiska uruchomieniowego.

Zwraca

Zmienne środowiska uruchomieniowego

Typ zwracany

target

Pobierz docelowy obiekt obliczeniowy, w którym zadanie jest zaplanowane do wykonania.

Domyślnym obiektem docelowym jest "local" odwołujące się do komputera lokalnego. Dostępne cele obliczeniowe w chmurze można znaleźć przy użyciu funkcji compute_targets.

Zwraca

Nazwa docelowa

Typ zwracany

str