AzureBatchStep Klasa
Tworzy krok potoku usługi Azure ML na potrzeby przesyłania zadań do Azure Batch.
Uwaga: ten krok nie obsługuje przekazywania/pobierania katalogów i ich zawartości.
Przykład użycia usługi AzureBatchStep można znaleźć w notesie https://aka.ms/pl-azbatch.
Utwórz krok potoku usługi Azure ML na potrzeby przesyłania zadań do Azure Batch.
- Dziedziczenie
-
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBaseAzureBatchStep
Konstruktor
AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)
Parametry
Nazwa | Opis |
---|---|
name
Wymagane
|
[Wymagane] Nazwa kroku. |
create_pool
|
Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań. Domyślna wartość: False
|
pool_id
|
[Wymagane] Identyfikator puli, w której jest uruchamiane zadanie. Identyfikator może być istniejącą pulą lub pulą, która zostanie utworzona po przesłaniu zadania. Domyślna wartość: None
|
delete_batch_job_after_finish
|
Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu. Domyślna wartość: True
|
delete_batch_pool_after_finish
|
Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania. Domyślna wartość: False
|
is_positive_exit_code_failure
|
Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim. Domyślna wartość: True
|
vm_image_urn
|
Jeśli Domyślna wartość: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
|
run_task_as_admin
|
Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami administratora. Domyślna wartość: False
|
target_compute_nodes
|
Jeśli Domyślna wartość: 1
|
vm_size
|
Jeśli Domyślna wartość: standard_d1_v2
|
source_directory
|
Folder lokalny zawierający pliki binarne modułu, plik wykonywalny, zestawy itp. Domyślna wartość: None
|
executable
|
[Wymagane] Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania. Domyślna wartość: None
|
arguments
|
Argumenty polecenia/pliku wykonywalnego. Domyślna wartość: None
|
inputs
|
Lista powiązań portów wejściowych. Przed uruchomieniem zadania zostanie utworzony folder dla każdego danych wejściowych. Pliki dla poszczególnych danych wejściowych zostaną skopiowane z magazynu do odpowiedniego folderu w węźle obliczeniowym. Jeśli na przykład nazwa wejściowa to input1, a ścieżka względna w magazynie to część/względna/ścieżka/to/może/be/really/long/inputfile.txt, ścieżka pliku w obliczeniach będzie następująca: ./input1/inputfile.txt. Jeśli nazwa wejściowa jest dłuższa niż 32 znaki, zostanie obcięta i dołączona z unikatowym sufiksem, aby nazwa folderu mogła zostać pomyślnie utworzona na docelowym obiekcie obliczeniowym. Domyślna wartość: None
|
outputs
|
Lista powiązań portów wyjściowych. Podobnie jak w przypadku danych wejściowych, przed uruchomieniem zadania zostanie utworzony folder dla poszczególnych danych wyjściowych. Nazwa folderu będzie taka sama jak nazwa danych wyjściowych. Zakłada się, że zadanie umieści dane wyjściowe w tym folderze. Domyślna wartość: None
|
allow_reuse
|
Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego przebiegu są natychmiast udostępniane wszystkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie. Domyślna wartość: True
|
compute_target
|
[Wymagane] Usługa BatchCompute oblicza, gdzie jest uruchamiane zadanie. Domyślna wartość: None
|
version
|
Opcjonalny tag wersji, aby oznaczyć zmianę funkcji modułu. Domyślna wartość: None
|
name
Wymagane
|
[Wymagane] Nazwa kroku. |
create_pool
Wymagane
|
Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań. |
pool_id
Wymagane
|
[Wymagane] Identyfikator puli, w której jest uruchamiane zadanie. Identyfikator może być istniejącą pulą lub pulą, która zostanie utworzona po przesłaniu zadania. |
delete_batch_job_after_finish
Wymagane
|
Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu. |
delete_batch_pool_after_finish
Wymagane
|
Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania. |
is_positive_exit_code_failure
Wymagane
|
Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim. |
vm_image_urn
Wymagane
|
Jeśli |
run_task_as_admin
Wymagane
|
Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami administratora. |
target_compute_nodes
Wymagane
|
Jeśli |
vm_size
Wymagane
|
Jeśli |
source_directory
Wymagane
|
Folder lokalny zawierający pliki binarne modułu, plik wykonywalny, zestawy itp. |
executable
Wymagane
|
[Wymagane] Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania. |
arguments
Wymagane
|
Argumenty polecenia/pliku wykonywalnego. |
inputs
Wymagane
|
Lista powiązań portów wejściowych. Przed uruchomieniem zadania zostanie utworzony folder dla każdego danych wejściowych. Pliki dla poszczególnych danych wejściowych zostaną skopiowane z magazynu do odpowiedniego folderu w węźle obliczeniowym. Jeśli na przykład nazwa wejściowa to input1, a ścieżka względna w magazynie to część/względna/ścieżka/to/może/be/really/long/inputfile.txt, ścieżka pliku w obliczeniach będzie następująca: ./input1/inputfile.txt. W przypadku, gdy nazwa danych wejściowych jest dłuższa niż 32 znaki, zostanie obcięta i dołączona z unikatowym sufiksem, aby nazwa folderu mogła zostać pomyślnie utworzona w obliczeniach. |
outputs
Wymagane
|
Lista powiązań portów wyjściowych. Podobnie jak w przypadku danych wejściowych, przed uruchomieniem zadania zostanie utworzony folder dla poszczególnych danych wyjściowych. Nazwa folderu będzie taka sama jak nazwa danych wyjściowych. Zakłada się, że zadanie będzie miało dane wyjściowe w tym folderze. |
allow_reuse
Wymagane
|
Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego przebiegu są natychmiast udostępniane wszystkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie. |
compute_target
Wymagane
|
[Wymagane] Usługa BatchCompute oblicza, gdzie jest uruchamiane zadanie. |
version
Wymagane
|
Opcjonalny tag wersji, aby oznaczyć zmianę funkcji modułu. |
Uwagi
W poniższym przykładzie pokazano, jak używać usługi AzureBatchStep w potoku usługi Azure Machine Learning.
step = AzureBatchStep(
name="Azure Batch Job",
pool_id="MyPoolName", # Replace this with the pool name of your choice
inputs=[testdata],
outputs=[outputdata],
executable="azurebatch.cmd",
arguments=[testdata, outputdata],
compute_target=batch_compute,
source_directory=binaries_folder,
)
Pełna próbka jest dostępna w witrynie https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb
Metody
create_node |
Utwórz węzeł z kroku AzureBatch i dodaj go do określonego grafu. Ta metoda nie jest przeznaczona do bezpośredniego użycia. Po utworzeniu wystąpienia potoku w tym kroku usługa Azure ML automatycznie przekazuje wymagane parametry za pośrednictwem tej metody, aby można było dodać krok do grafu potoku reprezentującego przepływ pracy. |
create_node
Utwórz węzeł z kroku AzureBatch i dodaj go do określonego grafu.
Ta metoda nie jest przeznaczona do bezpośredniego użycia. Po utworzeniu wystąpienia potoku w tym kroku usługa Azure ML automatycznie przekazuje wymagane parametry za pośrednictwem tej metody, aby można było dodać krok do grafu potoku reprezentującego przepływ pracy.
create_node(graph, default_datastore, context)
Parametry
Nazwa | Opis |
---|---|
graph
Wymagane
|
Obiekt grafu, do który ma zostać dodany węzeł. |
default_datastore
Wymagane
|
Domyślny magazyn danych. |
context
Wymagane
|
<xref:azureml.pipeline.core._GraphContext>
Kontekst grafu. |
Zwraca
Typ | Opis |
---|---|
Utworzony węzeł. |