Udostępnij za pośrednictwem

AzureBatchStep Klasa

  • Odwołanie

Tworzy krok potoku usługi Azure ML na potrzeby przesyłania zadań do Azure Batch.

Uwaga: ten krok nie obsługuje przekazywania/pobierania katalogów i ich zawartości.

Przykład użycia usługi AzureBatchStep można znaleźć w notesie https://aka.ms/pl-azbatch.

Utwórz krok potoku usługi Azure ML na potrzeby przesyłania zadań do Azure Batch.

Dziedziczenie
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase
AzureBatchStep

Konstruktor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parametry

Nazwa Opis
name
Wymagane
str

[Wymagane] Nazwa kroku.
create_pool
bool

Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań.

wartość domyślna: False
pool_id
str

[Wymagane] Identyfikator puli, w której jest uruchamiane zadanie. Identyfikator może być istniejącą pulą lub pulą, która zostanie utworzona po przesłaniu zadania.

wartość domyślna: None
delete_batch_job_after_finish
bool

Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu.

wartość domyślna: True
delete_batch_pool_after_finish
bool

Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania.

wartość domyślna: False
is_positive_exit_code_failure
bool

Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim.

wartość domyślna: True
vm_image_urn
str

Jeśli create_pool ma wartość True, a maszyna wirtualna używa funkcji VirtualMachineConfiguration. Format wartości: urn:publisher:offer:sku. Przykład: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

wartość domyślna: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin
bool

Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami administratora.

wartość domyślna: False
target_compute_nodes
int

Jeśli create_pool ma wartość True, wskazuje, ile węzłów obliczeniowych zostanie dodanych do puli.

wartość domyślna: 1
vm_size
str

Jeśli create_pool ma wartość True, wskazuje rozmiar maszyny wirtualnej węzłów obliczeniowych.

wartość domyślna: standard_d1_v2
source_directory
str

Folder lokalny zawierający pliki binarne modułu, plik wykonywalny, zestawy itp.

wartość domyślna: None
executable
str

[Wymagane] Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania.

wartość domyślna: None
arguments
str

Argumenty polecenia/pliku wykonywalnego.

wartość domyślna: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Lista powiązań portów wejściowych. Przed uruchomieniem zadania zostanie utworzony folder dla każdego danych wejściowych. Pliki dla poszczególnych danych wejściowych zostaną skopiowane z magazynu do odpowiedniego folderu w węźle obliczeniowym. Jeśli na przykład nazwa wejściowa to input1, a ścieżka względna w magazynie to część/względna/ścieżka/to/może/be/really/long/inputfile.txt, ścieżka pliku w obliczeniach będzie następująca: ./input1/inputfile.txt. Jeśli nazwa wejściowa jest dłuższa niż 32 znaki, zostanie obcięta i dołączona z unikatowym sufiksem, aby nazwa folderu mogła zostać pomyślnie utworzona na docelowym obiekcie obliczeniowym.

wartość domyślna: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Lista powiązań portów wyjściowych. Podobnie jak w przypadku danych wejściowych, przed uruchomieniem zadania zostanie utworzony folder dla poszczególnych danych wyjściowych. Nazwa folderu będzie taka sama jak nazwa danych wyjściowych. Zakłada się, że zadanie umieści dane wyjściowe w tym folderze.

wartość domyślna: None
allow_reuse
bool

Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego przebiegu są natychmiast udostępniane wszystkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie.

wartość domyślna: True
compute_target
BatchCompute, str

[Wymagane] Usługa BatchCompute oblicza, gdzie jest uruchamiane zadanie.

wartość domyślna: None
version
str

Opcjonalny tag wersji, aby oznaczyć zmianę funkcji modułu.

wartość domyślna: None
name
Wymagane
str

[Wymagane] Nazwa kroku.
create_pool
Wymagane
bool

Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań.
pool_id
Wymagane
str

[Wymagane] Identyfikator puli, w której jest uruchamiane zadanie. Identyfikator może być istniejącą pulą lub pulą, która zostanie utworzona po przesłaniu zadania.
delete_batch_job_after_finish
Wymagane
bool

Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu.
delete_batch_pool_after_finish
Wymagane
bool

Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania.
is_positive_exit_code_failure
Wymagane
bool

Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim.
vm_image_urn
Wymagane
str

Jeśli create_pool ma wartość True, a maszyna wirtualna używa funkcji VirtualMachineConfiguration. Format wartości: urn:publisher:offer:sku. Przykład: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
run_task_as_admin
Wymagane
bool

Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami administratora.
target_compute_nodes
Wymagane
int

Jeśli create_pool ma wartość True, wskazuje, ile węzłów obliczeniowych zostanie dodanych do puli.
vm_size
Wymagane
str

Jeśli create_pool ma wartość True, wskazuje rozmiar maszyny wirtualnej węzłów obliczeniowych.
source_directory
Wymagane
str

Folder lokalny zawierający pliki binarne modułu, plik wykonywalny, zestawy itp.
executable
Wymagane
str

[Wymagane] Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania.
arguments
Wymagane
list

Argumenty polecenia/pliku wykonywalnego.
inputs
Wymagane
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Lista powiązań portów wejściowych. Przed uruchomieniem zadania zostanie utworzony folder dla każdego danych wejściowych. Pliki dla poszczególnych danych wejściowych zostaną skopiowane z magazynu do odpowiedniego folderu w węźle obliczeniowym. Jeśli na przykład nazwa wejściowa to input1, a ścieżka względna w magazynie to część/względna/ścieżka/to/może/be/really/long/inputfile.txt, ścieżka pliku w obliczeniach będzie następująca: ./input1/inputfile.txt. W przypadku, gdy nazwa danych wejściowych jest dłuższa niż 32 znaki, zostanie obcięta i dołączona z unikatowym sufiksem, aby nazwa folderu mogła zostać pomyślnie utworzona w obliczeniach.
outputs
Wymagane
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Lista powiązań portów wyjściowych. Podobnie jak w przypadku danych wejściowych, przed uruchomieniem zadania zostanie utworzony folder dla poszczególnych danych wyjściowych. Nazwa folderu będzie taka sama jak nazwa danych wyjściowych. Zakłada się, że zadanie będzie miało dane wyjściowe w tym folderze.
allow_reuse
Wymagane
bool

Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego przebiegu są natychmiast udostępniane wszystkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie.
compute_target
Wymagane
BatchCompute, str

[Wymagane] Usługa BatchCompute oblicza, gdzie jest uruchamiane zadanie.
version
Wymagane
str

Opcjonalny tag wersji, aby oznaczyć zmianę funkcji modułu.

Uwagi

W poniższym przykładzie pokazano, jak używać usługi AzureBatchStep w potoku usługi Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

Pełna próbka jest dostępna w witrynie https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Metody

create_node

Utwórz węzeł z kroku AzureBatch i dodaj go do określonego grafu.

Ta metoda nie jest przeznaczona do bezpośredniego użycia. Po utworzeniu wystąpienia potoku w tym kroku usługa Azure ML automatycznie przekazuje wymagane parametry za pośrednictwem tej metody, aby można było dodać krok do grafu potoku reprezentującego przepływ pracy.

create_node

Utwórz węzeł z kroku AzureBatch i dodaj go do określonego grafu.

Ta metoda nie jest przeznaczona do bezpośredniego użycia. Po utworzeniu wystąpienia potoku w tym kroku usługa Azure ML automatycznie przekazuje wymagane parametry za pośrednictwem tej metody, aby można było dodać krok do grafu potoku reprezentującego przepływ pracy.

create_node(graph, default_datastore, context)

Parametry

Nazwa Opis
graph
Wymagane
Graph

Obiekt grafu, do który ma zostać dodany węzeł.
default_datastore
Wymagane
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Domyślny magazyn danych.
context
Wymagane
<xref:azureml.pipeline.core._GraphContext>

Kontekst grafu.

Zwraca

Typ Opis
Node

Utworzony węzeł.