Udostępnij za pośrednictwem


AzureBatchStep Klasa

Tworzy krok potoku usługi Azure ML na potrzeby przesyłania zadań do Azure Batch.

Uwaga: ten krok nie obsługuje przekazywania/pobierania katalogów i ich zawartości.

Przykład użycia usługi AzureBatchStep można znaleźć w notesie https://aka.ms/pl-azbatch.

Utwórz krok potoku usługi Azure ML na potrzeby przesyłania zadań do Azure Batch.

Dziedziczenie
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase
AzureBatchStep

Konstruktor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parametry

Nazwa Opis
name
Wymagane
str

[Wymagane] Nazwa kroku.

create_pool

Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań.

Domyślna wartość: False
pool_id
str

[Wymagane] Identyfikator puli, w której jest uruchamiane zadanie. Identyfikator może być istniejącą pulą lub pulą, która zostanie utworzona po przesłaniu zadania.

Domyślna wartość: None
delete_batch_job_after_finish

Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu.

Domyślna wartość: True
delete_batch_pool_after_finish

Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania.

Domyślna wartość: False
is_positive_exit_code_failure

Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim.

Domyślna wartość: True
vm_image_urn
str

Jeśli create_pool ma wartość True, a maszyna wirtualna używa funkcji VirtualMachineConfiguration. Format wartości: urn:publisher:offer:sku. Przykład: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

Domyślna wartość: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin

Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami administratora.

Domyślna wartość: False
target_compute_nodes
int

Jeśli create_pool ma wartość True, wskazuje, ile węzłów obliczeniowych zostanie dodanych do puli.

Domyślna wartość: 1
vm_size
str

Jeśli create_pool ma wartość True, wskazuje rozmiar maszyny wirtualnej węzłów obliczeniowych.

Domyślna wartość: standard_d1_v2
source_directory
str

Folder lokalny zawierający pliki binarne modułu, plik wykonywalny, zestawy itp.

Domyślna wartość: None
executable
str

[Wymagane] Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania.

Domyślna wartość: None
arguments
str

Argumenty polecenia/pliku wykonywalnego.

Domyślna wartość: None
inputs

Lista powiązań portów wejściowych. Przed uruchomieniem zadania zostanie utworzony folder dla każdego danych wejściowych. Pliki dla poszczególnych danych wejściowych zostaną skopiowane z magazynu do odpowiedniego folderu w węźle obliczeniowym. Jeśli na przykład nazwa wejściowa to input1, a ścieżka względna w magazynie to część/względna/ścieżka/to/może/be/really/long/inputfile.txt, ścieżka pliku w obliczeniach będzie następująca: ./input1/inputfile.txt. Jeśli nazwa wejściowa jest dłuższa niż 32 znaki, zostanie obcięta i dołączona z unikatowym sufiksem, aby nazwa folderu mogła zostać pomyślnie utworzona na docelowym obiekcie obliczeniowym.

Domyślna wartość: None
outputs

Lista powiązań portów wyjściowych. Podobnie jak w przypadku danych wejściowych, przed uruchomieniem zadania zostanie utworzony folder dla poszczególnych danych wyjściowych. Nazwa folderu będzie taka sama jak nazwa danych wyjściowych. Zakłada się, że zadanie umieści dane wyjściowe w tym folderze.

Domyślna wartość: None
allow_reuse

Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego przebiegu są natychmiast udostępniane wszystkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie.

Domyślna wartość: True
compute_target

[Wymagane] Usługa BatchCompute oblicza, gdzie jest uruchamiane zadanie.

Domyślna wartość: None
version
str

Opcjonalny tag wersji, aby oznaczyć zmianę funkcji modułu.

Domyślna wartość: None
name
Wymagane
str

[Wymagane] Nazwa kroku.

create_pool
Wymagane

Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań.

pool_id
Wymagane
str

[Wymagane] Identyfikator puli, w której jest uruchamiane zadanie. Identyfikator może być istniejącą pulą lub pulą, która zostanie utworzona po przesłaniu zadania.

delete_batch_job_after_finish
Wymagane

Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu.

delete_batch_pool_after_finish
Wymagane

Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania.

is_positive_exit_code_failure
Wymagane

Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim.

vm_image_urn
Wymagane
str

Jeśli create_pool ma wartość True, a maszyna wirtualna używa funkcji VirtualMachineConfiguration. Format wartości: urn:publisher:offer:sku. Przykład: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

run_task_as_admin
Wymagane

Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami administratora.

target_compute_nodes
Wymagane
int

Jeśli create_pool ma wartość True, wskazuje, ile węzłów obliczeniowych zostanie dodanych do puli.

vm_size
Wymagane
str

Jeśli create_pool ma wartość True, wskazuje rozmiar maszyny wirtualnej węzłów obliczeniowych.

source_directory
Wymagane
str

Folder lokalny zawierający pliki binarne modułu, plik wykonywalny, zestawy itp.

executable
Wymagane
str

[Wymagane] Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania.

arguments
Wymagane

Argumenty polecenia/pliku wykonywalnego.

inputs
Wymagane

Lista powiązań portów wejściowych. Przed uruchomieniem zadania zostanie utworzony folder dla każdego danych wejściowych. Pliki dla poszczególnych danych wejściowych zostaną skopiowane z magazynu do odpowiedniego folderu w węźle obliczeniowym. Jeśli na przykład nazwa wejściowa to input1, a ścieżka względna w magazynie to część/względna/ścieżka/to/może/be/really/long/inputfile.txt, ścieżka pliku w obliczeniach będzie następująca: ./input1/inputfile.txt. W przypadku, gdy nazwa danych wejściowych jest dłuższa niż 32 znaki, zostanie obcięta i dołączona z unikatowym sufiksem, aby nazwa folderu mogła zostać pomyślnie utworzona w obliczeniach.

outputs
Wymagane

Lista powiązań portów wyjściowych. Podobnie jak w przypadku danych wejściowych, przed uruchomieniem zadania zostanie utworzony folder dla poszczególnych danych wyjściowych. Nazwa folderu będzie taka sama jak nazwa danych wyjściowych. Zakłada się, że zadanie będzie miało dane wyjściowe w tym folderze.

allow_reuse
Wymagane

Wskazuje, czy krok powinien ponownie używać poprzednich wyników po ponownym uruchomieniu z tymi samymi ustawieniami. Ponowne użycie jest domyślnie włączone. Jeśli zawartość kroku (skrypty/zależności) oraz dane wejściowe i parametry pozostają niezmienione, dane wyjściowe z poprzedniego uruchomienia tego kroku są ponownie używane. Podczas ponownego wykonywania kroku zamiast przesyłania zadania do obliczeń wyniki z poprzedniego przebiegu są natychmiast udostępniane wszystkim kolejnym krokom. Jeśli używasz zestawów danych usługi Azure Machine Learning jako danych wejściowych, ponowne użycie zależy od tego, czy definicja zestawu danych uległa zmianie, a nie przez to, czy dane bazowe uległy zmianie.

compute_target
Wymagane

[Wymagane] Usługa BatchCompute oblicza, gdzie jest uruchamiane zadanie.

version
Wymagane
str

Opcjonalny tag wersji, aby oznaczyć zmianę funkcji modułu.

Uwagi

W poniższym przykładzie pokazano, jak używać usługi AzureBatchStep w potoku usługi Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

Pełna próbka jest dostępna w witrynie https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Metody

create_node

Utwórz węzeł z kroku AzureBatch i dodaj go do określonego grafu.

Ta metoda nie jest przeznaczona do bezpośredniego użycia. Po utworzeniu wystąpienia potoku w tym kroku usługa Azure ML automatycznie przekazuje wymagane parametry za pośrednictwem tej metody, aby można było dodać krok do grafu potoku reprezentującego przepływ pracy.

create_node

Utwórz węzeł z kroku AzureBatch i dodaj go do określonego grafu.

Ta metoda nie jest przeznaczona do bezpośredniego użycia. Po utworzeniu wystąpienia potoku w tym kroku usługa Azure ML automatycznie przekazuje wymagane parametry za pośrednictwem tej metody, aby można było dodać krok do grafu potoku reprezentującego przepływ pracy.

create_node(graph, default_datastore, context)

Parametry

Nazwa Opis
graph
Wymagane

Obiekt grafu, do który ma zostać dodany węzeł.

default_datastore
Wymagane

Domyślny magazyn danych.

context
Wymagane
<xref:azureml.pipeline.core._GraphContext>

Kontekst grafu.

Zwraca

Typ Opis

Utworzony węzeł.