Bagikan melalui

AzureBatchStep Kelas

  • Referensi

Membuat langkah Alur Azure Machine Learning untuk mengirimkan pekerjaan ke Azure Batch.

Catatan: Langkah ini tidak mendukung pengunggahan/pengunduhan direktori dan kontennya.

Untuk contoh menggunakan AzureBatchStep, lihat buku catatan https://aka.ms/pl-azbatch.

Buat langkah Azure ML Pipeline untuk mengirimkan pekerjaan ke Azure Batch.

Warisan
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase
AzureBatchStep

Konstruktor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parameter

Nama Deskripsi
name
Diperlukan
str

[Diperlukan] Nama langkahnya.
create_pool
bool

Menunjukkan apakah akan membuat kumpulan sebelum menjalankan pekerjaan.

nilai default: False
pool_id
str

[Diperlukan] ID kumpulan tempat pekerjaan berjalan. ID dapat menjadi kumpulan yang ada, atau yang akan dibuat saat pekerjaan dikirimkan.

nilai default: None
delete_batch_job_after_finish
bool

Menunjukkan apakah akan menghapus pekerjaan dari akun Batch setelah selesai.

nilai default: True
delete_batch_pool_after_finish
bool

Menunjukkan apakah akan menghapus kumpulan setelah pekerjaan selesai.

nilai default: False
is_positive_exit_code_failure
bool

Menunjukkan apakah pekerjaan gagal jika tugas ada dengan kode positif.

nilai default: True
vm_image_urn
str

Jika create_pool True dan VM menggunakan VirtualMachineConfiguration. Format nilai: urn:publisher:offer:sku. Contoh: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

nilai default: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin
bool

Menunjukkan apakah tugas harus berjalan dengan hak istimewa admin.

nilai default: False
target_compute_nodes
int

Jika create_pool adalah True, menunjukkan berapa banyak simpul komputasi yang akan ditambahkan ke kumpulan.

nilai default: 1
vm_size
str

Jika create_pool True, menunjukkan ukuran mesin virtual dari node komputasi.

nilai default: standard_d1_v2
source_directory
str

Folder lokal yang berisi binari modul, eksekusi, rakitan, dll.

nilai default: None
executable
str

[Diperlukan] Nama perintah/eksekusi yang akan dijalankan sebagai bagian dari pekerjaan.

nilai default: None
arguments
str

Argumen untuk perintah/eksekusi.

nilai default: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Daftar pengikatan port input. Sebelum pekerjaan berjalan, folder dibuat untuk setiap input. File untuk setiap input akan disalin dari penyimpanan ke folder masing-masing pada node komputasi. Misalnya, jika nama input adalah input1, dan jalur relatif pada penyimpanan adalah some/relative/path/that/can/be/really/long/inputfile.txt, jalur file pada komputasi akan menjadi: ./input1/inputfile.txt. Ketika nama input lebih panjang dari 32 karakter, itu akan dipotong dan ditambahkan dengan akhiran unik sehingga nama folder dapat berhasil dibuat pada target komputasi.

nilai default: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Daftar pengikatan port output. Mirip dengan input, sebelum pekerjaan berjalan, folder dibuat untuk setiap output. Nama folder akan sama dengan nama output. Asumsinya adalah bahwa pekerjaan akan memasukkan output ke dalam folder itu.

nilai default: None
allow_reuse
bool

Menunjukkan apakah langkah tersebut harus menggunakan kembali hasil sebelumnya saat dijalankan lagi dengan pengaturan yang sama. Penggunaan kembali diaktifkan secara default. Jika konten langkah (skrip/dependensi) serta input dan parameter tetap tidak berubah, output dari eksekusi sebelumnya dari langkah ini digunakan ulang. Saat menggunakan ulang langkah tersebut, daripada mengirimkan pekerjaan ke komputasi, hasil dari eksekusi sebelumnya segera dibuat tersedia untuk langkah selanjutnya. Jika Anda menggunakan himpunan data Azure Machine Learning sebagai input, penggunaan ulang ditentukan oleh apakah definisi himpunan data telah berubah, bukan oleh apakah data yang mendasarinya telah berubah.

nilai default: True
compute_target
BatchCompute, str

[Diperlukan] Komputasi BatchCompute tempat pekerjaan berjalan.

nilai default: None
version
str

Tag versi opsional untuk menunjukkan perubahan fungsionalitas untuk modul.

nilai default: None
name
Diperlukan
str

[Diperlukan] Nama langkahnya.
create_pool
Diperlukan
bool

Menunjukkan apakah akan membuat kumpulan sebelum menjalankan pekerjaan.
pool_id
Diperlukan
str

[Diperlukan] ID kumpulan tempat pekerjaan berjalan. ID dapat menjadi kumpulan yang ada, atau yang akan dibuat saat pekerjaan dikirimkan.
delete_batch_job_after_finish
Diperlukan
bool

Menunjukkan apakah akan menghapus pekerjaan dari akun Batch setelah selesai.
delete_batch_pool_after_finish
Diperlukan
bool

Menunjukkan apakah akan menghapus kumpulan setelah pekerjaan selesai.
is_positive_exit_code_failure
Diperlukan
bool

Menunjukkan apakah pekerjaan gagal jika tugas ada dengan kode positif.
vm_image_urn
Diperlukan
str

Jika create_pool True dan VM menggunakan VirtualMachineConfiguration. Format nilai: urn:publisher:offer:sku. Contoh: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
run_task_as_admin
Diperlukan
bool

Menunjukkan apakah tugas harus berjalan dengan hak istimewa admin.
target_compute_nodes
Diperlukan
int

Jika create_pool adalah True, menunjukkan berapa banyak simpul komputasi yang akan ditambahkan ke kumpulan.
vm_size
Diperlukan
str

Jika create_pool True, menunjukkan ukuran Komputer virtual dari simpul komputasi.
source_directory
Diperlukan
str

Folder lokal yang berisi biner modul, dapat dieksekusi, rakitan, dll.
executable
Diperlukan
str

[Diperlukan] Nama perintah/eksekusi yang akan dijalankan sebagai bagian dari pekerjaan.
arguments
Diperlukan
list

Argumen untuk perintah/eksekusi.
inputs
Diperlukan
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Daftar pengikatan port input. Sebelum pekerjaan berjalan, folder dibuat untuk setiap input. File untuk setiap input akan disalin dari penyimpanan ke folder masing-masing pada node komputasi. Misalnya, jika nama input adalah input1, dan jalur relatif pada penyimpanan adalah some/relative/path/that/can/be/really/long/inputfile.txt, jalur file pada komputasi akan menjadi: ./input1/inputfile.txt. Jika nama input lebih panjang dari 32 karakter, nama tersebut akan dipotok dan ditambahkan dengan akhiran unik, sehingga nama folder dapat berhasil dibuat pada komputasi.
outputs
Diperlukan
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Daftar pengikatan port output. Mirip dengan input, sebelum pekerjaan berjalan, folder dibuat untuk setiap output. Nama folder akan sama dengan nama output. Asumsinya adalah bahwa pekerjaan akan memiliki output ke dalam folder tersebut.
allow_reuse
Diperlukan
bool

Menunjukkan apakah langkah tersebut harus menggunakan kembali hasil sebelumnya saat dijalankan lagi dengan pengaturan yang sama. Penggunaan kembali diaktifkan secara default. Jika konten langkah (skrip/dependensi) serta input dan parameter tetap tidak berubah, output dari eksekusi sebelumnya dari langkah ini digunakan ulang. Saat menggunakan ulang langkah tersebut, daripada mengirimkan pekerjaan ke komputasi, hasil dari eksekusi sebelumnya segera dibuat tersedia untuk langkah selanjutnya. Jika Anda menggunakan himpunan data Azure Machine Learning sebagai input, penggunaan ulang ditentukan oleh apakah definisi himpunan data telah berubah, bukan oleh apakah data yang mendasarinya telah berubah.
compute_target
Diperlukan
BatchCompute, str

[Diperlukan] Komputasi BatchCompute tempat pekerjaan berjalan.
version
Diperlukan
str

Tag versi opsional untuk menunjukkan perubahan fungsionalitas untuk modul.

Keterangan

Contoh berikut menunjukkan cara menggunakan AzureBatchStep dalam Alur Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Metode

create_node

Buat node dari langkah AzureBatch dan tambahkan ke grafik yang ditentukan.

Metode ini tidak dimaksudkan untuk digunakan secara langsung. Ketika alur dibuat dengan langkah ini, Azure Machine Learning secara otomatis meneruskan parameter yang diperlukan melalui metode ini sehingga langkah tersebut dapat ditambahkan ke grafik alur yang mewakili alur kerja.

create_node

Buat node dari langkah AzureBatch dan tambahkan ke grafik yang ditentukan.

Metode ini tidak dimaksudkan untuk digunakan secara langsung. Ketika alur dibuat dengan langkah ini, Azure Machine Learning secara otomatis meneruskan parameter yang diperlukan melalui metode ini sehingga langkah tersebut dapat ditambahkan ke grafik alur yang mewakili alur kerja.

create_node(graph, default_datastore, context)

Parameter

Nama Deskripsi
graph
Diperlukan
Graph

Objek grafik untuk menambahkan node.
default_datastore
Diperlukan
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Datastore default.
context
Diperlukan
<xref:azureml.pipeline.core._GraphContext>

Konteks grafik.

Mengembalikan

Jenis Deskripsi
Node

Node yang dibuat.