Bagikan melalui

AzureBatchStep Kelas

  • Referensi

Membuat langkah Alur Azure Machine Learning untuk mengirimkan pekerjaan ke Azure Batch.

Catatan: Langkah ini tidak mendukung pengunggahan/pengunduhan direktori dan kontennya.

Untuk contoh menggunakan AzureBatchStep, lihat buku catatan https://aka.ms/pl-azbatch.

Buat langkah Azure ML Pipeline untuk mengirimkan pekerjaan ke Azure Batch.

Warisan
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase
AzureBatchStep

Konstruktor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parameter

name
str
Diperlukan

[Diperlukan] Nama langkahnya.

create_pool
bool
nilai default: False

Menunjukkan apakah akan membuat kumpulan sebelum menjalankan pekerjaan.

pool_id
str
nilai default: None

[Diperlukan] ID kumpulan tempat pekerjaan berjalan. ID dapat menjadi kumpulan yang ada, atau yang akan dibuat saat pekerjaan dikirimkan.

delete_batch_job_after_finish
bool
nilai default: True

Menunjukkan apakah akan menghapus pekerjaan dari akun Batch setelah selesai.

delete_batch_pool_after_finish
bool
nilai default: False

Menunjukkan apakah akan menghapus kumpulan setelah pekerjaan selesai.

is_positive_exit_code_failure
bool
nilai default: True

Menunjukkan apakah pekerjaan gagal jika tugas ada dengan kode positif.

vm_image_urn
str
nilai default: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter

Jika create_pool True dan VM menggunakan VirtualMachineConfiguration. Format nilai: urn:publisher:offer:sku. Contoh: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

run_task_as_admin
bool
nilai default: False

Menunjukkan apakah tugas harus berjalan dengan hak istimewa admin.

target_compute_nodes
int
nilai default: 1

Jika create_pool adalah True, menunjukkan berapa banyak simpul komputasi yang akan ditambahkan ke kumpulan.

vm_size
str
nilai default: standard_d1_v2

Jika create_pool True, menunjukkan ukuran mesin virtual dari node komputasi.

source_directory
str
nilai default: None

Folder lokal yang berisi binari modul, eksekusi, rakitan, dll.

executable
str
nilai default: None

[Diperlukan] Nama perintah/eksekusi yang akan dijalankan sebagai bagian dari pekerjaan.

arguments
str
nilai default: None

Argumen untuk perintah/eksekusi.

inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
nilai default: None

Daftar pengikatan port input. Sebelum pekerjaan berjalan, folder dibuat untuk setiap input. File untuk setiap input akan disalin dari penyimpanan ke folder masing-masing pada node komputasi. Misalnya, jika nama input adalah input1, dan jalur relatif pada penyimpanan adalah some/relative/path/that/can/be/really/long/inputfile.txt, jalur file pada komputasi akan menjadi: ./input1/inputfile.txt. Ketika nama input lebih panjang dari 32 karakter, itu akan dipotong dan ditambahkan dengan akhiran unik sehingga nama folder dapat berhasil dibuat pada target komputasi.

outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]
nilai default: None

Daftar pengikatan port output. Mirip dengan input, sebelum pekerjaan berjalan, folder dibuat untuk setiap output. Nama folder akan sama dengan nama output. Asumsinya adalah bahwa pekerjaan akan memasukkan output ke dalam folder itu.

allow_reuse
bool
nilai default: True

Menunjukkan apakah langkah tersebut harus menggunakan kembali hasil sebelumnya saat dijalankan lagi dengan pengaturan yang sama. Penggunaan kembali diaktifkan secara default. Jika konten langkah (skrip/dependensi) serta input dan parameter tetap tidak berubah, output dari eksekusi sebelumnya dari langkah ini digunakan ulang. Saat menggunakan ulang langkah tersebut, daripada mengirimkan pekerjaan ke komputasi, hasil dari eksekusi sebelumnya segera dibuat tersedia untuk langkah selanjutnya. Jika Anda menggunakan himpunan data Azure Machine Learning sebagai input, penggunaan ulang ditentukan oleh apakah definisi himpunan data telah berubah, bukan oleh apakah data yang mendasarinya telah berubah.

compute_target
BatchCompute, str
nilai default: None

[Diperlukan] Komputasi BatchCompute tempat pekerjaan berjalan.

version
str
nilai default: None

Tag versi opsional untuk menunjukkan perubahan fungsionalitas untuk modul.

name
str
Diperlukan

[Diperlukan] Nama langkahnya.

create_pool
bool
Diperlukan

Menunjukkan apakah akan membuat kumpulan sebelum menjalankan pekerjaan.

pool_id
str
Diperlukan

[Diperlukan] ID kumpulan tempat pekerjaan berjalan. ID dapat menjadi kumpulan yang ada, atau yang akan dibuat saat pekerjaan dikirimkan.

delete_batch_job_after_finish
bool
Diperlukan

Menunjukkan apakah akan menghapus pekerjaan dari akun Batch setelah selesai.

delete_batch_pool_after_finish
bool
Diperlukan

Menunjukkan apakah akan menghapus kumpulan setelah pekerjaan selesai.

is_positive_exit_code_failure
bool
Diperlukan

Menunjukkan apakah pekerjaan gagal jika tugas ada dengan kode positif.

vm_image_urn
str
Diperlukan

Jika create_pool True dan VM menggunakan VirtualMachineConfiguration. Format nilai: urn:publisher:offer:sku. Contoh: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

run_task_as_admin
bool
Diperlukan

Menunjukkan apakah tugas harus berjalan dengan hak istimewa admin.

target_compute_nodes
int
Diperlukan

Jika create_pool adalah True, menunjukkan berapa banyak simpul komputasi yang akan ditambahkan ke kumpulan.

vm_size
str
Diperlukan

Jika create_pool True, menunjukkan ukuran Komputer virtual dari simpul komputasi.

source_directory
str
Diperlukan

Folder lokal yang berisi biner modul, dapat dieksekusi, rakitan, dll.

executable
str
Diperlukan

[Diperlukan] Nama perintah/eksekusi yang akan dijalankan sebagai bagian dari pekerjaan.

arguments
list
Diperlukan

Argumen untuk perintah/eksekusi.

inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
Diperlukan

Daftar pengikatan port input. Sebelum pekerjaan berjalan, folder dibuat untuk setiap input. File untuk setiap input akan disalin dari penyimpanan ke folder masing-masing pada node komputasi. Misalnya, jika nama input adalah input1, dan jalur relatif pada penyimpanan adalah some/relative/path/that/can/be/really/long/inputfile.txt, jalur file pada komputasi akan menjadi: ./input1/inputfile.txt. Jika nama input lebih panjang dari 32 karakter, nama tersebut akan dipotok dan ditambahkan dengan akhiran unik, sehingga nama folder dapat berhasil dibuat pada komputasi.

outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]
Diperlukan

Daftar pengikatan port output. Mirip dengan input, sebelum pekerjaan berjalan, folder dibuat untuk setiap output. Nama folder akan sama dengan nama output. Asumsinya adalah bahwa pekerjaan akan memiliki output ke dalam folder tersebut.

allow_reuse
bool
Diperlukan

Menunjukkan apakah langkah tersebut harus menggunakan kembali hasil sebelumnya saat dijalankan lagi dengan pengaturan yang sama. Penggunaan kembali diaktifkan secara default. Jika konten langkah (skrip/dependensi) serta input dan parameter tetap tidak berubah, output dari eksekusi sebelumnya dari langkah ini digunakan ulang. Saat menggunakan ulang langkah tersebut, daripada mengirimkan pekerjaan ke komputasi, hasil dari eksekusi sebelumnya segera dibuat tersedia untuk langkah selanjutnya. Jika Anda menggunakan himpunan data Azure Machine Learning sebagai input, penggunaan ulang ditentukan oleh apakah definisi himpunan data telah berubah, bukan oleh apakah data yang mendasarinya telah berubah.

compute_target
BatchCompute, str
Diperlukan

[Diperlukan] Komputasi BatchCompute tempat pekerjaan berjalan.

version
str
Diperlukan

Tag versi opsional untuk menunjukkan perubahan fungsionalitas untuk modul.

Keterangan

Contoh berikut menunjukkan cara menggunakan AzureBatchStep dalam Alur Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Metode

create_node

Buat node dari langkah AzureBatch dan tambahkan ke grafik yang ditentukan.

Metode ini tidak dimaksudkan untuk digunakan secara langsung. Ketika alur dibuat dengan langkah ini, Azure Machine Learning secara otomatis meneruskan parameter yang diperlukan melalui metode ini sehingga langkah tersebut dapat ditambahkan ke grafik alur yang mewakili alur kerja.

create_node

Buat node dari langkah AzureBatch dan tambahkan ke grafik yang ditentukan.

Metode ini tidak dimaksudkan untuk digunakan secara langsung. Ketika alur dibuat dengan langkah ini, Azure Machine Learning secara otomatis meneruskan parameter yang diperlukan melalui metode ini sehingga langkah tersebut dapat ditambahkan ke grafik alur yang mewakili alur kerja.

create_node(graph, default_datastore, context)

Parameter

graph
Graph
Diperlukan

Objek grafik untuk menambahkan node.

default_datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Diperlukan

Datastore default.

context
<xref:azureml.pipeline.core._GraphContext>
Diperlukan

Konteks grafik.

Mengembalikan

Node yang dibuat.

Tipe hasil

Node