Module Kelas
Mewakili unit komputasi yang digunakan dalam alur Azure Machine Learning.
Modul adalah kumpulan file yang akan berjalan pada target komputasi dan deskripsi antarmuka. Kumpulan file dapat berupa skrip, biner, atau file lain yang diperlukan untuk dijalankan pada target komputasi. Antarmuka modul menjelaskan input, output, dan definisi parameter. Itu tidak mengikatnya ke nilai atau data tertentu. Modul memiliki snapshot yang terkait dengannya, yang mengambil koleksi file yang ditentukan untuk modul.
Inisialisasi Modul.
- Warisan
-
builtins.objectModule
Konstruktor
Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)
Parameter
Nama | Deskripsi |
---|---|
workspace
Diperlukan
|
Objek ruang kerja yang memiliki Modul ini. |
module_id
Diperlukan
|
ID Modul. |
name
Diperlukan
|
Nama Modul. |
description
Diperlukan
|
Deskripsi Modul. |
status
Diperlukan
|
Status baru dari Modul: 'Aktif', 'Tidak Digunakan lagi', atau 'Dinonaktifkan'. |
default_version
Diperlukan
|
Versi default Modul. |
module_version_list
Diperlukan
|
Daftar objek ModuleVersionDescriptor. |
_module_provider
|
<xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>
(Penggunaan internal saja.) Penyedia Modul. Nilai default: None
|
_module_version_provider
|
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
(Penggunaan internal saja.) Penyedia ModuleVersion. Nilai default: None
|
workspace
Diperlukan
|
Objek ruang kerja yang memiliki Modul ini. |
module_id
Diperlukan
|
ID Modul. |
name
Diperlukan
|
Nama Modul. |
description
Diperlukan
|
Deskripsi Modul. |
status
Diperlukan
|
Status baru dari Modul: 'Aktif', 'Tidak Digunakan lagi', atau 'Dinonaktifkan'. |
default_version
Diperlukan
|
Versi default Modul. |
module_version_list
Diperlukan
|
Daftar objek ModuleVersionDescriptor. |
_module_provider
Diperlukan
|
<xref:<xref:_AevaMlModuleProvider object>>
Penyedia Modul. |
_module_version_provider
Diperlukan
|
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
Penyedia ModuleVersion. |
Keterangan
Modul bertindak sebagai kontainer dari versinya. Dalam contoh berikut, ModuleVersion dibuat dari metode publish_python_script serta memiliki dua input dan dua output. ModuleVersion create adalah versi default (is_default
diatur ke True).
out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Sum of two numbers")
out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Product of two numbers")
entry_version = module.publish_python_script("calculate.py", "initial",
inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
version="1", source_directory="./calc")
Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Modul ini dapat digunakan saat mendefinisikan alur, dalam langkah yang berbeda, dengan ModuleStepmenggunakan.
Sampel berikut menunjukkan cara mentransfer data yang digunakan dalam alur ke input dan output ModuleVersion menggunakan PipelineData:
middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}
Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Pemetaan kemudian bisa digunakan saat membuat ModuleStep:
middle_step = ModuleStep(module=module,
inputs_map= middle_step_input_wiring,
outputs_map= middle_step_output_wiring,
runconfig=RunConfiguration(), compute_target=aml_compute,
arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
"--output_sum", middle_sum, "--output_product", middle_prod])
Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Resolusi versi modul mana yang akan digunakan saat terjadi setelah pengiriman, serta mengikuti proses berikut:
- Menghapus semua versi yang dinonaktifkan
- Jika versi tertentu dinyatakan, gunakan itu, jika tidak
- Jika versi default ditentukan ke Modul, maka gunakan itu, jika tidak
- Jika semua versi mengikuti versi semantik tanpa huruf, ambil nilai tertinggi, jika tidak
- Ambil versi Modul yang terakhir diperbarui
Perhatikan bahwa karena input dan output node yang dipetakan ke input dan output modul ditentukan pada pembuatan Alur, jika versi yang diselesaikan saat pengiriman memiliki antarmuka yang berbeda dari yang diselesaikan pada saat pembuatan alur, maka pengiriman alur akan gagal.
Modul yang mendasarinya dapat diperbarui dengan versi baru sambil menjaga versi default agar tetap sama.
Modul diberi nama unik di dalam ruang kerja.
Metode
create |
Buat Modul. |
deprecate |
Atur Modul ke 'Tidak digunakan lagi'. |
disable |
Atur Modul ke 'Dinonaktifkan'. |
enable |
Atur Modul ke 'Aktif'. |
get |
Mendapatkan Modul berdasarkan nama atau ID; memberikan pengecualian jika salah satunya tidak disediakan. |
get_default |
Mendapatkan versi modul default. |
get_default_version |
Mendapatkan versi default Modul. |
get_versions |
Mendapatkan semua versi Modul. |
module_def_builder |
Buat objek definisi modul yang menjelaskan langkah tersebut. |
module_version_list |
Dapatkan daftar versi Modul. |
process_source_directory |
Memproses direktori sumber untuk langkah tersebut dan memeriksa apakah skrip tersebut ada. |
publish |
Buat ModuleVersion serta tambahkan ke Modul saat ini. |
publish_adla_script |
Membuat ModuleVersion berdasarkan Azure Data Lake Analytics (ADLA) dan menambahkannya ke Modul saat ini. |
publish_azure_batch |
Buat ModuleVersion yang menggunakan batch Azure lalu tambahkan ke Modul saat ini. |
publish_python_script |
Membuat ModuleVersion yang didasarkan pada skrip Python dan menambahkannya ke Modul saat ini. |
resolve |
Menyelesaikan dan menampilkan ModuleVersion yang tepat. |
set_default_version |
Mengatur ModuleVersion default dari Modul. |
set_description |
Atur deskripsi Modul. |
set_name |
Mengatur nama Modul. |
create
Buat Modul.
static create(workspace, name, description, _workflow_provider=None)
Parameter
Nama | Deskripsi |
---|---|
workspace
Diperlukan
|
Ruang kerja untuk membuat Modul. |
name
Diperlukan
|
Nama Modul. |
description
Diperlukan
|
Deskripsi Modul. |
_workflow_provider
|
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Penggunaan internal saja.) Penyedia alur kerja. Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Objek Modul |
deprecate
Atur Modul ke 'Tidak digunakan lagi'.
deprecate()
disable
Atur Modul ke 'Dinonaktifkan'.
disable()
enable
Atur Modul ke 'Aktif'.
enable()
get
Mendapatkan Modul berdasarkan nama atau ID; memberikan pengecualian jika salah satunya tidak disediakan.
static get(workspace, module_id=None, name=None, _workflow_provider=None)
Parameter
Nama | Deskripsi |
---|---|
workspace
Diperlukan
|
Ruang kerja untuk membuat Modul. |
module_id
|
ID Modul. Nilai default: None
|
name
|
Nama Modul. Nilai default: None
|
_workflow_provider
|
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Penggunaan internal saja.) Penyedia alur kerja. Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Objek Modul |
get_default
Mendapatkan versi modul default.
get_default()
Mengembalikan
Jenis | Deskripsi |
---|---|
Versi modul default. |
get_default_version
Mendapatkan versi default Modul.
get_default_version()
Mengembalikan
Jenis | Deskripsi |
---|---|
Versi default Modul. |
get_versions
Mendapatkan semua versi Modul.
static get_versions(workspace, name, _workflow_provider=None)
Parameter
Nama | Deskripsi |
---|---|
workspace
Diperlukan
|
Ruang kerja tempat Modul dibuat. |
name
Diperlukan
|
Nama Modul. |
_workflow_provider
|
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Penggunaan internal saja.) Penyedia alur kerja. Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Daftar ModuleVersionDescriptor |
module_def_builder
Buat objek definisi modul yang menjelaskan langkah tersebut.
static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)
Parameter
Nama | Deskripsi |
---|---|
name
Diperlukan
|
Nama Modul. |
description
Diperlukan
|
Deskripsi Modul. |
execution_type
Diperlukan
|
Jenis eksekusi Modul. |
input_bindings
Diperlukan
|
Pengikatan input Modul. |
output_bindings
Diperlukan
|
Pengikatan output Modul. |
param_defs
|
Definisi parameter Modul. Nilai default: None
|
create_sequencing_ports
|
Menunjukkan apakah port pengurutan akan dibuat untuk Modul. Nilai default: True
|
allow_reuse
|
Menunjukkan apakah Modul akan tersedia untuk digunakan kembali. Nilai default: True
|
version
|
Versi Modul. Nilai default: None
|
module_type
|
Jenis Modul. Nilai default: None
|
step_type
|
Jenis langkah yang berhubungan dengan modul ini, misalnya "PythonScriptStep", "HyperDriveStep", dll. Nilai default: None
|
arguments
|
Daftar argumen beranotasi untuk digunakan saat memanggil modul ini Nilai default: None
|
runconfig
|
Runconfig yang akan digunakan untuk python_script_step Nilai default: None
|
cloud_settings
|
Pengaturan yang akan digunakan untuk cloud Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Objek definisi Modul. |
Pengecualian
Jenis | Deskripsi |
---|---|
module_version_list
Dapatkan daftar versi Modul.
module_version_list()
Mengembalikan
Jenis | Deskripsi |
---|---|
Daftar ModuleVersionDescriptor |
process_source_directory
Memproses direktori sumber untuk langkah tersebut dan memeriksa apakah skrip tersebut ada.
static process_source_directory(name, source_directory, script_name)
Parameter
Nama | Deskripsi |
---|---|
name
Diperlukan
|
Nama langkah. |
source_directory
Diperlukan
|
Direktori sumber untuk langkah tersebut. |
script_name
Diperlukan
|
Nama skrip untuk langkah tersebut. |
Mengembalikan
Jenis | Deskripsi |
---|---|
Direktori sumber dan jalur hash. |
Pengecualian
Jenis | Deskripsi |
---|---|
publish
Buat ModuleVersion serta tambahkan ke Modul saat ini.
publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)
Parameter
Nama | Deskripsi |
---|---|
description
Diperlukan
|
Deskripsi Modul. |
execution_type
Diperlukan
|
Jenis eksekusi Modul.
Nilai yang dapat diterima adalah |
inputs
Diperlukan
|
Input Modul. |
outputs
Diperlukan
|
Output Modul. |
param_defs
|
Definisi parameter Modul. Nilai default: None
|
create_sequencing_ports
|
Menunjukkan apakah port pengurutan akan dibuat untuk Modul. Nilai default: True
|
version
|
Versi Modul. Nilai default: None
|
is_default
|
Menunjukkan apakah versi yang diterbitkan akan menjadi versi default. Nilai default: False
|
content_path
|
direktori Nilai default: None
|
hash_paths
|
Daftar jalur ke hash saat memeriksa perubahan pada konten langkah. Jika tidak ada perubahan yang terdeteksi, alur akan menggunakan kembali konten langkah dari eksekusi sebelumnya. Secara default, konten Nilai default: None
|
category
|
Kategori versi modul Nilai default: None
|
arguments
|
Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter). Nilai default: None
|
runconfig
|
RunConfiguration opsional. RunConfiguration dapat digunakan untuk menentukan persyaratan tambahan untuk eksekusi, seperti dependensi conda dan gambar Docker. Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Pengecualian
Jenis | Deskripsi |
---|---|
publish_adla_script
Membuat ModuleVersion berdasarkan Azure Data Lake Analytics (ADLA) dan menambahkannya ke Modul saat ini.
publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)
Parameter
Nama | Deskripsi |
---|---|
script_name
Diperlukan
|
Nama skrip dari Data Lake Analytics, relatif terhadap |
description
Diperlukan
|
Deskripsi versi Modul. |
inputs
Diperlukan
|
Pengikatan input Modul. |
outputs
Diperlukan
|
Pengikatan output Modul. |
params
|
Parameter ModuleVersion, sebagai pasangan name-default_value pairs. Nilai default: None
|
create_sequencing_ports
|
Menunjukkan apakah port pengurutan akan dibuat untuk Modul. Nilai default: True
|
degree_of_parallelism
|
Tingkat paralelisme untuk digunakan untuk pekerjaan ini. Nilai default: None
|
priority
|
Nilai prioritas yang digunakan untuk pekerjaan saat ini. Nilai default: None
|
runtime_version
|
Versi runtime dari mesin Data Lake Analytics (ADLA). Nilai default: None
|
compute_target
|
Komputasi Data Lake Analytics untuk digunakan dalam pekerjaan ini. Nilai default: None
|
version
|
Versi modul. Nilai default: None
|
is_default
|
Menunjukkan apakah versi yang diterbitkan akan menjadi versi default. Nilai default: False
|
source_directory
|
direktori Nilai default: None
|
hash_paths
|
hash_paths Nilai default: None
|
category
|
Kategori versi modul Nilai default: None
|
arguments
|
Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter). Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
publish_azure_batch
Buat ModuleVersion yang menggunakan batch Azure lalu tambahkan ke Modul saat ini.
publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)
Parameter
Nama | Deskripsi |
---|---|
description
Diperlukan
|
Deskripsi versi Modul. |
compute_target
Diperlukan
|
BatchCompute atau
str
Target komputasi BatchCompute. |
inputs
Diperlukan
|
Pengikatan input Modul. |
outputs
Diperlukan
|
Pengikatan output Modul. |
params
|
Parameter ModuleVersion, sebagai pasangan name-default_value pairs. Nilai default: None
|
create_sequencing_ports
|
Menunjukkan apakah port pengurutan akan dibuat untuk Modul. Nilai default: True
|
version
|
Versi Modul. Nilai default: None
|
is_default
|
Menunjukkan apakah versi yang diterbitkan akan menjadi versi default. Nilai default: False
|
create_pool
|
Menunjukkan apakah akan membuat kumpulan sebelum menjalankan pekerjaan. Nilai default: False
|
pool_id
|
(Wajib) ID kumpulan di mana pekerjaan akan berjalan. Nilai default: None
|
delete_batch_job_after_finish
|
Menunjukkan apakah akan menghapus pekerjaan dari akun Batch setelah selesai. Nilai default: False
|
delete_batch_pool_after_finish
|
Menunjukkan apakah akan menghapus kumpulan setelah pekerjaan selesai. Nilai default: False
|
is_positive_exit_code_failure
|
Menunjukkan apakah pekerjaan gagal jika tugas ada dengan kode positif. Nilai default: True
|
vm_image_urn
|
Jika Nilai default: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
|
run_task_as_admin
|
Menunjukkan apakah tugas harus berjalan dengan Hak istimewa admin. Nilai default: False
|
target_compute_nodes
|
Jika Nilai default: 1
|
vm_size
|
Jika Nilai default: standard_d1_v2
|
executable
|
Nama perintah/executable yang akan dieksekusi sebagai bagian dari pekerjaan. Nilai default: None
|
source_directory
|
Direktori sumber. Nilai default: None
|
category
|
Kategori versi modul Nilai default: None
|
arguments
|
Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter). Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Pengecualian
Jenis | Deskripsi |
---|---|
publish_python_script
Membuat ModuleVersion yang didasarkan pada skrip Python dan menambahkannya ke Modul saat ini.
publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)
Parameter
Nama | Deskripsi |
---|---|
script_name
Diperlukan
|
Nama skrip Python, relatif terhadap |
description
Diperlukan
|
Deskripsi versi Modul. |
inputs
Diperlukan
|
Pengikatan input Modul. |
outputs
Diperlukan
|
Pengikatan output Modul. |
params
|
Parameter ModuleVersion, sebagai pasangan name-default_value pairs. Nilai default: None
|
create_sequencing_ports
|
Menunjukkan apakah port pengurutan akan dibuat untuk Modul. Nilai default: True
|
version
|
Versi Modul. Nilai default: None
|
is_default
|
Menunjukkan apakah versi yang diterbitkan akan menjadi versi default. Nilai default: False
|
source_directory
|
direktori Nilai default: None
|
hash_paths
|
Daftar jalur ke hash saat memeriksa perubahan pada konten langkah. Jika tidak ada perubahan yang terdeteksi, alur akan menggunakan kembali konten langkah dari eksekusi sebelumnya. Secara default, konten Nilai default: None
|
category
|
Kategori versi modul Nilai default: None
|
arguments
|
Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter). Nilai default: None
|
runconfig
|
RunConfiguration opsional. RunConfiguration dapat digunakan untuk menentukan persyaratan tambahan untuk eksekusi, seperti dependensi conda dan gambar Docker. Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
resolve
Menyelesaikan dan menampilkan ModuleVersion yang tepat.
resolve(version=None)
Parameter
Nama | Deskripsi |
---|---|
version
|
Nilai default: None
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Versi Modul untuk digunakan. |
set_default_version
Mengatur ModuleVersion default dari Modul.
set_default_version(version_id)
Parameter
Nama | Deskripsi |
---|---|
version_id
Diperlukan
|
|
Mengembalikan
Jenis | Deskripsi |
---|---|
Versi default. |
Pengecualian
Jenis | Deskripsi |
---|---|
set_description
Atur deskripsi Modul.
set_description(description)
Parameter
Nama | Deskripsi |
---|---|
description
Diperlukan
|
Deskripsi untuk pengaturan. |
Pengecualian
Jenis | Deskripsi |
---|---|
set_name
Mengatur nama Modul.
set_name(name)
Parameter
Nama | Deskripsi |
---|---|
name
Diperlukan
|
Nama yang akan ditetapkan. |
Pengecualian
Jenis | Deskripsi |
---|---|