Bagikan melalui


Module Kelas

Mewakili unit komputasi yang digunakan dalam alur Azure Machine Learning.

Modul adalah kumpulan file yang akan berjalan pada target komputasi dan deskripsi antarmuka. Kumpulan file dapat berupa skrip, biner, atau file lain yang diperlukan untuk dijalankan pada target komputasi. Antarmuka modul menjelaskan input, output, dan definisi parameter. Itu tidak mengikatnya ke nilai atau data tertentu. Modul memiliki snapshot yang terkait dengannya, yang mengambil koleksi file yang ditentukan untuk modul.

Inisialisasi Modul.

Warisan
builtins.object
Module

Konstruktor

Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)

Parameter

Nama Deskripsi
workspace
Diperlukan

Objek ruang kerja yang memiliki Modul ini.

module_id
Diperlukan
str

ID Modul.

name
Diperlukan
str

Nama Modul.

description
Diperlukan
str

Deskripsi Modul.

status
Diperlukan
str

Status baru dari Modul: 'Aktif', 'Tidak Digunakan lagi', atau 'Dinonaktifkan'.

default_version
Diperlukan
str

Versi default Modul.

module_version_list
Diperlukan

Daftar objek ModuleVersionDescriptor.

_module_provider
<xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>

(Penggunaan internal saja.) Penyedia Modul.

Nilai default: None
_module_version_provider
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

(Penggunaan internal saja.) Penyedia ModuleVersion.

Nilai default: None
workspace
Diperlukan

Objek ruang kerja yang memiliki Modul ini.

module_id
Diperlukan
str

ID Modul.

name
Diperlukan
str

Nama Modul.

description
Diperlukan
str

Deskripsi Modul.

status
Diperlukan
str

Status baru dari Modul: 'Aktif', 'Tidak Digunakan lagi', atau 'Dinonaktifkan'.

default_version
Diperlukan
str

Versi default Modul.

module_version_list
Diperlukan

Daftar objek ModuleVersionDescriptor.

_module_provider
Diperlukan
<xref:<xref:_AevaMlModuleProvider object>>

Penyedia Modul.

_module_version_provider
Diperlukan
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

Penyedia ModuleVersion.

Keterangan

Modul bertindak sebagai kontainer dari versinya. Dalam contoh berikut, ModuleVersion dibuat dari metode publish_python_script serta memiliki dua input dan dua output. ModuleVersion create adalah versi default (is_default diatur ke True).


   out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
                           label="Sum of two numbers")
   out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
                            label="Product of two numbers")
   entry_version = module.publish_python_script("calculate.py", "initial",
                                                inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
                                                version="1", source_directory="./calc")

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Modul ini dapat digunakan saat mendefinisikan alur, dalam langkah yang berbeda, dengan ModuleStepmenggunakan.

Sampel berikut menunjukkan cara mentransfer data yang digunakan dalam alur ke input dan output ModuleVersion menggunakan PipelineData:


   middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
   middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
   middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
   middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Pemetaan kemudian bisa digunakan saat membuat ModuleStep:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Resolusi versi modul mana yang akan digunakan saat terjadi setelah pengiriman, serta mengikuti proses berikut:

  • Menghapus semua versi yang dinonaktifkan
  • Jika versi tertentu dinyatakan, gunakan itu, jika tidak
  • Jika versi default ditentukan ke Modul, maka gunakan itu, jika tidak
  • Jika semua versi mengikuti versi semantik tanpa huruf, ambil nilai tertinggi, jika tidak
  • Ambil versi Modul yang terakhir diperbarui

Perhatikan bahwa karena input dan output node yang dipetakan ke input dan output modul ditentukan pada pembuatan Alur, jika versi yang diselesaikan saat pengiriman memiliki antarmuka yang berbeda dari yang diselesaikan pada saat pembuatan alur, maka pengiriman alur akan gagal.

Modul yang mendasarinya dapat diperbarui dengan versi baru sambil menjaga versi default agar tetap sama.

Modul diberi nama unik di dalam ruang kerja.

Metode

create

Buat Modul.

deprecate

Atur Modul ke 'Tidak digunakan lagi'.

disable

Atur Modul ke 'Dinonaktifkan'.

enable

Atur Modul ke 'Aktif'.

get

Mendapatkan Modul berdasarkan nama atau ID; memberikan pengecualian jika salah satunya tidak disediakan.

get_default

Mendapatkan versi modul default.

get_default_version

Mendapatkan versi default Modul.

get_versions

Mendapatkan semua versi Modul.

module_def_builder

Buat objek definisi modul yang menjelaskan langkah tersebut.

module_version_list

Dapatkan daftar versi Modul.

process_source_directory

Memproses direktori sumber untuk langkah tersebut dan memeriksa apakah skrip tersebut ada.

publish

Buat ModuleVersion serta tambahkan ke Modul saat ini.

publish_adla_script

Membuat ModuleVersion berdasarkan Azure Data Lake Analytics (ADLA) dan menambahkannya ke Modul saat ini.

publish_azure_batch

Buat ModuleVersion yang menggunakan batch Azure lalu tambahkan ke Modul saat ini.

publish_python_script

Membuat ModuleVersion yang didasarkan pada skrip Python dan menambahkannya ke Modul saat ini.

resolve

Menyelesaikan dan menampilkan ModuleVersion yang tepat.

set_default_version

Mengatur ModuleVersion default dari Modul.

set_description

Atur deskripsi Modul.

set_name

Mengatur nama Modul.

create

Buat Modul.

static create(workspace, name, description, _workflow_provider=None)

Parameter

Nama Deskripsi
workspace
Diperlukan

Ruang kerja untuk membuat Modul.

name
Diperlukan
str

Nama Modul.

description
Diperlukan
str

Deskripsi Modul.

_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Penggunaan internal saja.) Penyedia alur kerja.

Nilai default: None

Mengembalikan

Jenis Deskripsi

Objek Modul

deprecate

Atur Modul ke 'Tidak digunakan lagi'.

deprecate()

disable

Atur Modul ke 'Dinonaktifkan'.

disable()

enable

Atur Modul ke 'Aktif'.

enable()

get

Mendapatkan Modul berdasarkan nama atau ID; memberikan pengecualian jika salah satunya tidak disediakan.

static get(workspace, module_id=None, name=None, _workflow_provider=None)

Parameter

Nama Deskripsi
workspace
Diperlukan

Ruang kerja untuk membuat Modul.

module_id
str

ID Modul.

Nilai default: None
name
str

Nama Modul.

Nilai default: None
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Penggunaan internal saja.) Penyedia alur kerja.

Nilai default: None

Mengembalikan

Jenis Deskripsi

Objek Modul

get_default

Mendapatkan versi modul default.

get_default()

Mengembalikan

Jenis Deskripsi

Versi modul default.

get_default_version

Mendapatkan versi default Modul.

get_default_version()

Mengembalikan

Jenis Deskripsi
str

Versi default Modul.

get_versions

Mendapatkan semua versi Modul.

static get_versions(workspace, name, _workflow_provider=None)

Parameter

Nama Deskripsi
workspace
Diperlukan

Ruang kerja tempat Modul dibuat.

name
Diperlukan
str

Nama Modul.

_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Penggunaan internal saja.) Penyedia alur kerja.

Nilai default: None

Mengembalikan

Jenis Deskripsi

Daftar ModuleVersionDescriptor

module_def_builder

Buat objek definisi modul yang menjelaskan langkah tersebut.

static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)

Parameter

Nama Deskripsi
name
Diperlukan
str

Nama Modul.

description
Diperlukan
str

Deskripsi Modul.

execution_type
Diperlukan
str

Jenis eksekusi Modul.

input_bindings
Diperlukan

Pengikatan input Modul.

output_bindings
Diperlukan

Pengikatan output Modul.

param_defs

Definisi parameter Modul.

Nilai default: None
create_sequencing_ports

Menunjukkan apakah port pengurutan akan dibuat untuk Modul.

Nilai default: True
allow_reuse

Menunjukkan apakah Modul akan tersedia untuk digunakan kembali.

Nilai default: True
version
str

Versi Modul.

Nilai default: None
module_type
str

Jenis Modul.

Nilai default: None
step_type
str

Jenis langkah yang berhubungan dengan modul ini, misalnya "PythonScriptStep", "HyperDriveStep", dll.

Nilai default: None
arguments

Daftar argumen beranotasi untuk digunakan saat memanggil modul ini

Nilai default: None
runconfig
str

Runconfig yang akan digunakan untuk python_script_step

Nilai default: None
cloud_settings
str

Pengaturan yang akan digunakan untuk cloud

Nilai default: None

Mengembalikan

Jenis Deskripsi

Objek definisi Modul.

Pengecualian

Jenis Deskripsi

module_version_list

Dapatkan daftar versi Modul.

module_version_list()

Mengembalikan

Jenis Deskripsi

Daftar ModuleVersionDescriptor

process_source_directory

Memproses direktori sumber untuk langkah tersebut dan memeriksa apakah skrip tersebut ada.

static process_source_directory(name, source_directory, script_name)

Parameter

Nama Deskripsi
name
Diperlukan
str

Nama langkah.

source_directory
Diperlukan
str

Direktori sumber untuk langkah tersebut.

script_name
Diperlukan
str

Nama skrip untuk langkah tersebut.

Mengembalikan

Jenis Deskripsi

Direktori sumber dan jalur hash.

Pengecualian

Jenis Deskripsi

publish

Buat ModuleVersion serta tambahkan ke Modul saat ini.

publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parameter

Nama Deskripsi
description
Diperlukan
str

Deskripsi Modul.

execution_type
Diperlukan
str

Jenis eksekusi Modul. Nilai yang dapat diterima adalah esCloud, adlcloud dan AzureBatchCloud

inputs
Diperlukan

Input Modul.

outputs
Diperlukan

Output Modul.

param_defs

Definisi parameter Modul.

Nilai default: None
create_sequencing_ports

Menunjukkan apakah port pengurutan akan dibuat untuk Modul.

Nilai default: True
version
str

Versi Modul.

Nilai default: None
is_default

Menunjukkan apakah versi yang diterbitkan akan menjadi versi default.

Nilai default: False
content_path
str

direktori

Nilai default: None
hash_paths

Daftar jalur ke hash saat memeriksa perubahan pada konten langkah. Jika tidak ada perubahan yang terdeteksi, alur akan menggunakan kembali konten langkah dari eksekusi sebelumnya. Secara default, konten source_directory di-hash (kecuali untuk file yang terdaftar di .amlignore atau .gitignore). TIDAK DIGUNAKAN LAGI: tidak lagi diperlukan.

Nilai default: None
category
str

Kategori versi modul

Nilai default: None
arguments

Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter).

Nilai default: None
runconfig

RunConfiguration opsional. RunConfiguration dapat digunakan untuk menentukan persyaratan tambahan untuk eksekusi, seperti dependensi conda dan gambar Docker.

Nilai default: None

Mengembalikan

Jenis Deskripsi

Pengecualian

Jenis Deskripsi

publish_adla_script

Membuat ModuleVersion berdasarkan Azure Data Lake Analytics (ADLA) dan menambahkannya ke Modul saat ini.

publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)

Parameter

Nama Deskripsi
script_name
Diperlukan
str

Nama skrip dari Data Lake Analytics, relatif terhadap source_directory.

description
Diperlukan
str

Deskripsi versi Modul.

inputs
Diperlukan

Pengikatan input Modul.

outputs
Diperlukan

Pengikatan output Modul.

params

Parameter ModuleVersion, sebagai pasangan name-default_value pairs.

Nilai default: None
create_sequencing_ports

Menunjukkan apakah port pengurutan akan dibuat untuk Modul.

Nilai default: True
degree_of_parallelism
int

Tingkat paralelisme untuk digunakan untuk pekerjaan ini.

Nilai default: None
priority
int

Nilai prioritas yang digunakan untuk pekerjaan saat ini.

Nilai default: None
runtime_version
str

Versi runtime dari mesin Data Lake Analytics (ADLA).

Nilai default: None
compute_target

Komputasi Data Lake Analytics untuk digunakan dalam pekerjaan ini.

Nilai default: None
version
str

Versi modul.

Nilai default: None
is_default

Menunjukkan apakah versi yang diterbitkan akan menjadi versi default.

Nilai default: False
source_directory
str

direktori

Nilai default: None
hash_paths

hash_paths

Nilai default: None
category
str

Kategori versi modul

Nilai default: None
arguments

Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter).

Nilai default: None

Mengembalikan

Jenis Deskripsi

publish_azure_batch

Buat ModuleVersion yang menggunakan batch Azure lalu tambahkan ke Modul saat ini.

publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)

Parameter

Nama Deskripsi
description
Diperlukan
str

Deskripsi versi Modul.

compute_target
Diperlukan

Target komputasi BatchCompute.

inputs
Diperlukan

Pengikatan input Modul.

outputs
Diperlukan

Pengikatan output Modul.

params

Parameter ModuleVersion, sebagai pasangan name-default_value pairs.

Nilai default: None
create_sequencing_ports

Menunjukkan apakah port pengurutan akan dibuat untuk Modul.

Nilai default: True
version
str

Versi Modul.

Nilai default: None
is_default

Menunjukkan apakah versi yang diterbitkan akan menjadi versi default.

Nilai default: False
create_pool

Menunjukkan apakah akan membuat kumpulan sebelum menjalankan pekerjaan.

Nilai default: False
pool_id
str

(Wajib) ID kumpulan di mana pekerjaan akan berjalan.

Nilai default: None
delete_batch_job_after_finish

Menunjukkan apakah akan menghapus pekerjaan dari akun Batch setelah selesai.

Nilai default: False
delete_batch_pool_after_finish

Menunjukkan apakah akan menghapus kumpulan setelah pekerjaan selesai.

Nilai default: False
is_positive_exit_code_failure

Menunjukkan apakah pekerjaan gagal jika tugas ada dengan kode positif.

Nilai default: True
vm_image_urn
str

Jika create_pool True dan mesin virtual menggunakan VirtualMachineConfiguration, maka parameter ini menunjukkan gambar mesin virtual yang akan digunakan. Format nilai: urn:publisher:offer:sku. Contoh: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

Nilai default: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin

Menunjukkan apakah tugas harus berjalan dengan Hak istimewa admin.

Nilai default: False
target_compute_nodes
int

Jika create_pool adalah True, menunjukkan berapa banyak simpul komputasi yang akan ditambahkan ke kumpulan.

Nilai default: 1
vm_size
str

Jika create_pool adalah Benar, menunjukkan ukuran mesin virtual dari simpul True.

Nilai default: standard_d1_v2
executable
str

Nama perintah/executable yang akan dieksekusi sebagai bagian dari pekerjaan.

Nilai default: None
source_directory
str

Direktori sumber.

Nilai default: None
category
str

Kategori versi modul

Nilai default: None
arguments

Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter).

Nilai default: None

Mengembalikan

Jenis Deskripsi

Pengecualian

Jenis Deskripsi

publish_python_script

Membuat ModuleVersion yang didasarkan pada skrip Python dan menambahkannya ke Modul saat ini.

publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parameter

Nama Deskripsi
script_name
Diperlukan
str

Nama skrip Python, relatif terhadap source_directory.

description
Diperlukan
str

Deskripsi versi Modul.

inputs
Diperlukan

Pengikatan input Modul.

outputs
Diperlukan

Pengikatan output Modul.

params

Parameter ModuleVersion, sebagai pasangan name-default_value pairs.

Nilai default: None
create_sequencing_ports

Menunjukkan apakah port pengurutan akan dibuat untuk Modul.

Nilai default: True
version
str

Versi Modul.

Nilai default: None
is_default

Menunjukkan apakah versi yang diterbitkan akan menjadi versi default.

Nilai default: False
source_directory
str

direktori

Nilai default: None
hash_paths

Daftar jalur ke hash saat memeriksa perubahan pada konten langkah. Jika tidak ada perubahan yang terdeteksi, alur akan menggunakan kembali konten langkah dari eksekusi sebelumnya. Secara default, konten source_directory di-hash (kecuali untuk file yang terdaftar di .amlignore atau .gitignore). TIDAK DIGUNAKAN LAGI: tidak lagi diperlukan.

Nilai default: None
category
str

Kategori versi modul

Nilai default: None
arguments

Argumen yang akan dipakai saat memanggil modul. Argumen dapat berupa untai (karakter), referensi input (InputPortDef), referensi output (OutputPortDef), dan parameter alur (PipelineParameter).

Nilai default: None
runconfig

RunConfiguration opsional. RunConfiguration dapat digunakan untuk menentukan persyaratan tambahan untuk eksekusi, seperti dependensi conda dan gambar Docker.

Nilai default: None

Mengembalikan

Jenis Deskripsi

resolve

Menyelesaikan dan menampilkan ModuleVersion yang tepat.

resolve(version=None)

Parameter

Nama Deskripsi
version
Nilai default: None

Mengembalikan

Jenis Deskripsi

Versi Modul untuk digunakan.

set_default_version

Mengatur ModuleVersion default dari Modul.

set_default_version(version_id)

Parameter

Nama Deskripsi
version_id
Diperlukan

Mengembalikan

Jenis Deskripsi
str

Versi default.

Pengecualian

Jenis Deskripsi

set_description

Atur deskripsi Modul.

set_description(description)

Parameter

Nama Deskripsi
description
Diperlukan
str

Deskripsi untuk pengaturan.

Pengecualian

Jenis Deskripsi

set_name

Mengatur nama Modul.

set_name(name)

Parameter

Nama Deskripsi
name
Diperlukan
str

Nama yang akan ditetapkan.

Pengecualian

Jenis Deskripsi

Atribut

default_version

Dapatkan versi default Modul.

Mengembalikan

Jenis Deskripsi
str

Untai (karakter) versi default.

description

Dapatkan deskripsi Modul.

Mengembalikan

Jenis Deskripsi
str

String deskripsi.

id

Dapatkan ID Modul.

Mengembalikan

Jenis Deskripsi
str

ID.

name

Dapatkan nama Modul.

Mengembalikan

Jenis Deskripsi
str

Nama.

status

Dapatkan status Modul.

Mengembalikan

Jenis Deskripsi
str

Status.