PipelineStep Kelas
Mewakili langkah eksekusi dalam alur Azure Machine Learning.
Alur dibangun dari beberapa langkah alur, yang merupakan unit komputasi berbeda di dalam alur. Setiap langkah dapat berjalan secara independen dan menggunakan sumber daya komputasi yang terisolasi. Setiap langkah biasanya memiliki input, output, dan parameternya dengan namanya sendiri.
Kelas PipelineStep adalah kelas dasar yang diwarisi kelas langkah bawaan lainnya yang dirancang untuk skenario umum, seperti PythonScriptStep, DataTransferStep, dan HyperDriveStep.
Untuk gambaran umum tentang hubungan Alur dan PipelineSteps, lihat Apa itu Alur Azure Machine Learning.
Menginisialisasi PipelineStep.
- Warisan
-
builtins.objectPipelineStep
Konstruktor
PipelineStep(name, inputs, outputs, arguments=None, fix_port_name_collisions=False, resource_inputs=None)
Parameter
- arguments
- list
Daftar argumen opsional untuk diteruskan ke skrip yang digunakan dalam langkah tersebut.
- fix_port_name_collisions
- bool
Menentukan apakah akan memperbaiki tabrakan nama. Jika Benar input dan output memiliki nama yang sama, maka input diawali dengan "INPUT". Defaultnya adalah False.
- resource_inputs
- list
Daftar input opsional untuk digunakan sebagai sumber daya. Sumber daya diunduh ke folder skrip dan menyediakan cara untuk mengubah perilaku skrip pada run-time.
- arguments
- list
Daftar argumen opsional untuk diteruskan ke skrip yang digunakan dalam langkah tersebut.
- fix_port_name_collisions
- bool
Menentukan apakah akan memperbaiki tabrakan nama. Jika Benar input dan output memiliki nama yang sama, maka input diawali dengan "INPUT". Defaultnya adalah False.
- resource_inputs
- list
Daftar input opsional untuk digunakan sebagai sumber daya. Sumber daya diunduh ke folder skrip dan menyediakan cara untuk mengubah perilaku skrip pada run-time.
Keterangan
PipelineStep adalah unit eksekusi yang biasanya membutuhkan target eksekusi (target komputasi), skrip untuk dijalankan dengan argumen dan input skrip opsional, dan dapat menghasilkan output. Langkah ini juga dapat mengambil sejumlah parameter lain yang spesifik untuk langkah tersebut.
Langkah alur dapat dikonfigurasi bersama untuk membuat Pipeline, yang mewakili alur kerja Azure Machine Learning yang dapat dibagikan dan digunakan kembali. Setiap langkah pada alur dapat dikonfigurasi untuk memungkinkan penggunaan kembali hasil eksekusi sebelumnya jika konten langkah (skrip/dependensi) serta input dan parameter tetap tidak berubah. Saat menggunakan kembali langkah tersebut, alih-alih mengirimkan pekerjaan untuk komputasi, hasil dari eksekusi sebelumnya segera tersedia untuk langkah selanjutnya.
Azure Machine Learning Pipelines menyediakan langkah bawaan untuk skenario umum. Misalnya, lihat paket steps dan kelas AutoMLStep. Untuk gambaran umum tentang membangun Alur berdasarkan langkah-langkah yang telah dibuat sebelumnya, lihat https://aka.ms/pl-first-pipeline.
Langkah-langkah yang telah dibuat sebelumnya, yang berasal dari PipelineStep, adalah langkah-langkah yang digunakan dalam satu alur. Jika alur kerja pembelajaran mesin Anda memerlukan pembuatan langkah-langkah untuk yang dapat diversikan dan digunakan di berbagai alur, gunakan kelas Module.
Ingatlah hal berikut saat bekerja dengan langkah-langkah alur, data I/O, dan penggunaan langkah kembali.
Disarankan agar Anda menggunakan lokasi source_directory terpisah untuk langkah-langkah terpisah. Jika semua skrip dalam langkah alur Anda berada dalam satu direktori, hash direktori tersebut berubah setiap kali Anda membuat perubahan pada satu skrip yang memaksa semua langkah untuk dijalankan ulang. Untuk contoh menggunakan direktori terpisah untuk langkah yang berbeda, lihat https://aka.ms/pl-get-started.
Mempertahankan folder terpisah untuk skrip dan file dependen untuk setiap langkah membantu mengurangi ukuran snapshot yang dibuat untuk setiap langkah karena hanya folder tertentu yang di-snapshot. Karena perubahan dalam file apa pun di source_directory langkah memicu unggahan ulang snapshot, mempertahankan folder terpisah setiap langkah, membantu penggunaan ulang langkah-langkah dalam alur, karena jika tidak ada perubahan di source_directory langkah, maka langkah sebelumnya digunakan kembali.
Jika data yang digunakan dalam satu langkah ada di penyimpanan data dan allow_reuse adalah True, perubahan pada perubahan data tidak akan terdeteksi. Jika data diunggah sebagai bagian dari snapshot (di bawah source_directory langkah), meskipun ini tidak disarankan, hash akan berubah dan akan memicu eksekusi ulang.
Metode
create_input_output_bindings |
Buat pengikatan input dan output dari input dan output langkah. |
create_module_def |
Buat objek definisi modul yang menjelaskan langkah tersebut. |
create_node |
Buat node untuk grafik alur berdasarkan langkah ini. |
get_source_directory |
Dapatkan direktori sumber untuk langkah tersebut dan periksa apakah skrip itu ada. |
resolve_input_arguments |
Cocokkan input dan output dengan argumen untuk menghasilkan string argumen. |
run_after |
Jalankan langkah ini setelah langkah yang ditentukan. |
validate_arguments |
Validasi bahwa input dan output langkah yang disediakan dalam argumen ada dalam daftar input dan output. |
create_input_output_bindings
Buat pengikatan input dan output dari input dan output langkah.
create_input_output_bindings(inputs, outputs, default_datastore, resource_inputs=None)
Parameter
- default_datastore
- AbstractAzureStorageDatastore atau AzureDataLakeDatastore
Datastore default.
- resource_inputs
- list
Daftar input yang akan digunakan sebagai sumber daya. Sumber daya diunduh ke folder skrip dan menyediakan cara untuk mengubah perilaku skrip pada run-time.
Mengembalikan
Tuple dari pengikatan input dan pengikatan output.
Tipe hasil
create_module_def
Buat objek definisi modul yang menjelaskan langkah tersebut.
create_module_def(execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, arguments=None, runconfig=None, cloud_settings=None)
Parameter
- create_sequencing_ports
- bool
Menentukan apakah port pengurutan akan dibuat untuk modul.
- allow_reuse
- bool
Menentukan apakah modul akan tersedia untuk digunakan kembali dalam alur mendatang.
- module_type
- str
Jenis modul untuk layanan pembuatan modul yang akan dibuat. Saat ini hanya dua jenis yang didukung: 'Tidak Ada' dan 'BatchInferencing'. module_type
berbeda dari execution_type
yang menentukan jenis layanan backend apa yang digunakan untuk menjalankan modul ini.
- arguments
- list
Daftar argumen beranotasi untuk digunakan saat memanggil modul ini
- cloud_settings
- <xref:azureml.pipeline.core._restclients.aeva.models.CloudSettings>
Pengaturan yang akan digunakan untuk cloud
Mengembalikan
Objek definisi modul.
Tipe hasil
create_node
Buat node untuk grafik alur berdasarkan langkah ini.
abstract create_node(graph, default_datastore, context)
Parameter
- default_datastore
- AbstractAzureStorageDatastore atau AzureDataLakeDatastore
Penyimpanan data default untuk digunakan pada langkah ini.
- context
- <xref:azureml.pipeline.core._GraphContext>
Objek konteks grafik.
Mengembalikan
Node yang dibuat.
Tipe hasil
get_source_directory
Dapatkan direktori sumber untuk langkah tersebut dan periksa apakah skrip itu ada.
get_source_directory(context, source_directory, script_name)
Parameter
- context
- <xref:azureml.pipeline.core._GraphContext>
Objek konteks grafik.
Mengembalikan
Direktori sumber dan jalur hash.
Tipe hasil
resolve_input_arguments
Cocokkan input dan output dengan argumen untuk menghasilkan string argumen.
static resolve_input_arguments(arguments, inputs, outputs, params)
Parameter
Mengembalikan
Mengembalikan tuple dua item. Yang pertama adalah daftar item datar untuk argumen yang diselesaikan. Yang kedua adalah daftar argumen terstruktur (_InputArgument, _OutputArgument, _ParameterArgument, dan _StringArgument)
Tipe hasil
run_after
Jalankan langkah ini setelah langkah yang ditentukan.
run_after(step)
Parameter
Keterangan
Jika Anda ingin menjalankan langkah, misalnya, langkah3 setelah langkah1 dan langkah2 selesai, Anda dapat menggunakan:
step3.run_after(step1)
step3.run_after(step2)
validate_arguments
Validasi bahwa input dan output langkah yang disediakan dalam argumen ada dalam daftar input dan output.
static validate_arguments(arguments, inputs, outputs)
Parameter
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk