MpiStep Kelas
Membuat langkah alur Azure Machine Learning untuk menjalankan pekerjaan MPI.
Untuk contoh penggunakan MpiStep, lihat notebook https://aka.ms/pl-style-trans.
Buat langkah alur Azure ML untuk menjalankan pekerjaan MPI.
TIDAK DIGUNAKAN LAGI. Gunakan CommandStep sebagai gantinya. Misalnya lihat Cara menjalankan pelatihan terdistribusi dalam alur dengan CommandStep.
- Warisan
-
MpiStep
Konstruktor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Parameter
- source_directory
- str
[Diperlukan] Folder yang berisi skrip Python, conda env, dan sumber daya lain yang digunakan dalam langkah tersebut.
- script_name
- str
[Diperlukan] Nama skrip Python yang relatif terhadap source_directory.
- node_count
- int
[Diperlukan] Jumlah node dalam target komputasi yang digunakan untuk pelatihan. Jika lebih besar dari 1, pekerjaan terdistribusi mpi akan dijalankan. Hanya target komputasi AmlCompute yang didukung untuk pekerjaan terdistribusi. Nilai PipelineParameter didukung.
- process_count_per_node
- int
[Diperlukan] Jumlah proses per node. Jika lebih besar dari 1, pekerjaan terdistribusi mpi akan dijalankan. Hanya target komputasi AmlCompute yang didukung untuk pekerjaan terdistribusi. Nilai PipelineParameter didukung.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Daftar pengikatan port input.
Daftar pengikatan port output.
- params
- dict
Kamus pasangan nama-nilai yang terdaftar sebagai variabel lingkungan dengan "AML_PARAMETER_".
- allow_reuse
- bool
Menunjukkan apakah langkah tersebut harus menggunakan kembali hasil sebelumnya saat dijalankan lagi dengan pengaturan yang sama. Penggunaan kembali diaktifkan secara default. Jika konten langkah (skrip/dependensi) serta input dan parameter tetap tidak berubah, output dari eksekusi sebelumnya dari langkah ini digunakan ulang. Saat menggunakan ulang langkah tersebut, daripada mengirimkan pekerjaan ke komputasi, hasil dari eksekusi sebelumnya segera dibuat tersedia untuk langkah selanjutnya. Jika Anda menggunakan himpunan data Azure Machine Learning sebagai input, penggunaan ulang ditentukan oleh apakah definisi himpunan data telah berubah, bukan oleh apakah data yang mendasarinya telah berubah.
- version
- str
Tag versi opsional untuk menunjukkan perubahan fungsionalitas untuk modul.
- hash_paths
- list
TIDAK DIGUNAKAN LAGI: tidak lagi diperlukan.
Daftar jalur ke hash saat memeriksa perubahan ke konten langkah. Jika tidak ada perubahan yang terdeteksi, alur akan menggunakan ulang konten langkah dari eksekusi sebelumnya. Secara default, konten source_directory di-hash kecuali untuk file yang terdaftar di .amlignore atau .gitignore.
- use_gpu
- bool
Menunjukkan apakah lingkungan untuk menjalankan eksperimen harus mendukung GPU.
Jika True, gambar Docker default berbasis GPU akan digunakan di lingkungan. Jika False, gambar berbasis CPU akan digunakan. Gambar docker default (CPU atau GPU) hanya akan digunakan jika parameter custom_docker_image tidak diatur. Pengaturan ini hanya digunakan di target komputasi yang mendukung Docker.
- use_docker
- bool
Menunjukkan apakah lingkungan untuk menjalankan eksperimen harus berbasis Docker.
- custom_docker_image
- str
Nama gambar Docker dari mana gambar yang akan digunakan untuk pelatihan akan dibuat. Jika tidak diatur, gambar berbasis CPU default akan digunakan sebagai gambar dasar.
- user_managed
- bool
Menunjukkan apakah Azure Machine Learning menggunakan kembali lingkungan Python yang ada; False berarti bahwa Azure Machine Learning akan membuat lingkungan Python berdasarkan spesifikasi dependensi conda.
- conda_packages
- list
Daftar untai (karakter) yang menunjukkan paket conda untuk ditambahkan ke lingkungan Python.
- pip_packages
- list
Daftar untai yang menunjukkan paket pip untuk ditambahkan ke lingkungan Python.
- pip_requirements_file_path
- str
Jalur relatif ke file teks persyaratan pip.
Parameter ini dapat ditentukan dalam kombinasi dengan parameter pip_packages.
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition untuk eksperimen. Ini termasuk PythonSection dan DockerSection dan variabel lingkungan. Setiap opsi lingkungan yang tidak langsung diekspos melalui parameter lain ke konstruksi MpiStep dapat diatur menggunakan parameter environment_definition. Jika parameter ini ditentukan, parameter ini akan lebih diutamakan daripada parameter terkait lingkungan lainnya seperti use_gpu, custom_docker_image, conda_packages atau pip_packages dan kesalahan akan dilaporkan pada kombinasi yang tidak valid ini.
- source_directory
- str
[Diperlukan] Folder yang berisi skrip Python, conda env, dan sumber daya lain yang digunakan dalam langkah tersebut.
- compute_target
- <xref:azureml.core.compute.AmlComputeCompute>, str
[Diperlukan] Target komputasi untuk digunakan.
- node_count
- int
[Diperlukan] Jumlah simpul dalam target komputasi yang digunakan untuk pelatihan. Jika lebih besar dari 1, pekerjaan terdistribusi mpi akan dijalankan. Hanya target komputasi AmlCompute yang didukung untuk pekerjaan terdistribusi. Nilai PipelineParameter didukung.
- process_count_per_node
- int
[Diperlukan] Jumlah proses per simpul. Jika lebih besar dari 1, pekerjaan terdistribusi mpi akan dijalankan. Hanya target komputasi AmlCompute yang didukung untuk pekerjaan terdistribusi. Nilai PipelineParameter didukung.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Daftar pengikatan port input.
- outputs
- list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]
Daftar pengikatan port output.
- params
- dict
Kamus pasangan nilai nama yang terdaftar sebagai variabel lingkungan dengan ">>AML_PARAMETER_<<".
- allow_reuse
- bool
Menunjukkan Apakah langkah harus menggunakan kembali hasil sebelumnya saat dijalankan kembali dengan parameter yang sama tetap tidak berubah, output dari eksekusi sebelumnya dari langkah ini digunakan kembali. Saat menggunakan ulang langkah tersebut, daripada mengirimkan pekerjaan ke komputasi, hasil dari eksekusi sebelumnya segera dibuat tersedia untuk langkah selanjutnya. Jika Anda menggunakan himpunan data Azure Machine Learning sebagai input, penggunaan ulang ditentukan oleh apakah definisi himpunan data telah berubah, bukan oleh apakah data yang mendasarinya telah berubah.
- hash_paths
- list
TIDAK DIGUNAKAN LAGI: tidak lagi diperlukan.
Daftar jalur ke hash saat memeriksa perubahan ke konten langkah. Jika tidak ada perubahan yang terdeteksi, alur akan menggunakan ulang konten langkah dari eksekusi sebelumnya. Secara default, konten source_directory di-hash kecuali untuk file yang terdaftar di .amlignore atau .gitignore.
- use_gpu
- bool
Menunjukkan apakah lingkungan untuk menjalankan eksperimen harus mendukung GPU.
Jika True, gambar Docker default berbasis GPU akan digunakan di lingkungan. Jika False, gambar berbasis CPU akan digunakan. Gambar docker default (CPU atau GPU) hanya akan digunakan jika parameter custom_docker_image tidak diatur. Pengaturan ini hanya digunakan di target komputasi yang mendukung Docker.
- use_docker
- bool
Menunjukkan apakah lingkungan untuk menjalankan eksperimen harus berbasis Docker. custom_docker_image (str): Nama gambar docker tempat gambar digunakan untuk pekerjaan mpi akan dibangun. Jika tidak diatur, gambar berbasis CPU default akan digunakan sebagai gambar dasar.
- custom_docker_image
- str
Nama gambar Docker dari mana gambar yang akan digunakan untuk pelatihan akan dibuat. Jika tidak diatur, gambar berbasis CPU default akan digunakan sebagai gambar dasar.
- user_managed
- bool
Menunjukkan apakah Azure Machine Learning menggunakan kembali lingkungan Python yang ada; False berarti bahwa Azure Machine Learning akan membuat lingkungan Python berdasarkan spesifikasi dependensi conda.
- conda_packages
- list
Daftar untai (karakter) yang menunjukkan paket conda untuk ditambahkan ke lingkungan Python.
- pip_packages
- list
Daftar untai yang menunjukkan paket pip untuk ditambahkan ke lingkungan Python.
- pip_requirements_file_path
- str
Jalur relatif ke file teks persyaratan pip.
Parameter ini dapat ditentukan dalam kombinasi dengan parameter pip_packages.
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition untuk eksperimen. Ini termasuk PythonSection dan DockerSection dan variabel lingkungan. Setiap opsi lingkungan yang tidak langsung diekspos melalui parameter lain ke konstruksi MpiStep dapat diatur menggunakan parameter environment_definition. Jika parameter ini ditentukan, parameter ini akan lebih diutamakan daripada parameter terkait lingkungan lainnya seperti use_gpu, custom_docker_image, conda_packages atau pip_packages dan kesalahan akan dilaporkan pada kombinasi yang tidak valid ini.
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk