MpiStep 類別
建立 Azure ML 管線步驟以執行 MPI 作業。
如需使用 MpiStep 的範例,請參閱筆記本 https://aka.ms/pl-style-trans。
建立 Azure ML 管線步驟以執行 MPI 作業。
荒廢的。 CommandStep請改用 。 如需範例,請參閱 如何使用 CommandStep 在管線中執行分散式定型。
建構函式
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
參數
名稱 | Description |
---|---|
name
|
[必要]模組的名稱。 預設值: None
|
source_directory
|
[必要]包含步驟中所用 Python 腳本、conda env 和其他資源的資料夾。 預設值: None
|
script_name
|
[必要]相對於 預設值: None
|
arguments
|
[必要]命令行自變數的清單。 預設值: None
|
compute_target
|
[必要]要使用的計算目標。 預設值: None
|
node_count
|
[必要]用於定型的計算目標中的節點數目。 如果大於 1,則會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 預設值: None
|
process_count_per_node
|
[必要]每個節點的進程數目。 如果大於 1,則會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 預設值: None
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
輸入埠系結的清單。 預設值: None
|
outputs
|
輸出埠系結的清單。 預設值: None
|
params
必要
|
以 「AML_PARAMETER_」 註冊為環境變數之名稱/值組的字典。 |
allow_reuse
|
指出當使用相同的設定重新執行時,步驟是否應該重複使用先前的結果。 默認會啟用重複使用。 如果步驟內容(腳本/相依性)以及輸入和參數保持不變,則會重複使用此步驟上一次執行的輸出。 重複使用步驟時,而不是提交作業來計算,先前執行的結果會立即提供給任何後續步驟使用。 如果您使用 Azure Machine Learning 數據集做為輸入,則重複使用取決於資料集的定義是否已變更,而不是基礎數據是否已變更。 預設值: True
|
version
|
選擇性版本標記,表示模組功能變更。 預設值: None
|
hash_paths
|
已淘汰:不再需要。 檢查步驟內容的變更時,哈希的路徑清單。 如果未偵測到任何變更,管線將會重複使用先前執行中的步驟內容。 根據預設,除了 .amlignore 或 .gitignore 中列出的檔案之外,會哈希 的內容 預設值: None
|
use_gpu
必要
|
指出執行實驗的環境是否應該支援 GPU。
如果為 True,則會在環境中使用 GPU 型預設 Docker 映射。 如果為 False,則會使用以 CPU 為基礎的映像。 只有在未設定 參數時 |
use_docker
必要
|
指出執行實驗的環境是否應以 Docker 為基礎。 |
custom_docker_image
必要
|
將建置要用於定型之映像的 Docker 映像名稱。 如果未設定,則會使用預設CPU型映像作為基底映像。 |
image_registry_details
必要
|
Docker 映像登錄的詳細數據。 |
user_managed
必要
|
指出 Azure ML 是否重複使用現有的 Python 環境;False 表示 Azure ML 會根據 conda 相依性規格建立 Python 環境。 |
conda_packages
必要
|
字串清單,代表要新增至 Python 環境的 conda 套件。 |
pip_packages
必要
|
字串清單,代表要新增至 Python 環境的 pip 套件。 |
pip_requirements_file_path
必要
|
pip 需求文字文件的相對路徑。
這個參數可以與 |
environment_definition
必要
|
實驗的 EnvironmentDefinition。 它包含 PythonSection 和 DockerSection 和環境變數。 任何未透過其他參數直接公開至 MpiStep 建構的環境選項,都可以使用 environment_definition 參數來設定。 如果指定此參數,它會優先於其他環境相關參數,例如use_gpu、custom_docker_image、conda_packages或pip_packages,而且這些無效的組合會回報錯誤。 |
name
必要
|
[必要]模組的名稱。 |
source_directory
必要
|
[必要]包含步驟中所用 Python 腳本、conda env 和其他資源的資料夾。 |
script_name
必要
|
[必要]相對於 |
arguments
必要
|
[必要]命令行自變數的清單。 |
compute_target
必要
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[必要]要使用的計算目標。 |
node_count
必要
|
[必要]用於定型的計算目標中的節點數目。 如果大於 1,則會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 |
process_count_per_node
必要
|
[必要]每個節點的進程數目。 如果大於 1,則會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 |
inputs
必要
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
輸入埠系結的清單。 |
outputs
必要
|
輸出埠系結的清單。 |
params
必要
|
以 「>>AML_PARAMETER_<<」 註冊為環境變數之名稱/值組的字典。 |
allow_reuse
必要
|
指出當使用相同參數重新執行時,步驟是否應該重複使用先前的結果,則會重複使用此步驟上一次執行的輸出。 重複使用步驟時,而不是提交作業來計算,先前執行的結果會立即提供給任何後續步驟使用。 如果您使用 Azure Machine Learning 數據集做為輸入,則重複使用取決於資料集的定義是否已變更,而不是基礎數據是否已變更。 |
version
必要
|
選擇性版本標記,表示模組功能變更 |
hash_paths
必要
|
已淘汰:不再需要。 檢查步驟內容的變更時,哈希的路徑清單。 如果未偵測到任何變更,管線將會重複使用先前執行中的步驟內容。 根據預設,除了 .amlignore 或 .gitignore 中列出的檔案之外,會哈希 的內容 |
use_gpu
必要
|
指出執行實驗的環境是否應該支援 GPU。
如果為 True,則會在環境中使用 GPU 型預設 Docker 映射。 如果為 False,則會使用以 CPU 為基礎的映像。 只有在未設定 參數時 |
use_docker
必要
|
指出執行實驗的環境是否應以 Docker 為基礎。 custom_docker_image (str):要用來建置 mpi 作業之映射的 Docker 映像名稱。 如果未設定,則會使用預設CPU型映像作為基底映像。 |
custom_docker_image
必要
|
將建置要用於定型之映像的 Docker 映像名稱。 如果未設定,則會使用預設CPU型映像作為基底映像。 |
image_registry_details
必要
|
Docker 映像登錄的詳細數據。 |
user_managed
必要
|
指出 Azure ML 是否重複使用現有的 Python 環境;False 表示 Azure ML 會根據 conda 相依性規格建立 Python 環境。 |
conda_packages
必要
|
字串清單,代表要新增至 Python 環境的 conda 套件。 |
pip_packages
必要
|
字串清單,代表要新增至 Python 環境的 pip 套件。 |
pip_requirements_file_path
必要
|
pip 需求文字文件的相對路徑。
這個參數可以與 |
environment_definition
必要
|
實驗的 EnvironmentDefinition。 它包含 PythonSection 和 DockerSection 和環境變數。 任何未透過其他參數直接公開至 MpiStep 建構的環境選項,都可以使用 environment_definition 參數來設定。 如果指定此參數,它會優先於其他環境相關參數,例如use_gpu、custom_docker_image、conda_packages或pip_packages,而且這些無效的組合會回報錯誤。 |