Share via

AzureBatchStep クラス

  • リファレンス

Azure Batch にジョブを送信するための Azure ML パイプライン ステップを作成します。

注: この手順は、ディレクトリとその内容のアップロード/ダウンロードには対応していません。

AzureBatchStep の使用例については、ノートブック https://aka.ms/pl-azbatch を参照してください。

ジョブをAzure Batchに送信するための Azure ML パイプライン ステップを作成します。

継承
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase
AzureBatchStep

コンストラクター

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

パラメーター

name
str
必須

[必須] ステップの名前。

create_pool
bool
既定値: False

ジョブを実行する前にプールを作成するかどうかを示します。

pool_id
str
既定値: None

[必須] ジョブが実行されるプールの ID。 ID には、既存のプール、またはジョブの送信時に作成されるプールを指定できます。

delete_batch_job_after_finish
bool
既定値: True

ジョブの完了後に Batch アカウントからそのジョブを削除するかどうかを示します。

delete_batch_pool_after_finish
bool
既定値: False

ジョブの完了後にプールを削除するかどうかを示します。

is_positive_exit_code_failure
bool
既定値: True

タスクが正のコードで存在する場合にジョブが失敗するかどうかを示します。

vm_image_urn
str
既定値: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter

create_pool が True で、VM が VirtualMachineConfiguration を使用する場合。 値の形式: urn:publisher:offer:sku。 例: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

run_task_as_admin
bool
既定値: False

タスクを管理特権で実行する必要があるかどうかを示します。

target_compute_nodes
int
既定値: 1

create_pool が True の場合は、プールに追加される計算ノードの数を示します。

vm_size
str
既定値: standard_d1_v2

create_pool が True の場合は、計算ノードの仮想マシンのサイズを示します。

source_directory
str
既定値: None

モジュール バイナリ、実行可能ファイル、アセンブリなどが保存されているローカル フォルダー。

executable
str
既定値: None

[必須] ジョブの一部として実行されるコマンドまたは実行可能ファイルの名前。

arguments
str
既定値: None

コマンドまたは実行可能ファイルの引数。

inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
既定値: None

入力ポート バインドのリスト。 ジョブを実行する前に、入力ごとにフォルダーが作成されます。 各入力のファイルは、ストレージから計算ノード上のそれぞれのフォルダーにコピーされます。 たとえば、入力名が input1 で、ストレージ上の相対パスが some/relative/path/that/can/be/really/long/inputfile.txt の場合、コンピューティング上のファイル パスは ./input1/inputfile.txt となります。 入力名が 32 文字を超える場合は、フォルダー名がコンピューティング先に正常に作成されるように、文字が切り捨てられ、一意のサフィックスが名前に追加されます。

outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]
既定値: None

出力ポート バインドのリスト。 入力と同様に、ジョブを実行する前に、出力ごとにフォルダーが作成されます。 フォルダー名は出力名と同じになります。 ジョブによって出力がそのフォルダーに保存されることが前提となります。

allow_reuse
bool
既定値: True

同じ設定で再実行されたときに、ステップで前の結果を再利用するかどうかを示します。 再利用は既定で有効になっています。 ステップの内容 (スクリプトや依存関係) だけでなく、入力とパラメーターも変更されていない場合は、このステップの前の実行からの出力が再利用されます。 ステップを再利用する場合、計算するジョブを送信する代わりに、前の実行の結果を後続のステップですぐに利用できるようにします。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。

compute_target
BatchCompute, str
既定値: None

[必須] ジョブが実行される BatchCompute コンピューティング。

version
str
既定値: None

モジュールの機能変更を示すオプションのバージョン タグ。

name
str
必須

[必須] ステップの名前。

create_pool
bool
必須

ジョブを実行する前にプールを作成するかどうかを示します。

pool_id
str
必須

[必須] ジョブが実行されるプールの ID。 ID には、既存のプール、またはジョブの送信時に作成されるプールを指定できます。

delete_batch_job_after_finish
bool
必須

ジョブの完了後に Batch アカウントからそのジョブを削除するかどうかを示します。

delete_batch_pool_after_finish
bool
必須

ジョブの完了後にプールを削除するかどうかを示します。

is_positive_exit_code_failure
bool
必須

タスクが正のコードで存在する場合にジョブが失敗するかどうかを示します。

vm_image_urn
str
必須

create_pool が True で、VM が VirtualMachineConfiguration を使用する場合。 値の形式: urn:publisher:offer:sku。 例: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

run_task_as_admin
bool
必須

タスクを管理特権で実行する必要があるかどうかを示します。

target_compute_nodes
int
必須

create_pool が True の場合は、プールに追加される計算ノードの数を示します。

vm_size
str
必須

が True の場合 create_pool は、コンピューティング ノードの仮想マシン サイズを示します。

source_directory
str
必須

モジュール バイナリ、実行可能ファイル、アセンブリなどを含むローカル フォルダー。

executable
str
必須

[必須] ジョブの一部として実行されるコマンドまたは実行可能ファイルの名前。

arguments
list
必須

コマンドまたは実行可能ファイルの引数。

inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
必須

入力ポート バインドのリスト。 ジョブを実行する前に、入力ごとにフォルダーが作成されます。 各入力のファイルは、ストレージから計算ノード上のそれぞれのフォルダーにコピーされます。 たとえば、入力名が input1 で、ストレージ上の相対パスが some/relative/path/that/can/be/really/long/inputfile.txt の場合、コンピューティング上のファイル パスは ./input1/inputfile.txt となります。 入力名が 32 文字を超える場合は、切り捨てられ、一意のサフィックスが付加されるため、コンピューティングでフォルダー名を正常に作成できます。

outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]
必須

出力ポート バインドのリスト。 入力と同様に、ジョブを実行する前に、出力ごとにフォルダーが作成されます。 フォルダー名は出力名と同じになります。 ジョブがそのフォルダーに出力されることを前提とします。

allow_reuse
bool
必須

同じ設定で再実行されたときに、ステップで前の結果を再利用するかどうかを示します。 再利用は既定で有効になっています。 ステップの内容 (スクリプトや依存関係) だけでなく、入力とパラメーターも変更されていない場合は、このステップの前の実行からの出力が再利用されます。 ステップを再利用する場合、計算するジョブを送信する代わりに、前の実行の結果を後続のステップですぐに利用できるようにします。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。

compute_target
BatchCompute, str
必須

[必須] ジョブが実行される BatchCompute コンピューティング。

version
str
必須

モジュールの機能変更を示すオプションのバージョン タグ。

注釈

次の例は、Azure Machine Learning パイプライン内で AzureBatchStep を使用する方法を示しています。


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

完全なサンプルは、https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb から入手できます

メソッド

create_node

AzureBatch ステップからノードを作成し、指定されたグラフに追加します。

このメソッドは直接使用するためのものではありません。 このステップでパイプラインがインスタンス化されると、Azure ML は、ワークフローを表すパイプライン グラフにステップを追加できるように、このメソッドで必要なパラメーターを自動的に渡します。

create_node

AzureBatch ステップからノードを作成し、指定されたグラフに追加します。

このメソッドは直接使用するためのものではありません。 このステップでパイプラインがインスタンス化されると、Azure ML は、ワークフローを表すパイプライン グラフにステップを追加できるように、このメソッドで必要なパラメーターを自動的に渡します。

create_node(graph, default_datastore, context)

パラメーター

graph
Graph
必須

ノードを追加するグラフ オブジェクト。

default_datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
必須

既定のデータストア。

context
<xref:azureml.pipeline.core._GraphContext>
必須

グラフ コンテキスト。

戻り値

作成されたノード。

の戻り値の型 :

Node