次の方法で共有

PythonScriptStep クラス

  • リファレンス

Python スクリプトを実行する Azure ML パイプライン ステップを作成します。

PythonScriptStep の使用例については、ノートブック https://aka.ms/pl-get-started を参照してください。

Python スクリプトを実行する Azure ML パイプライン ステップを作成します。

継承
azureml.pipeline.core._python_script_step_base._PythonScriptStepBase
PythonScriptStep

コンストラクター

PythonScriptStep(script_name, name=None, arguments=None, compute_target=None, runconfig=None, runconfig_pipeline_params=None, inputs=None, outputs=None, params=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

パラメーター

名前 説明
script_name
必須
str

[必須] source_directory を基準にした Python スクリプトの名前。
name
str

ステップの名前。 指定されなかった場合は、script_name が使用されます。

規定値: None
arguments
list

Python スクリプト ファイルのコマンド ライン引数。 引数は、RunConfiguration の arguments パラメーターを介してコンピューティングに渡されます。 特殊なシンボルなどの引数を処理する方法の詳細については、「RunConfiguration」を参照してください。

規定値: None
compute_target
Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple]

[必須] 使用するコンピューティング先。 指定されなかった場合は、runconfig のターゲットが使用されます。 このパラメーターはコンピューティング先オブジェクトとして、またはワークスペース上のコンピューティング先の文字列名として指定できます。 必要に応じて、パイプラインの作成時にコンピューティング先が使用できない場合は、('コンピューティング先の名前'、'コンピューティング先の型') のタプルを指定することにより、コンピューティング先オブジェクトがフェッチされないようにすることもできます (AmlCompute の型は 'AmlCompute' で、RemoteCompute の型は 'VirtualMachine' です)。

規定値: None
runconfig
RunConfiguration

使用するオプションの RunConfiguration。 RunConfiguration を使用すると、conda の依存関係や docker イメージなどの実行に関する追加の要件を指定できます。 指定されなかった場合は、既定の runconfig が作成されます。

規定値: None
runconfig_pipeline_params
dict[str, PipelineParameter]

キーに runconfig プロパティの名前、値にそのプロパティの PipelineParameter を持つキーと値のペアを使用して、実行時に runconfig プロパティをオーバーライドします。

サポートされる値は、'NodeCount'、'MpiProcessCountPerNode'、'TensorflowWorkerCount'、'TensorflowParameterServerCount' です。

規定値: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]]

入力ポート バインドのリスト。

規定値: None
outputs
list[Union[PipelineData, OutputDatasetConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset, OutputPortBinding]]

出力ポート バインドのリスト。

規定値: None
params
dict

"AML_PARAMETER_" を使用して環境変数として登録された名前と値のペアのディクショナリ。

規定値: None
source_directory
str

ステップで使用される Python スクリプト、conda env、その他のリソースを含むフォルダー。

規定値: None
allow_reuse
bool

同じ設定で再実行されたときに、ステップで前の結果を再利用するかどうかを示します。 再利用は既定で有効になっています。 ステップの内容 (スクリプトや依存関係) だけでなく、入力とパラメーターも変更されていない場合は、このステップの前の実行からの出力が再利用されます。 ステップを再利用する場合、計算するジョブを送信する代わりに、前の実行の結果を後続のステップですぐに利用できるようにします。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。

規定値: True
version
str

ステップの機能変更を示す省略可能なバージョン タグ。

規定値: None
hash_paths
list

非推奨: 不要になりました。

ステップの内容の変更を確認するときにハッシュするパスのリスト。 変更が検出されない場合、パイプラインは以前の実行のステップの内容を再利用します。 既定では、source_directory の内容は .amlignore または .gitignore に示されているファイルを除いてハッシュされます。

規定値: None
script_name
必須
str

[必須] source_directory を基準にした Python スクリプトの名前。
name
必須
str

ステップの名前。 指定されなかった場合は、script_name が使用されます。
arguments
必須
[str]

Python スクリプト ファイルのコマンド ライン引数。 引数は、RunConfiguration の arguments パラメーターを介してコンピューティングに渡されます。 特殊なシンボルなどの引数を処理する方法の詳細については、「RunConfiguration」を参照してください。
compute_target
必須
Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple]

[必須] 使用するコンピューティング先。 指定されなかった場合は、runconfig のターゲットが使用されます。 このパラメーターはコンピューティング先オブジェクトとして、またはワークスペース上のコンピューティング先の文字列名として指定できます。 必要に応じて、パイプラインの作成時にコンピューティング先が使用できない場合は、('コンピューティング先の名前'、'コンピューティング先の型') のタプルを指定することにより、コンピューティング先オブジェクトがフェッチされないようにすることもできます (AmlCompute の型は 'AmlCompute' で、RemoteCompute の型は 'VirtualMachine' です)。
runconfig
必須
RunConfiguration

使用するオプションの RunConfiguration。 RunConfiguration を使用して、conda の依存関係や Docker イメージなど、実行の追加要件を指定できます。 指定されなかった場合は、既定の runconfig が作成されます。
runconfig_pipeline_params
必須
dict[str, PipelineParameter]

キーに runconfig プロパティの名前、値にそのプロパティの PipelineParameter を持つキーと値のペアを使用して、実行時に runconfig プロパティをオーバーライドします。

サポートされる値は、'NodeCount'、'MpiProcessCountPerNode'、'TensorflowWorkerCount'、'TensorflowParameterServerCount' です。
inputs
必須
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]]

入力ポート バインドのリスト。
outputs
必須
list[Union[PipelineData, OutputDatasetConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset, OutputPortBinding]]

出力ポート バインドのリスト。
params
必須
<xref:<xref:{str: str}>>

名前と値のペアのディクショナリ。 "AML_PARAMETER_<<">> を使用して環境変数として登録されます。
source_directory
必須
str

ステップで使用される Python スクリプト、conda env、その他のリソースを含むフォルダー。
allow_reuse
必須
bool

同じ設定で再実行されたときに、ステップで前の結果を再利用するかどうかを示します。 再利用は既定で有効になっています。 ステップの内容 (スクリプトや依存関係) だけでなく、入力とパラメーターも変更されていない場合は、このステップの前の実行からの出力が再利用されます。 ステップを再利用する場合、計算するジョブを送信する代わりに、前の実行の結果を後続のステップですぐに利用できるようにします。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。
version
必須
str

ステップの機能変更を示す省略可能なバージョン タグ。
hash_paths
必須
list

非推奨: 不要になりました。

ステップの内容の変更を確認するときにハッシュするパスのリスト。 変更が検出されない場合、パイプラインは以前の実行のステップの内容を再利用します。 既定では、source_directory の内容は .amlignore または .gitignore に示されているファイルを除いてハッシュされます。

注釈

PythonScriptStep は、コンピューティング先で Python スクリプトを実行するための基本的な組み込みステップです。 スクリプト名とその他の省略可能なパラメーター (スクリプト、コンピューティング先、入力、出力の引数など) を受け取ります。 コンピューティング先が指定されなかった場合は、ワークスペースの既定のコンピューティング先が使用されます。 また、RunConfiguration を使用して、conda の依存関係や docker イメージなどの Python Scriptstep の要件を指定することもできます。

PythonScriptStep で使用する場合のベスト プラクティスは、スクリプトと、そのステップに関連付けられた依存ファイル用に別々のフォルダーを使用し、source_directory パラメーターでそのフォルダーを指定することです。 このベスト プラクティスに従うと、2 つの利点があります。 まず、ステップに必要なものだけがスナップショットされるため、ステップに対して作成されるスナップショットのサイズを小さくするのに役立ちます。 次に、スナップショットの再アップロードをトリガーする source_directory の変更がない場合に、以前の実行からのステップの出力を再利用できます。

次のコード例は、機械学習のトレーニング シナリオで PythonScriptStep を使用する方法を示しています。 この例の詳細については、「https://aka.ms/pl-first-pipeline」を参照してください。


   from azureml.pipeline.steps import PythonScriptStep

   trainStep = PythonScriptStep(
       script_name="train.py",
       arguments=["--input", blob_input_data, "--output", output_data1],
       inputs=[blob_input_data],
       outputs=[output_data1],
       compute_target=compute_target,
       source_directory=project_folder
   )

PythonScriptSteps は、さまざまな入力と出力の種類をサポートしています。 入力用の DatasetConsumptionConfig や、入力と出力用の OutputDatasetConfig、PipelineOutputAbstractDataset、および PipelineData などがあります。

Dataset をステップ入力およびステップ出力として使用する例を次に示します。


   from azureml.core import Dataset
   from azureml.pipeline.steps import PythonScriptStep
   from azureml.pipeline.core import Pipeline, PipelineData

   # get input dataset
   input_ds = Dataset.get_by_name(workspace, 'weather_ds')

   # register pipeline output as dataset
   output_ds = PipelineData('prepared_weather_ds', datastore=datastore).as_dataset()
   output_ds = output_ds.register(name='prepared_weather_ds', create_new_version=True)

   # configure pipeline step to use dataset as the input and output
   prep_step = PythonScriptStep(script_name="prepare.py",
                                inputs=[input_ds.as_named_input('weather_ds')],
                                outputs=[output_ds],
                                compute_target=compute_target,
                                source_directory=project_folder)

他の入力/出力の種類の使用例については、対応するドキュメント ページを参照してください。

メソッド

create_node

PythonScriptStep のノードを作成し、指定されたグラフに追加します。

このメソッドは直接使用するためのものではありません。 このステップでパイプラインがインスタンス化されると、Azure ML は、ワークフローを表すパイプライン グラフにステップを追加できるように、このメソッドで必要なパラメーターを自動的に渡します。

create_node

PythonScriptStep のノードを作成し、指定されたグラフに追加します。

このメソッドは直接使用するためのものではありません。 このステップでパイプラインがインスタンス化されると、Azure ML は、ワークフローを表すパイプライン グラフにステップを追加できるように、このメソッドで必要なパラメーターを自動的に渡します。

create_node(graph, default_datastore, context)

パラメーター

名前 説明
graph
必須
Graph

ノードを追加するグラフ オブジェクト。
default_datastore
必須
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

既定のデータストア。
context
必須
<xref:azureml.pipeline.core._GraphContext>

グラフ コンテキスト。

戻り値

型 説明
Node

作成されたノード。