DataTransferStep 类

创建在存储选项之间传输数据的 Azure ML 管道步骤。

DataTransferStep 支持常见的存储类型，例如作为源和接收器的 Azure Blob 存储和 Azure Data Lake。 有关详细信息，请参阅备注部分。

有关使用 DataTransferStep 的示例，请参阅笔记本 https://aka.ms/pl-data-trans。

创建在存储选项之间传输数据的 Azure ML Pipeline 步骤。

继承

azureml.pipeline.core._data_transfer_step_base._DataTransferStepBase

DataTransferStep

构造函数

DataTransferStep(name, source_data_reference=None, destination_data_reference=None, compute_target=None, source_reference_type=None, destination_reference_type=None, allow_reuse=True)

参数

名称	说明
name 必需	str [必需] 步骤的名称。
source_data_reference	Union[InputPortBinding, DataReference, PortDataReference, PipelineData] [必需] 充当数据传输操作源的输入连接。 默认值: None
destination_data_reference	Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference] [必需] 充当数据传输操作目标的输出连接。 默认值: None
compute_target	DataFactoryCompute, str [必需] 用于传输数据的 Azure 数据工厂。 默认值: None
source_reference_type	str 一个用于指定 source_data_reference 类型的可选字符串。 可能的值包括：“file”、“directory”。 如果未指定，则使用现有路径的类型。 使用此参数可以区分同名的文件和目录。 默认值: None
destination_reference_type	str 一个用于指定 destination_data_reference 类型的可选字符串。 可能的值包括：“file”、“directory”。 如果未指定，Azure ML 将使用现有路径、源引用或“directory”的类型（按该顺序使用）。 默认值: None
allow_reuse	bool 指示当使用相同的设置重新运行时，该步骤是否应重用以前的结果。 默认情况下启用重用。 如果步骤参数保持不变，则重用此步骤的上一个运行的输出。 重用该步骤时，不是再次传输数据，而是使上一个运行的结果立即可供任何后续步骤使用。 如果使用 Azure 机器学习数据集作为输入，则重用取决于数据集的定义是否已更改，而不是基础数据是否已更改。 默认值: True
name 必需	str [必需] 步骤的名称。
source_data_reference 必需	Union[InputPortBinding, DataReference, PortDataReference, PipelineData] [必需] 充当数据传输操作源的输入连接。
destination_data_reference 必需	Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference] [必需] 充当数据传输操作目标的输出连接。
compute_target 必需	DataFactoryCompute, str [必需] 用于传输数据的 Azure 数据工厂。
source_reference_type 必需	str 一个用于指定 source_data_reference 类型的可选字符串。 可能的值包括：“file”、“directory”。 如果未指定，则使用现有路径的类型。 使用此参数可以区分同名的文件和目录。
destination_reference_type 必需	str 一个用于指定 destination_data_reference 类型的可选字符串。 可能的值包括：“file”、“directory”。 如果未指定，Azure ML 将使用现有路径、源引用或“directory”的类型（按该顺序使用）。
allow_reuse 必需	bool 指示当使用相同的设置重新运行时，该步骤是否应重用以前的结果。 默认情况下启用重用。 如果步骤参数保持不变，则重用此步骤的上一个运行的输出。 重用该步骤时，不是再次传输数据，而是使上一个运行的结果立即可供任何后续步骤使用。 如果使用 Azure 机器学习数据集作为输入，则重用取决于数据集的定义是否已更改，而不是基础数据是否已更改。

注解

除非另有说明，否则此步骤支持将以下存储类型用作源和接收器：

• Azure Blob 存储

• Azure Data Lake Storage Gen1 和 Gen2

• Azure SQL 数据库

• Azure Database for PostgreSQL

• Azure Database for MySQL

对于 Azure SQL 数据库，必须使用服务主体身份验证。 有关详细信息，请参阅服务主体身份验证。 有关对 Azure SQL 数据库使用服务主体身份验证的示例，请参阅 https://aka.ms/pl-data-trans。

若要在步骤之间建立数据依赖关系，请使用 get_output 方法获取一个 PipelineData 对象，该对象表示此数据传输步骤的输出，并可用作管道中后续步骤的输入。

   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

若要创建具有特定名称的 InputPortBinding，可将 get_output() 输出与 PipelineData 的 as_input 或 as_mount 方法的输出结合使用。

   data_transfer_step = DataTransferStep(name="copy data", ...)
   training_input = data_transfer_step.get_output().as_input("my_input_name")

方法

create_node	从 DataTransfer 步骤创建一个节点并将其添加到给定的图。 此方法不能直接使用。 通过此步骤实例化管道时，Azure ML 会自动通过此方法传递所需的参数，以便可以将步骤添加到表示工作流的管道图中。
get_output	获取 PipelineData 形式的步骤输出。

create_node

从 DataTransfer 步骤创建一个节点并将其添加到给定的图。

此方法不能直接使用。 通过此步骤实例化管道时，Azure ML 会自动通过此方法传递所需的参数，以便可以将步骤添加到表示工作流的管道图中。

create_node(graph, default_datastore, context)

参数

名称	说明
graph 必需	Graph 要将节点添加到的图对象。
default_datastore 必需	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] 默认数据存储。
context 必需	<xref:azureml.pipeline.core._GraphContext> 图形上下文。

返回

类型	说明
Node	创建的节点。

get_output

获取 PipelineData 形式的步骤输出。

get_output()

返回

类型	说明
PipelineData	步骤的输出。

注解

若要在步骤之间建立数据依赖关系，请使用 get_output 方法获取一个 PipelineData 对象，该对象表示此数据传输步骤的输出，并可用作管道中后续步骤的输入。

   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

若要创建具有特定名称的 InputPortBinding，可将 get_output() 调用与 as_input 或 as_mount 帮助器方法结合使用。

   data_transfer_step = DataTransferStep(name="copy data", ...)

   training_input = data_transfer_step.get_output().as_input("my_input_name")