Sdílet prostřednictvím

DataTransferStep Třída

  • Reference

Vytvoří krok kanálu Azure ML, který přenáší data mezi možnostmi úložiště.

DataTransferStep podporuje běžné typy úložišť, jako jsou Azure Blob Storage a Azure Data Lake jako zdroje a jímky. Další informace najdete v části Poznámky .

Příklad použití DataTransferStep najdete v poznámkovém bloku https://aka.ms/pl-data-trans.

Vytvořte krok kanálu Azure ML, který přenáší data mezi možnostmi úložiště.

Dědičnost
azureml.pipeline.core._data_transfer_step_base._DataTransferStepBase
DataTransferStep

Konstruktor

DataTransferStep(name, source_data_reference=None, destination_data_reference=None, compute_target=None, source_reference_type=None, destination_reference_type=None, allow_reuse=True)

Parametry

Name Description
name
Vyžadováno
str

[Povinné] Název kroku.
source_data_reference
Union[InputPortBinding, DataReference, PortDataReference, PipelineData]

[Povinné] Vstupní připojení, které slouží jako zdroj operace přenosu dat.

Default value: None
destination_data_reference
Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference]

[Povinné] Výstupní připojení, které slouží jako cíl operace přenosu dat.

Default value: None
compute_target
DataFactoryCompute, str

[Povinné] Azure Data Factory pro přenos dat.

Default value: None
source_reference_type
str

Volitelný řetězec určující typ source_data_reference. Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadán, použije se typ existující cesty. Tento parametr slouží k rozlišení mezi souborem a adresářem se stejným názvem.

Default value: None
destination_reference_type
str

Volitelný řetězec určující typ destination_data_reference. Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadáno, Azure ML použije typ existující cesty, odkazu na zdroj nebo adresář v tomto pořadí.

Default value: None
allow_reuse
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud argumenty kroku zůstanou beze změny, znovu se použije výstup z předchozího spuštění tohoto kroku. Při opakovaném použití kroku se místo opětovného přenosu dat okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.

Default value: True
name
Vyžadováno
str

[Povinné] Název kroku.
source_data_reference
Vyžadováno
Union[InputPortBinding, DataReference, PortDataReference, PipelineData]

[Povinné] Vstupní připojení, které slouží jako zdroj operace přenosu dat.
destination_data_reference
Vyžadováno
Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference]

[Povinné] Výstupní připojení, které slouží jako cíl operace přenosu dat.
compute_target
Vyžadováno
DataFactoryCompute, str

[Povinné] Azure Data Factory pro přenos dat.
source_reference_type
Vyžadováno
str

Volitelný řetězec určující typ source_data_reference. Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadán, použije se typ existující cesty. Tento parametr slouží k rozlišení mezi souborem a adresářem se stejným názvem.
destination_reference_type
Vyžadováno
str

Volitelný řetězec určující typ destination_data_reference. Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadáno, Azure ML použije typ existující cesty, odkazu na zdroj nebo adresář v tomto pořadí.
allow_reuse
Vyžadováno
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud argumenty kroku zůstanou beze změny, znovu se použije výstup z předchozího spuštění tohoto kroku. Při opakovaném použití kroku se místo opětovného přenosu dat okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.

Poznámky

Tento krok podporuje následující typy úložiště jako zdroje a jímky s výjimkou případů uvedených:

  • Azure Blob Storage

  • Azure Data Lake Storage Gen1 a Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Azure Database for MySQL

Pro Azure SQL Database musíte použít ověřování instančního objektu. Další informace najdete v tématu Ověřování instančního objektu. Příklad použití ověřování instančního objektu pro Azure SQL Database najdete v tématu https://aka.ms/pl-data-trans.

Pokud chcete vytvořit závislost dat mezi kroky, použijte metodu get_output k získání objektu PipelineData , který představuje výstup tohoto kroku přenosu dat a lze ho použít jako vstup pro pozdější kroky v kanálu.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Pokud chcete vytvořit InputPortBinding objekt s určitým názvem, můžete zkombinovat výstup get_output() s výstupem as_input metod nebo as_mount metody PipelineData.


   data_transfer_step = DataTransferStep(name="copy data", ...)
   training_input = data_transfer_step.get_output().as_input("my_input_name")

Metody

create_node

Vytvořte uzel z kroku DataTransfer a přidejte ho do daného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.
get_output

Získejte výstup kroku jako PipelineData.

create_node

Vytvořte uzel z kroku DataTransfer a přidejte ho do daného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node(graph, default_datastore, context)

Parametry

Name Description
graph
Vyžadováno
Graph

Objekt grafu, do který se má uzel přidat.
default_datastore
Vyžadováno
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Výchozí úložiště dat.
context
Vyžadováno
<xref:azureml.pipeline.core._GraphContext>

Kontext grafu.

Návraty

Typ Description
Node

Vytvořený uzel.

get_output

Získejte výstup kroku jako PipelineData.

get_output()

Návraty

Typ Description
PipelineData

Výstup kroku

Poznámky

Pokud chcete vytvořit závislost dat mezi kroky, použijte get_output metodu k získání objektu PipelineData , který představuje výstup tohoto kroku přenosu dat a lze ho použít jako vstup pro pozdější kroky v kanálu.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Pokud chcete vytvořit InputPortBinding objekt s konkrétním názvem, můžete zkombinovat volání get_output() s pomocnými metodami as_input nebo as_mount .


   data_transfer_step = DataTransferStep(name="copy data", ...)

   training_input = data_transfer_step.get_output().as_input("my_input_name")