Sdílet prostřednictvím

DataTransferStep Třída

Vytvoří krok kanálu Azure ML, který přenáší data mezi možnostmi úložiště.

DataTransferStep podporuje běžné typy úložiště, jako jsou Azure Blob Storage a Azure Data Lake jako zdroje a jímky. Další informace najdete v části Poznámky .

Příklad použití dataTransferStep naleznete v poznámkovém bloku https://aka.ms/pl-data-trans.

Vytvořte krok kanálu Azure ML, který přenáší data mezi možnostmi úložiště.

Konstruktor

DataTransferStep(name, source_data_reference=None, destination_data_reference=None, compute_target=None, source_reference_type=None, destination_reference_type=None, allow_reuse=True)

Parametry

Name Description
name
Vyžadováno
str

[Povinné] Název kroku.
source_data_reference
Union[InputPortBinding, DataReference, PortDataReference, PipelineData]

[Povinné] Vstupní připojení, které slouží jako zdroj operace přenosu dat.

Default value: None
destination_data_reference
Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference]

[Povinné] Výstupní připojení, které slouží jako cíl operace přenosu dat.

Default value: None
compute_target
DataFactoryCompute, str

[Povinné] Azure Data Factory, která se má použít k přenosu dat.

Default value: None
source_reference_type
str

Volitelný řetězec určující typ .source_data_reference Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadán, použije se typ existující cesty. Tento parametr použijte k rozlišení souboru a adresáře se stejným názvem.

Default value: None
destination_reference_type
str

Volitelný řetězec určující typ .destination_data_reference Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadáno, Azure ML v tomto pořadí používá typ existující cesty, zdrojového odkazu nebo adresáře.

Default value: None
allow_reuse
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud argumenty kroku zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opětovném použití kroku místo opětovného přenosu dat se výsledky z předchozího spuštění okamžitě zpřístupní pro všechny následné kroky. Pokud jako vstupy používáte datové sady Azure Machine Learning, určuje se opakované použití podle toho, jestli se definice datové sady změnila, a ne tím, jestli se podkladová data změnila.

Default value: True
name
Vyžadováno
str

[Povinné] Název kroku.
source_data_reference
Vyžadováno
Union[InputPortBinding, DataReference, PortDataReference, PipelineData]

[Povinné] Vstupní připojení, které slouží jako zdroj operace přenosu dat.
destination_data_reference
Vyžadováno
Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference]

[Povinné] Výstupní připojení, které slouží jako cíl operace přenosu dat.
compute_target
Vyžadováno
DataFactoryCompute, str

[Povinné] Azure Data Factory, která se má použít k přenosu dat.
source_reference_type
Vyžadováno
str

Volitelný řetězec určující typ .source_data_reference Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadán, použije se typ existující cesty. Tento parametr použijte k rozlišení souboru a adresáře se stejným názvem.
destination_reference_type
Vyžadováno
str

Volitelný řetězec určující typ .destination_data_reference Mezi možné hodnoty patří: 'file', 'directory'. Pokud není zadáno, Azure ML v tomto pořadí používá typ existující cesty, zdrojového odkazu nebo adresáře.
allow_reuse
Vyžadováno
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud argumenty kroku zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opětovném použití kroku místo opětovného přenosu dat se výsledky z předchozího spuštění okamžitě zpřístupní pro všechny následné kroky. Pokud jako vstupy používáte datové sady Azure Machine Learning, určuje se opakované použití podle toho, jestli se definice datové sady změnila, a ne tím, jestli se podkladová data změnila.

Poznámky

Tento krok podporuje následující typy úložiště jako zdroje a jímky s výjimkou případů, kdy je uvedeno:

  • Azure Blob Storage

  • Azure Data Lake Storage Gen1 a Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Azure Database for MySQL

Pro Azure SQL Database musíte použít ověřování instančního objektu. Další informace naleznete v tématu Ověřování instančního objektu. Příklad použití ověřování instančního objektu pro Azure SQL Database najdete v tématu https://aka.ms/pl-data-trans.

Chcete-li vytvořit závislost dat mezi kroky, použijte metodu get_outputPipelineData k získání objektu, který představuje výstup tohoto kroku přenosu dat a lze jej použít jako vstup pro pozdější kroky v kanálu.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Chcete-li vytvořit s InputPortBinding konkrétním názvem, můžete kombinovat výstup get_output() s výstupem as_input nebo as_mount metodami PipelineData.


   data_transfer_step = DataTransferStep(name="copy data", ...)
   training_input = data_transfer_step.get_output().as_input("my_input_name")

Metody

create_node

Vytvořte uzel z kroku DataTransfer a přidejte ho do daného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předá parametry požadované touto metodou, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.
get_output

Získejte výstup kroku jako PipelineData.

create_node

Vytvořte uzel z kroku DataTransfer a přidejte ho do daného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předá parametry požadované touto metodou, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node(graph, default_datastore, context)

Parametry

Name Description
graph
Vyžadováno
Graph

Objekt grafu pro přidání uzlu.
default_datastore
Vyžadováno
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Výchozí úložiště dat.
context
Vyžadováno
<xref:azureml.pipeline.core._GraphContext>

Kontext grafu

Návraty

Typ Description
Node

Vytvořený uzel.

get_output

Získejte výstup kroku jako PipelineData.

get_output()

Návraty

Typ Description
PipelineData

Výstup kroku.

Poznámky

K navázání závislosti mezi kroky použijte get_output metodu PipelineData k získání objektu, který představuje výstup tohoto kroku přenosu dat a lze jej použít jako vstup pro pozdější kroky v kanálu.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Pokud chcete vytvořit konkrétní InputPortBinding název, můžete zkombinovat volání get_output() s pomocnými metodamias_input.as_mount


   data_transfer_step = DataTransferStep(name="copy data", ...)

   training_input = data_transfer_step.get_output().as_input("my_input_name")