DataTransferStep Osztály
Létrehoz egy Azure ML Pipeline-lépést, amely adatokat továbbít a tárolási lehetőségek között.
A DataTransferStep olyan gyakori tárolótípusokat támogat, mint a Azure Blob Storage és az Azure Data Lake, mint források és fogadók. További információkért lásd a Megjegyzések szakaszt .
A DataTransferStep használatára példaként tekintse meg a jegyzetfüzetet https://aka.ms/pl-data-trans.
Hozzon létre egy Azure ML-folyamatlépést, amely adatokat továbbít a tárolási lehetőségek között.
- Öröklődés
-
azureml.pipeline.core._data_transfer_step_base._DataTransferStepBaseDataTransferStep
Konstruktor
DataTransferStep(name, source_data_reference=None, destination_data_reference=None, compute_target=None, source_reference_type=None, destination_reference_type=None, allow_reuse=True)
Paraméterek
Name | Description |
---|---|
name
Kötelező
|
[Kötelező] A lépés neve. |
source_data_reference
|
[Kötelező] Egy bemeneti kapcsolat, amely az adatátviteli művelet forrásaként szolgál. Alapértelmezett érték: None
|
destination_data_reference
|
[Kötelező] Egy kimeneti kapcsolat, amely az adatátviteli művelet céljaként szolgál. Alapértelmezett érték: None
|
compute_target
|
[Kötelező] Az adatok átviteléhez használható Azure Data Factory. Alapértelmezett érték: None
|
source_reference_type
|
Egy választható sztring, amely a típusát Alapértelmezett érték: None
|
destination_reference_type
|
Egy választható sztring, amely a típusát Alapértelmezett érték: None
|
allow_reuse
|
Azt jelzi, hogy a lépés újra felhasználja-e a korábbi eredményeket, amikor ugyanazokkal a beállításokkal fut újra. Az újrafelhasználás alapértelmezés szerint engedélyezve van. Ha a lépésargumentumok változatlanok maradnak, a rendszer újra felhasználja a lépés előző futtatásának kimenetét. A lépés újbóli használatakor az adatok újbóli átvitele helyett az előző futtatás eredményei azonnal elérhetővé válnak a további lépésekhez. Ha az Azure Machine Learning-adatkészleteket használja bemenetként, az újrafelhasználást az határozza meg, hogy az adathalmaz definíciója megváltozott-e, nem pedig az, hogy az alapul szolgáló adatok megváltoztak-e. Alapértelmezett érték: True
|
name
Kötelező
|
[Kötelező] A lépés neve. |
source_data_reference
Kötelező
|
[Kötelező] Egy bemeneti kapcsolat, amely az adatátviteli művelet forrásaként szolgál. |
destination_data_reference
Kötelező
|
[Kötelező] Egy kimeneti kapcsolat, amely az adatátviteli művelet céljaként szolgál. |
compute_target
Kötelező
|
[Kötelező] Az adatok átviteléhez használható Azure Data Factory. |
source_reference_type
Kötelező
|
Egy választható sztring, amely a típusát |
destination_reference_type
Kötelező
|
Egy választható sztring, amely a típusát |
allow_reuse
Kötelező
|
Azt jelzi, hogy a lépés újra felhasználja-e a korábbi eredményeket, amikor ugyanazokkal a beállításokkal fut újra. Az újrafelhasználás alapértelmezés szerint engedélyezve van. Ha a lépésargumentumok változatlanok maradnak, a rendszer újra felhasználja a lépés előző futtatásának kimenetét. A lépés újbóli használatakor az adatok újbóli átvitele helyett az előző futtatás eredményei azonnal elérhetővé válnak a további lépésekhez. Ha az Azure Machine Learning-adatkészleteket használja bemenetként, az újrafelhasználást az határozza meg, hogy az adathalmaz definíciója megváltozott-e, nem pedig az, hogy az alapul szolgáló adatok megváltoztak-e. |
Megjegyzések
Ez a lépés a következő tárolási típusokat támogatja forrásként és fogadóként, kivéve, ha fel van jegyezve:
Azure Blob Storage
Azure Data Lake Storage Gen1 és Gen2
Azure SQL Database
Azure Database for PostgreSQL
Azure Database for MySQL
Az Azure SQL Database esetében szolgáltatásnév-hitelesítést kell használnia. További információ: Egyszerű szolgáltatáshitelesítés. Példa a szolgáltatásnév-hitelesítés Azure SQL Database-hez való használatára: https://aka.ms/pl-data-trans.
A lépések közötti adatfüggőség megállapításához a get_output metódussal lekérhet egy PipelineData objektumot, amely az adatátviteli lépés kimenetét képviseli, és bemenetként használható a folyamat későbbi lépéseihez.
data_transfer_step = DataTransferStep(name="copy data", ...)
# Use output of data_transfer_step as input of another step in pipeline
# This will make training_step wait for data_transfer_step to complete
training_input = data_transfer_step.get_output()
training_step = PythonScriptStep(script_name="train.py",
arguments=["--model", training_input],
inputs=[training_input],
compute_target=aml_compute,
source_directory=source_directory)
Ha egy adott nevű kimenetet InputPortBinding szeretne létrehozni, kombinálhatja a get_output() kimenetét a as_input vagy as_mount metódusának PipelineDatakimenetével.
data_transfer_step = DataTransferStep(name="copy data", ...)
training_input = data_transfer_step.get_output().as_input("my_input_name")
Metódusok
create_node |
Hozzon létre egy csomópontot a DataTransfer lépésből, és adja hozzá az adott gráfhoz. Ezt a módszert nem közvetlenül kell használni. Ha ezzel a lépéssel példányosít egy folyamatot, az Azure ML automatikusan átadja a szükséges paramétereket ezen a módszeren keresztül, hogy a lépés hozzáadható legyen a munkafolyamatot képviselő folyamatgráfhoz. |
get_output |
Kérje le a lépés kimenetét PipelineData néven. |
create_node
Hozzon létre egy csomópontot a DataTransfer lépésből, és adja hozzá az adott gráfhoz.
Ezt a módszert nem közvetlenül kell használni. Ha ezzel a lépéssel példányosít egy folyamatot, az Azure ML automatikusan átadja a szükséges paramétereket ezen a módszeren keresztül, hogy a lépés hozzáadható legyen a munkafolyamatot képviselő folyamatgráfhoz.
create_node(graph, default_datastore, context)
Paraméterek
Name | Description |
---|---|
graph
Kötelező
|
A csomópontot hozzáadni kívánt gráfobjektum. |
default_datastore
Kötelező
|
Az alapértelmezett adattár. |
context
Kötelező
|
<xref:azureml.pipeline.core._GraphContext>
A gráfkörnyezet. |
Válaszok
Típus | Description |
---|---|
A létrehozott csomópont. |
get_output
Kérje le a lépés kimenetét PipelineData néven.
get_output()
Válaszok
Típus | Description |
---|---|
A lépés kimenete. |
Megjegyzések
A lépések közötti adatfüggőség megállapításához használja get_output a metódust egy PipelineData olyan objektum lekéréséhez, amely az adatátviteli lépés kimenetét jelöli, és bemenetként használható a folyamat későbbi lépéseihez.
data_transfer_step = DataTransferStep(name="copy data", ...)
# Use output of data_transfer_step as input of another step in pipeline
# This will make training_step wait for data_transfer_step to complete
training_input = data_transfer_step.get_output()
training_step = PythonScriptStep(script_name="train.py",
arguments=["--model", training_input],
inputs=[training_input],
compute_target=aml_compute,
source_directory=source_directory)
Ha egy adott nevű hívást szeretne létrehozni InputPortBinding , kombinálhatja get_output() hívását as_input vagy as_mount segédmetereként.
data_transfer_step = DataTransferStep(name="copy data", ...)
training_input = data_transfer_step.get_output().as_input("my_input_name")