Aracılığıyla paylaş

DataTransferStep Sınıf

  • Başvuru

Verileri depolama seçenekleri arasında aktaran bir Azure ML İşlem Hattı adımı oluşturur.

DataTransferStep, kaynak ve havuz olarak Azure Blob Depolama ve Azure Data Lake gibi yaygın depolama türlerini destekler. Daha fazla bilgi için Açıklamalar bölümüne bakın.

DataTransferStep kullanma örneği için not defterine https://aka.ms/pl-data-transbakın.

Verileri depolama seçenekleri arasında aktaran bir Azure ML İşlem Hattı adımı oluşturun.

Devralma
azureml.pipeline.core._data_transfer_step_base._DataTransferStepBase
DataTransferStep

Oluşturucu

DataTransferStep(name, source_data_reference=None, destination_data_reference=None, compute_target=None, source_reference_type=None, destination_reference_type=None, allow_reuse=True)

Parametreler

Name Description
name
Gerekli
str

[Gerekli] Adımın adı.
source_data_reference
Union[InputPortBinding, DataReference, PortDataReference, PipelineData]

[Gerekli] Veri aktarımı işleminin kaynağı olarak hizmet veren bir giriş bağlantısı.

Default value: None
destination_data_reference
Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference]

[Gerekli] Veri aktarımı işleminin hedefi olarak hizmet veren bir çıkış bağlantısı.

Default value: None
compute_target
DataFactoryCompute, str

[Gerekli] Veri aktarımı için kullanılacak bir Azure Data Factory.

Default value: None
source_reference_type
str

türünü source_data_referencebelirten isteğe bağlı bir dize. Olası değerler şunlardır: 'file', 'directory'. Belirtilmediğinde, mevcut yolun türü kullanılır. Aynı ada sahip bir dosya ve dizin arasında ayrım yapmak için bu parametreyi kullanın.

Default value: None
destination_reference_type
str

türünü destination_data_referencebelirten isteğe bağlı bir dize. Olası değerler şunlardır: 'file', 'directory'. Belirtilmediğinde, Azure ML var olan yolun türünü, kaynak başvuruyu veya 'dizin'i bu sırada kullanır.

Default value: None
allow_reuse
bool

Aynı ayarlarla yeniden çalıştırıldığında adımın önceki sonuçları yeniden kullanıp kullanmayacağını gösterir. Yeniden kullan özelliği varsayılan olarak etkindir. Adım bağımsız değişkenleri değişmeden kalırsa, bu adımın önceki çalıştırmasından elde edilen çıkış yeniden kullanılır. Adımı yeniden kullanırken, verileri yeniden aktarmak yerine önceki çalıştırmanın sonuçları hemen sonraki adımlarda kullanılabilir duruma gelir. Giriş olarak Azure Machine Learning veri kümelerini kullanıyorsanız, yeniden kullanım, temel alınan verilerin değişip değişmediğine değil, veri kümesinin tanımının değişip değişmediğine göre belirlenir.

Default value: True
name
Gerekli
str

[Gerekli] Adımın adı.
source_data_reference
Gerekli
Union[InputPortBinding, DataReference, PortDataReference, PipelineData]

[Gerekli] Veri aktarımı işleminin kaynağı olarak hizmet veren bir giriş bağlantısı.
destination_data_reference
Gerekli
Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference]

[Gerekli] Veri aktarımı işleminin hedefi olarak hizmet veren bir çıkış bağlantısı.
compute_target
Gerekli
DataFactoryCompute, str

[Gerekli] Veri aktarımı için kullanılacak bir Azure Data Factory.
source_reference_type
Gerekli
str

türünü source_data_referencebelirten isteğe bağlı bir dize. Olası değerler şunlardır: 'file', 'directory'. Belirtilmediğinde, mevcut yolun türü kullanılır. Aynı ada sahip bir dosya ve dizin arasında ayrım yapmak için bu parametreyi kullanın.
destination_reference_type
Gerekli
str

türünü destination_data_referencebelirten isteğe bağlı bir dize. Olası değerler şunlardır: 'file', 'directory'. Belirtilmediğinde, Azure ML var olan yolun türünü, kaynak başvuruyu veya 'dizin'i bu sırada kullanır.
allow_reuse
Gerekli
bool

Aynı ayarlarla yeniden çalıştırıldığında adımın önceki sonuçları yeniden kullanıp kullanmayacağını gösterir. Yeniden kullan özelliği varsayılan olarak etkindir. Adım bağımsız değişkenleri değişmeden kalırsa, bu adımın önceki çalıştırmasından elde edilen çıkış yeniden kullanılır. Adımı yeniden kullanırken, verileri yeniden aktarmak yerine önceki çalıştırmanın sonuçları hemen sonraki adımlarda kullanılabilir duruma gelir. Giriş olarak Azure Machine Learning veri kümelerini kullanıyorsanız, yeniden kullanım, temel alınan verilerin değişip değişmediğine değil, veri kümesinin tanımının değişip değişmediğine göre belirlenir.

Açıklamalar

Bu adım, belirtilen durumlar dışında kaynak ve havuz olarak aşağıdaki depolama türlerini destekler:

  • Azure Blob Depolama

  • Azure Data Lake Storage 1. Nesil ve 2. Nesil

  • Azure SQL Veritabanı

  • PostgreSQL için Azure Veritabanı

  • MySQL için Azure Veritabanı

Azure SQL Veritabanı için hizmet sorumlusu kimlik doğrulamasını kullanmanız gerekir. Daha fazla bilgi için bkz. Hizmet Sorumlusu Kimlik Doğrulaması. Azure SQL Veritabanı için hizmet sorumlusu kimlik doğrulamasını kullanma örneği için bkzhttps://aka.ms/pl-data-trans. .

Adımlar arasında veri bağımlılığı oluşturmak için yöntemini kullanarak get_output bu veri aktarımı adımının çıkışını temsil eden ve işlem hattındaki sonraki adımlar için giriş olarak kullanılabilen bir PipelineData nesne alın.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Belirli bir ada sahip bir InputPortBinding oluşturmak için get_output() çıkışını veya as_mount yöntemlerinin as_inputPipelineDataçıkışıyla birleştirebilirsiniz.


   data_transfer_step = DataTransferStep(name="copy data", ...)
   training_input = data_transfer_step.get_output().as_input("my_input_name")

Yöntemler

create_node

DataTransfer adımından bir düğüm oluşturun ve bu düğümü verilen grafiğe ekleyin.

Bu yöntemin doğrudan kullanılması amaçlanmamıştır. Bu adımla bir işlem hattı örneği oluşturulduğunda, Azure ML bu yöntem aracılığıyla gerekli parametreleri otomatik olarak geçirir, böylece adım iş akışını temsil eden bir işlem hattı grafiğine eklenebilir.
get_output

Adımın çıkışını PipelineData olarak alın.

create_node

DataTransfer adımından bir düğüm oluşturun ve bu düğümü verilen grafiğe ekleyin.

Bu yöntemin doğrudan kullanılması amaçlanmamıştır. Bu adımla bir işlem hattı örneği oluşturulduğunda, Azure ML bu yöntem aracılığıyla gerekli parametreleri otomatik olarak geçirir, böylece adım iş akışını temsil eden bir işlem hattı grafiğine eklenebilir.

create_node(graph, default_datastore, context)

Parametreler

Name Description
graph
Gerekli
Graph

Düğümün ekleneceği grafik nesnesi.
default_datastore
Gerekli
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Varsayılan veri deposu.
context
Gerekli
<xref:azureml.pipeline.core._GraphContext>

Graf bağlamı.

Döndürülenler

Tür Description
Node

Oluşturulan düğüm.

get_output

Adımın çıkışını PipelineData olarak alın.

get_output()

Döndürülenler

Tür Description
PipelineData

Adımın çıktısı.

Açıklamalar

Adımlar arasında veri bağımlılığı oluşturmak için yöntemini kullanarak get_output bu veri aktarımı adımının çıkışını temsil eden ve işlem hattındaki sonraki adımlar için giriş olarak kullanılabilen bir PipelineData nesne alın.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Belirli bir adla oluşturmak InputPortBinding için get_output() çağrısını veya as_mount yardımcı yöntemleriyle as_input birleştirebilirsiniz.


   data_transfer_step = DataTransferStep(name="copy data", ...)

   training_input = data_transfer_step.get_output().as_input("my_input_name")