Aracılığıyla paylaş

AdlaStep Sınıf

  • Başvuru

Azure Data Lake Analytics ile U-SQL betiğini çalıştırmak için bir Azure ML İşlem Hattı adımı oluşturur.

Bu AdlaStep'i kullanma örneği için not defterine https://aka.ms/pl-adlabakın.

Azure Data Lake Analytics ile U-SQL betiğini çalıştırmak için bir Azure ML İşlem Hattı adımı oluşturun.

Devralma
azureml.pipeline.core._adla_step_base._AdlaStepBase
AdlaStep

Oluşturucu

AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parametreler

Name Description
script_name
Gerekli
str

[Gerekli] U-SQL betiğinin adı, ile ilgili olarak source_directory.
name
str

Adımın adı. Belirtilmemişse script_name kullanılır.

Default value: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Giriş bağlantı noktası bağlamalarının listesi.

Default value: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Çıkış bağlantı noktası bağlamalarının listesi.

Default value: None
params
dict

Ad-değer çiftlerinin sözlüğü.

Default value: None
degree_of_parallelism
int

Bu iş için kullanılacak paralellik derecesi. Bu değer 0'dan büyük olmalıdır. 0'dan küçük olarak ayarlanırsa, varsayılan olarak 1 olur.

Default value: None
priority
int

Geçerli iş için kullanılacak öncelik değeri. Düşük sayıların önceliği daha yüksektir. Varsayılan olarak, bir işin önceliği 1000'dir. Belirttiğiniz değer 0'dan büyük olmalıdır.

Default value: None
runtime_version
str

Data Lake Analytics altyapısının çalışma zamanı sürümü.

Default value: None
compute_target
AdlaCompute, str

[Gerekli] Bu iş için kullanılacak ADLA işlemi.

Default value: None
source_directory
str

Betiği, derlemeleri vb. içeren bir klasör.

Default value: None
allow_reuse
bool

Aynı ayarlarla yeniden çalıştırıldığında adımın önceki sonuçları yeniden kullanıp kullanmayacağını gösterir. Yeniden kullan özelliği varsayılan olarak etkindir. Adım içeriği (betikler/bağımlılıklar) ve girişler ve parametreler değişmeden kalırsa, bu adımın önceki çalıştırmasından elde edilen çıkış yeniden kullanılır. Adımı yeniden kullanırken, işi hesaplamaya göndermek yerine, önceki çalıştırmanın sonuçları sonraki adımlarda hemen kullanılabilir hale gelir. Giriş olarak Azure Machine Learning veri kümelerini kullanıyorsanız, yeniden kullanım, temel alınan verilerin değişip değişmediğine değil, veri kümesinin tanımının değişip değişmediğine göre belirlenir.

Default value: True
version
str

Adım için işlev değişikliğini belirtmek için isteğe bağlı sürüm etiketi.

Default value: None
hash_paths
list

KULLANIMDAN KALKTI: artık gerekli değil.

Adım içeriğinde yapılan değişiklikler denetlenirken karmaya giden yolların listesi. Hiçbir değişiklik algılanırsa, işlem hattı önceki çalıştırmanın adım içeriğini yeniden kullanır. Varsayılan olarak, .amlignore veya .gitignore içinde listelenen dosyalar dışında içeriğinin source_directory karması oluşturulur.

Default value: None
script_name
Gerekli
str

[Gerekli] U-SQL betiğinin adı, ile ilgili olarak source_directory.
name
Gerekli
str

Adımın adı. Belirtilmemişse script_name kullanılır.
inputs
Gerekli
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Giriş bağlantı noktası bağlamalarının listesi
outputs
Gerekli
list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]]

Çıkış bağlantı noktası bağlamalarının listesi.
params
Gerekli
dict

Ad-değer çiftlerinin sözlüğü.
degree_of_parallelism
Gerekli
int

Bu iş için kullanılacak paralellik derecesi. Bu değer 0'dan büyük olmalıdır. 0'dan küçük olarak ayarlanırsa, varsayılan olarak 1 olur.
priority
Gerekli
int

Geçerli iş için kullanılacak öncelik değeri. Düşük sayıların önceliği daha yüksektir. Varsayılan olarak, bir işin önceliği 1000'dir. Belirttiğiniz değer 0'dan büyük olmalıdır.
runtime_version
Gerekli
str

Data Lake Analytics altyapısının çalışma zamanı sürümü.
compute_target
Gerekli
AdlaCompute, str

[Gerekli] Bu iş için kullanılacak ADLA işlemi.
source_directory
Gerekli
str

Betiği, derlemeleri vb. içeren bir klasör.
allow_reuse
Gerekli
bool

Aynı ayarlarla yeniden çalıştırıldığında adımın önceki sonuçları yeniden kullanıp kullanmayacağını gösterir. Yeniden kullan özelliği varsayılan olarak etkindir. Adım içeriği (betikler/bağımlılıklar) ve girişler ve parametreler değişmeden kalırsa, bu adımın önceki çalıştırmasından elde edilen çıkış yeniden kullanılır. Adımı yeniden kullanırken, işi hesaplamaya göndermek yerine, önceki çalıştırmanın sonuçları sonraki adımlarda hemen kullanılabilir hale gelir. Giriş olarak Azure Machine Learning veri kümelerini kullanıyorsanız, yeniden kullanım, temel alınan verilerin değişip değişmediğine değil, veri kümesinin tanımının değişip değişmediğine göre belirlenir.
version
Gerekli
str

Adımdaki işlev değişikliğini belirtmek için isteğe bağlı bir sürüm etiketi.
hash_paths
Gerekli
list

KULLANIMDAN KALKTI: artık gerekli değil.

Adım içeriğinde yapılan değişiklikler denetlenirken karmaya giden yolların listesi. Hiçbir değişiklik algılanırsa, işlem hattı önceki çalıştırmanın adım içeriğini yeniden kullanır. Varsayılan olarak, .amlignore veya .gitignore içinde listelenen dosyalar dışında içeriğinin source_directory karması oluşturulur.

Açıklamalar

Girişlere, çıkışlara ve parametrelere başvurmak için betiğinizde @@name@@ söz dizimini kullanabilirsiniz.

  • ad bir giriş veya çıkış bağlantı noktası bağlamasının adıysa, betikteki @@name@@ oluşumları ilgili bağlantı noktası bağlamasının gerçek veri yolu ile değiştirilir.

  • adparams diktesindeki herhangi bir anahtarla eşleşirse, @@name@@ oluşumları dikte karşılık gelen değerle değiştirilir.

AdlaStep yalnızca Data Lake Analytics hesabının varsayılan Data Lake Storage depolanan verilerle çalışır. Veriler varsayılan olmayan bir depolama alanındaysa, verileri varsayılan depolama alanına kopyalamak için kullanın DataTransferStep . Azure portal Data Lake Analytics hesabınızı açıp sol bölmedeki Ayarlar'ın altında 'Veri kaynakları' öğesine giderek varsayılan depolama alanını bulabilirsiniz.

Aşağıdaki örnekte Azure Machine Learning İşlem Hattında AdlaStep'in nasıl kullanılacağı gösterilmektedir.


   adla_step = AdlaStep(
       name='extract_employee_names',
       script_name='sample_script.usql',
       source_directory=sample_folder,
       inputs=[sample_input],
       outputs=[sample_output],
       compute_target=adla_compute)

Tam örnek şu kaynaktan edinilebilir: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb

Yöntemler

create_node

AdlaStep adımından bir düğüm oluşturun ve bunu belirtilen grafiğe ekleyin.

Bu yöntemin doğrudan kullanılması amaçlanmamıştır. Bu adımla bir işlem hattı örneği oluşturulduğunda, Azure ML bu yöntem aracılığıyla gerekli parametreleri otomatik olarak geçirir, böylece adım iş akışını temsil eden bir işlem hattı grafiğine eklenebilir.

create_node

AdlaStep adımından bir düğüm oluşturun ve bunu belirtilen grafiğe ekleyin.

Bu yöntemin doğrudan kullanılması amaçlanmamıştır. Bu adımla bir işlem hattı örneği oluşturulduğunda, Azure ML bu yöntem aracılığıyla gerekli parametreleri otomatik olarak geçirir, böylece adım iş akışını temsil eden bir işlem hattı grafiğine eklenebilir.

create_node(graph, default_datastore, context)

Parametreler

Name Description
graph
Gerekli
Graph

Graf nesnesi.
default_datastore
Gerekli
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Varsayılan veri deposu.
context
Gerekli
<xref:azureml.pipeline.core._GraphContext>

Graf bağlamı.

Döndürülenler

Tür Description
Node

Düğüm nesnesi.