Sdílet prostřednictvím

AdlaStep Třída

Vytvoří krok kanálu Azure ML pro spuštění skriptu U-SQL pomocí Azure Data Lake Analytics.

Příklad použití tohoto AdlaStepu najdete v poznámkovém bloku https://aka.ms/pl-adla.

Vytvořte krok kanálu Azure ML pro spuštění skriptu U-SQL pomocí Azure Data Lake Analytics.

Konstruktor

AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parametry

Name Description
script_name
Vyžadováno
str

[Povinné] Název skriptu U-SQL vzhledem k source_directory.
name
str

Název kroku. Pokud není zadáno, script_name použije se.

Default value: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Seznam vstupních vazeb portů

Default value: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Seznam výstupních vazeb portů

Default value: None
params
dict

Slovník párů name-value.

Default value: None
degree_of_parallelism
int

Stupeň paralelismu, který se má pro tuto úlohu použít. Musí to být větší než 0. Pokud je nastavená hodnota menší než 0, výchozí hodnota je 1.

Default value: None
priority
int

Hodnota priority, kterou chcete použít pro aktuální úlohu. Nižší čísla mají vyšší prioritu. Ve výchozím nastavení má úloha prioritu 1 000. Zadaná hodnota musí být větší než 0.

Default value: None
runtime_version
str

Verze modulu runtime modulu Data Lake Analytics.

Default value: None
compute_target
AdlaCompute, str

[Povinné] Výpočet ADLA, který se má použít pro tuto úlohu.

Default value: None
source_directory
str

Složka, která obsahuje skript, sestavení atd.

Default value: None
allow_reuse
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) a vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opětovném použití kroku místo odeslání úlohy k výpočtu se výsledky předchozího spuštění okamžitě zpřístupní pro všechny následné kroky. Pokud jako vstupy používáte datové sady Azure Machine Learning, určuje se opakované použití podle toho, jestli se definice datové sady změnila, a ne tím, jestli se podkladová data změnila.

Default value: True
version
str

Volitelná značka verze, která označuje změnu funkčnosti kroku.

Default value: None
hash_paths
list

ZASTARALÉ: Už není potřeba.

Seznam cest k hodnotě hash při kontrole změn v obsahu kroku. Pokud se nezjistí žádné změny, kanál znovu použije obsah kroku z předchozího spuštění. Ve výchozím nastavení je obsah source_directory hashován s výjimkou souborů uvedených v souboru .amlignore nebo .gitignore.

Default value: None
script_name
Vyžadováno
str

[Povinné] Název skriptu U-SQL vzhledem k source_directory.
name
Vyžadováno
str

Název kroku. Pokud není zadáno, script_name použije se.
inputs
Vyžadováno
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Seznam vazeb vstupních portů
outputs
Vyžadováno
list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]]

Seznam výstupních vazeb portů
params
Vyžadováno
dict

Slovník párů name-value.
degree_of_parallelism
Vyžadováno
int

Stupeň paralelismu, který se má pro tuto úlohu použít. Musí to být větší než 0. Pokud je nastavená hodnota menší než 0, výchozí hodnota je 1.
priority
Vyžadováno
int

Hodnota priority, kterou chcete použít pro aktuální úlohu. Nižší čísla mají vyšší prioritu. Ve výchozím nastavení má úloha prioritu 1 000. Zadaná hodnota musí být větší než 0.
runtime_version
Vyžadováno
str

Verze modulu runtime modulu Data Lake Analytics.
compute_target
Vyžadováno
AdlaCompute, str

[Povinné] Výpočet ADLA, který se má použít pro tuto úlohu.
source_directory
Vyžadováno
str

Složka, která obsahuje skript, sestavení atd.
allow_reuse
Vyžadováno
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) a vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opětovném použití kroku místo odeslání úlohy k výpočtu se výsledky předchozího spuštění okamžitě zpřístupní pro všechny následné kroky. Pokud jako vstupy používáte datové sady Azure Machine Learning, určuje se opakované použití podle toho, jestli se definice datové sady změnila, a ne tím, jestli se podkladová data změnila.
version
Vyžadováno
str

Volitelná značka verze, která označuje změnu funkčnosti kroku.
hash_paths
Vyžadováno
list

ZASTARALÉ: Už není potřeba.

Seznam cest k hodnotě hash při kontrole změn v obsahu kroku. Pokud se nezjistí žádné změny, kanál znovu použije obsah kroku z předchozího spuštění. Ve výchozím nastavení je obsah source_directory hashován s výjimkou souborů uvedených v souboru .amlignore nebo .gitignore.

Poznámky

Syntaxi @@name@@ ve skriptu můžete použít k odkazování na vstupy, výstupy a parametry.

  • Pokud je název vstupní nebo výstupní vazby portu, všechny výskyty @@name@@ ve skriptu se nahradí skutečnou cestou k datům odpovídající vazby portu.

  • pokud název odpovídá libovolnému klíči v diktování params , všechny výskyty @@name@@ budou v diktování nahrazeny odpovídající hodnotou.

AdlaStep funguje jenom s daty uloženými ve výchozím data Lake Storage účtu Data Lake Analytics. Pokud jsou data v nestandardním úložišti, použijte DataTransferStep k zkopírování dat do výchozího úložiště. Výchozí úložiště najdete tak, že otevřete svůj účet Data Lake Analytics na webu Azure Portal a pak přejdete na položku Zdroje dat v části Nastavení v levém podokně.

Následující příklad ukazuje, jak používat AdlaStep v kanálu služby Azure Machine Learning.


   adla_step = AdlaStep(
       name='extract_employee_names',
       script_name='sample_script.usql',
       source_directory=sample_folder,
       inputs=[sample_input],
       outputs=[sample_output],
       compute_target=adla_compute)

Úplná ukázka je k dispozici od https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb

Metody

create_node

Vytvořte uzel z kroku AdlaStep a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předá parametry požadované touto metodou, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node

Vytvořte uzel z kroku AdlaStep a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předá parametry požadované touto metodou, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node(graph, default_datastore, context)

Parametry

Name Description
graph
Vyžadováno
Graph

Objekt grafu.
default_datastore
Vyžadováno
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Výchozí úložiště dat.
context
Vyžadováno
<xref:azureml.pipeline.core._GraphContext>

Kontext grafu

Návraty

Typ Description
Node

Objekt uzlu.