Sdílet prostřednictvím

AdlaStep Třída

  • Reference

Vytvoří krok kanálu Azure ML pro spuštění skriptu U-SQL pomocí Azure Data Lake Analytics.

Příklad použití tohoto kroku AdlaStep najdete v poznámkovém bloku https://aka.ms/pl-adla.

Vytvořte krok kanálu Azure ML pro spuštění skriptu U-SQL pomocí Azure Data Lake Analytics.

Dědičnost
azureml.pipeline.core._adla_step_base._AdlaStepBase
AdlaStep

Konstruktor

AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parametry

script_name
str
Vyžadováno

[Povinné] Název skriptu U-SQL vzhledem k source_directory.

name
str
výchozí hodnota: None

Název kroku. Pokud není zadán, script_name použije se.

inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
výchozí hodnota: None

Seznam vazeb vstupních portů

outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]
výchozí hodnota: None

Seznam výstupních vazeb portů.

params
dict
výchozí hodnota: None

Slovník dvojic název-hodnota.

degree_of_parallelism
int
výchozí hodnota: None

Stupeň paralelismu, který se má použít pro tuto úlohu. Musí být větší než 0. Pokud je nastavená hodnota menší než 0, výchozí hodnota je 1.

priority
int
výchozí hodnota: None

Hodnota priority, která se má použít pro aktuální úlohu. Nižší čísla mají vyšší prioritu. Ve výchozím nastavení má úloha prioritu 1000. Zadaná hodnota musí být větší než 0.

runtime_version
str
výchozí hodnota: None

Verze modulu runtime Data Lake Analytics.

compute_target
AdlaCompute, str
výchozí hodnota: None

[Povinné] Výpočetní prostředky ADLA, které se mají použít pro tuto úlohu.

source_directory
str
výchozí hodnota: None

Složka, která obsahuje skript, sestavení atd.

allow_reuse
bool
výchozí hodnota: True

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) i vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opakovaném použití kroku se místo odeslání úlohy k výpočtu okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.

version
str
výchozí hodnota: None

Volitelná značka verze, která označuje změnu funkčnosti kroku.

hash_paths
list
výchozí hodnota: None

ZASTARALÉ: už není potřeba.

Seznam cest k hodnotě hash při kontrole změn obsahu kroku Pokud se nezjistí žádné změny, kanál znovu použije obsah kroku z předchozího spuštění. Ve výchozím nastavení je obsah source_directory souboru hashován s výjimkou souborů uvedených v .amlignore nebo .gitignore.

script_name
str
Vyžadováno

[Povinné] Název skriptu U-SQL vzhledem k source_directory.

name
str
Vyžadováno

Název kroku. Pokud není zadán, script_name použije se.

inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
Vyžadováno

Seznam vazeb vstupních portů

outputs
list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]]
Vyžadováno

Seznam výstupních vazeb portů.

params
dict
Vyžadováno

Slovník dvojic název-hodnota.

degree_of_parallelism
int
Vyžadováno

Stupeň paralelismu, který se má použít pro tuto úlohu. Musí být větší než 0. Pokud je nastavená hodnota menší než 0, výchozí hodnota je 1.

priority
int
Vyžadováno

Hodnota priority, která se má použít pro aktuální úlohu. Nižší čísla mají vyšší prioritu. Ve výchozím nastavení má úloha prioritu 1000. Zadaná hodnota musí být větší než 0.

runtime_version
str
Vyžadováno

Verze modulu runtime Data Lake Analytics.

compute_target
AdlaCompute, str
Vyžadováno

[Povinné] Výpočetní prostředky ADLA, které se mají použít pro tuto úlohu.

source_directory
str
Vyžadováno

Složka, která obsahuje skript, sestavení atd.

allow_reuse
bool
Vyžadováno

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) i vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opakovaném použití kroku se místo odeslání úlohy k výpočtu okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.

version
str
Vyžadováno

Volitelná značka verze, která označuje změnu funkčnosti kroku.

hash_paths
list
Vyžadováno

ZASTARALÉ: už není potřeba.

Seznam cest k hodnotě hash při kontrole změn obsahu kroku Pokud se nezjistí žádné změny, kanál znovu použije obsah kroku z předchozího spuštění. Ve výchozím nastavení je obsah source_directory souboru hashován s výjimkou souborů uvedených v .amlignore nebo .gitignore.

Poznámky

Pomocí syntaxe @@name@@ ve skriptu můžete odkazovat na vstupy, výstupy a parametry.

  • Pokud je název název vstupní nebo výstupní vazby portu, nahradí se všechny výskyty @@name@@ ve skriptu skutečnou cestou k datům odpovídající vazby portu.

  • Pokud název odpovídá libovolnému klíči v params dict, všechny výskyty @@name@@ budou v dict nahrazeny odpovídající hodnotou.

AdlaStep funguje jenom s daty uloženými ve výchozím Data Lake Storage účtu Data Lake Analytics. Pokud jsou data v jiné než výchozí úložišti, zkopírujte je do výchozího úložiště pomocí DataTransferStep příkazu . Výchozí úložiště najdete tak, že otevřete účet Data Lake Analytics v Azure Portal a pak přejdete na položku Zdroje dat v části Nastavení v levém podokně.

Následující příklad ukazuje, jak používat AdlaStep v kanálu Azure Machine Learning.


   adla_step = AdlaStep(
       name='extract_employee_names',
       script_name='sample_script.usql',
       source_directory=sample_folder,
       inputs=[sample_input],
       outputs=[sample_output],
       compute_target=adla_compute)

Úplná ukázka je k dispozici od https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb

Metody

create_node

Vytvořte uzel z kroku AdlaStep a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node

Vytvořte uzel z kroku AdlaStep a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node(graph, default_datastore, context)

Parametry

graph
Graph
Vyžadováno

Objekt grafu.

default_datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Vyžadováno

Výchozí úložiště dat.

context
<xref:azureml.pipeline.core._GraphContext>
Vyžadováno

Kontext grafu.

Návraty

Objekt uzlu.

Návratový typ

Node