Dela via

Module Klass

Representerar en beräkningsenhet som används i en Azure Machine Learning-pipeline.

En modul är en samling filer som körs på ett beräkningsmål och en beskrivning av ett gränssnitt. Samlingen av filer kan vara skript, binärfiler eller andra filer som krävs för att köras på beräkningsmålet. Modulgränssnittet beskriver indata, utdata och parameterdefinitioner. Den binder dem inte till specifika värden eller data. En modul har en ögonblicksbild som är associerad med den, som samlar in den samling filer som definierats för modulen.

Initiera modulen.

Konstruktor

Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)

Parametrar

Name Description
workspace
Obligatorisk
Workspace

Arbetsyteobjektet som modulen tillhör.
module_id
Obligatorisk
str

Modulens ID.
name
Obligatorisk
str

Namnet på modulen.
description
Obligatorisk
str

Beskrivningen av modulen.
status
Obligatorisk
str

Modulens nya status: "Aktiv", "Inaktuell" eller "Inaktiverad".
default_version
Obligatorisk
str

Standardversionen av modulen.
module_version_list
Obligatorisk
list

En lista över ModuleVersionDescriptor objekt.
_module_provider
<xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>

(Endast internt bruk.) Modulprovidern.

Standardvärde: None
_module_version_provider
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

(Endast internt bruk.) ModuleVersion-providern.

Standardvärde: None
workspace
Obligatorisk
Workspace

Arbetsyteobjektet som modulen tillhör.
module_id
Obligatorisk
str

Modulens ID.
name
Obligatorisk
str

Namnet på modulen.
description
Obligatorisk
str

Beskrivningen av modulen.
status
Obligatorisk
str

Modulens nya status: "Aktiv", "Inaktuell" eller "Inaktiverad".
default_version
Obligatorisk
str

Standardversionen av modulen.
module_version_list
Obligatorisk
list

En lista över ModuleVersionDescriptor objekt.
_module_provider
Obligatorisk
<xref:<xref:_AevaMlModuleProvider object>>

Modulprovidern.
_module_version_provider
Obligatorisk
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

ModuleVersion-providern.

Kommentarer

En modul fungerar som en container med dess versioner. I följande exempel skapas en ModuleVersion från publish_python_script metoden och har två indata och två utdata. Create ModuleVersion är standardversionen (is_default är inställd på True).


   out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
                           label="Sum of two numbers")
   out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
                            label="Product of two numbers")
   entry_version = module.publish_python_script("calculate.py", "initial",
                                                inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
                                                version="1", source_directory="./calc")

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Den här modulen kan användas när du definierar en pipeline, i olika steg, med hjälp av en ModuleStep.

Följande exempel visar hur du kopplar data som används i pipelinen till indata och utdata från en ModuleVersion med hjälp av PipelineData:


   middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
   middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
   middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
   middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Mappningen kan sedan användas när du skapar ModuleStep:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Lösningen på vilken version av modulen som ska användas sker vid sändning och följer följande process:

  • Ta bort alla inaktiverade versioner
  • Om en specifik version angavs ska du använda den, annars
  • Om en standardversion har definierats för modulen använder du den, annars
  • Om alla versioner följer semantisk versionshantering utan bokstäver tar du det högsta värdet, annars
  • Ta den version av modulen som uppdaterades senast

Observera att eftersom en nods indata och utdatamappning till en moduls indata och utdata definieras när pipelinen skapas, om den lösta versionen vid överföring har ett annat gränssnitt än det som löses när pipelinen skapas, kommer pipelineöverföringen att misslyckas.

Den underliggande modulen kan uppdateras med nya versioner samtidigt som standardversionen hålls densamma.

Moduler namnges unikt på en arbetsyta.

Metoder

create

Skapa modulen.
deprecate

Ställ in modulen på "Inaktuell".
disable

Ange Modulen till "Inaktiverad".
enable

Ange Modulen till "Aktiv".
get

Hämta modulen efter namn eller efter ID; genererar ett undantag om någon av dem inte tillhandahålls.
get_default

Hämta standardmodulversionen.
get_default_version

Hämta standardversionen av Modul.
get_versions

Hämta alla versioner av modulen.
module_def_builder

Skapa moduldefinitionsobjektet som beskriver steget.
module_version_list

Hämta listan med modulversioner.
process_source_directory

Bearbeta källkatalogen för steget och kontrollera att skriptet finns.
publish

Skapa en ModuleVersion och lägg till den i den aktuella modulen.
publish_adla_script

Skapa en ModuleVersion baserat på Azure Data Lake Analytics (ADLA) och lägg till den i den aktuella modulen.
publish_azure_batch

Skapa en ModuleVersion som använder Azure Batch och lägg till den i den aktuella modulen.
publish_python_script

Skapa en ModuleVersion som baseras på ett Python-skript och lägg till den i den aktuella modulen.
resolve

Lös och returnera rätt ModuleVersion.
set_default_version

Ange standardmodulversion för modulen.
set_description

Ange beskrivningen av Modul.
set_name

Ange namnet på modulen.

create

Skapa modulen.

static create(workspace, name, description, _workflow_provider=None)

Parametrar

Name Description
workspace
Obligatorisk
Workspace

Arbetsytan där modulen ska skapas.
name
Obligatorisk
str

Namnet på modulen.
description
Obligatorisk
str

Beskrivningen av modulen.
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Endast internt bruk.) Arbetsflödesprovidern.

Standardvärde: None

Returer

Typ Description
Module

Modulobjekt

deprecate

Ställ in modulen på "Inaktuell".

deprecate()

disable

Ange Modulen till "Inaktiverad".

disable()

enable

Ange Modulen till "Aktiv".

enable()

get

Hämta modulen efter namn eller efter ID; genererar ett undantag om någon av dem inte tillhandahålls.

static get(workspace, module_id=None, name=None, _workflow_provider=None)

Parametrar

Name Description
workspace
Obligatorisk
Workspace

Arbetsytan där modulen ska skapas.
module_id
str

Modulens ID.

Standardvärde: None
name
str

Namnet på modulen.

Standardvärde: None
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Endast internt bruk.) Arbetsflödesprovidern.

Standardvärde: None

Returer

Typ Description
Module

Modulobjekt

get_default

Hämta standardmodulversionen.

get_default()

Returer

Typ Description
ModuleVersion

Standardmodulversionen.

get_default_version

Hämta standardversionen av Modul.

get_default_version()

Returer

Typ Description
str

Standardversionen av modulen.

get_versions

Hämta alla versioner av modulen.

static get_versions(workspace, name, _workflow_provider=None)

Parametrar

Name Description
workspace
Obligatorisk
Workspace

Arbetsytan som modulen skapades på.
name
Obligatorisk
str

Namnet på modulen.
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Endast internt bruk.) Arbetsflödesprovidern.

Standardvärde: None

Returer

Typ Description
list

Listan över ModuleVersionDescriptor

module_def_builder

Skapa moduldefinitionsobjektet som beskriver steget.

static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)

Parametrar

Name Description
name
Obligatorisk
str

Namnet modulen.
description
Obligatorisk
str

Beskrivningen av modulen.
execution_type
Obligatorisk
str

Körningstypen för modulen.
input_bindings
Obligatorisk
list

Modulens indatabindningar.
output_bindings
Obligatorisk
list

Modulens utdatabindningar.
param_defs
list

Modulens paramdefinitioner.

Standardvärde: None
create_sequencing_ports
bool

Anger om sekvenseringsportar ska skapas för modulen.

Standardvärde: True
allow_reuse
bool

Anger om modulen kommer att vara tillgänglig för återanvändning.

Standardvärde: True
version
str

Versionen av modulen.

Standardvärde: None
module_type
str

Modultypen.

Standardvärde: None
step_type
str

Typ av steg som är associerat med den här modulen, t.ex. "PythonScriptStep", "HyperDriveStep" osv.

Standardvärde: None
arguments
list

Lista med kommenterade argument som ska användas när du anropar den här modulen

Standardvärde: None
runconfig
str

Runconfig som ska användas för python_script_step

Standardvärde: None
cloud_settings
str

Inställningar som ska användas för moln

Standardvärde: None

Returer

Typ Description
ModuleDef

Module def-objektet.

Undantag

Typ Description
ValueError

module_version_list

Hämta listan med modulversioner.

module_version_list()

Returer

Typ Description
list

Listan över ModuleVersionDescriptor

process_source_directory

Bearbeta källkatalogen för steget och kontrollera att skriptet finns.

static process_source_directory(name, source_directory, script_name)

Parametrar

Name Description
name
Obligatorisk
str

Namnet på steget.
source_directory
Obligatorisk
str

Källkatalogen för steget.
script_name
Obligatorisk
str

Skriptnamnet för steget.

Returer

Typ Description
str, list

Källkatalogen och hashsökvägarna.

Undantag

Typ Description
ValueError

publish

Skapa en ModuleVersion och lägg till den i den aktuella modulen.

publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parametrar

Name Description
description
Obligatorisk
str

Beskrivningen av modulen.
execution_type
Obligatorisk
str

Körningstypen för modulen. Godtagbara värden är esCloud, adlcloud och AzureBatchCloud
inputs
Obligatorisk
list

Modulens indata.
outputs
Obligatorisk
list

Modulen utdata.
param_defs
list

Parameterdefinitionerna för Modul.

Standardvärde: None
create_sequencing_ports
bool

Anger om sekvenseringsportar ska skapas för modulen.

Standardvärde: True
version
str

Versionen av modulen.

Standardvärde: None
is_default
bool

Anger om den publicerade versionen ska vara standardversion.

Standardvärde: False
content_path
str

katalog

Standardvärde: None
hash_paths
list

En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard är innehållet i source_directory hash-filen (förutom filer som anges i .amlignore eller .gitignore). INAKTUELL: behövs inte längre.

Standardvärde: None
category
str

Modulversionens kategori

Standardvärde: None
arguments
list

Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).

Standardvärde: None
runconfig
RunConfiguration

En valfri RunConfiguration. En RunConfiguration kan användas för att ange ytterligare krav för körningen, till exempel conda-beroenden och en Docker-avbildning.

Standardvärde: None

Returer

Typ Description
ModuleVersion

Undantag

Typ Description
Exception

publish_adla_script

Skapa en ModuleVersion baserat på Azure Data Lake Analytics (ADLA) och lägg till den i den aktuella modulen.

publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)

Parametrar

Name Description
script_name
Obligatorisk
str

Namnet på ett ADLA-skript i förhållande till source_directory.
description
Obligatorisk
str

Beskrivningen av modulversionen.
inputs
Obligatorisk
list

Modulens indatabindningar.
outputs
Obligatorisk
list

Modulens utdatabindningar.
params
dict

ModuleVersion params, som namn-default_value par.

Standardvärde: None
create_sequencing_ports
bool

Anger om sekvenseringsportar ska skapas för modulen.

Standardvärde: True
degree_of_parallelism
int

Graden av parallellitet som ska användas för det här jobbet.

Standardvärde: None
priority
int

Det prioritetsvärde som ska användas för det aktuella jobbet.

Standardvärde: None
runtime_version
str

Körningsversionen av Adla-motorn (Azure Data Lake Analytics).

Standardvärde: None
compute_target
AdlaCompute, str

DEN ADLA-beräkning som ska användas för det här jobbet.

Standardvärde: None
version
str

Versionen av modulen.

Standardvärde: None
is_default
bool

Anger om den publicerade versionen ska vara standardversion.

Standardvärde: False
source_directory
str

katalog

Standardvärde: None
hash_paths
list

hash_paths

Standardvärde: None
category
str

Modulversionens kategori

Standardvärde: None
arguments
list

Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).

Standardvärde: None

Returer

Typ Description
ModuleVersion

publish_azure_batch

Skapa en ModuleVersion som använder Azure Batch och lägg till den i den aktuella modulen.

publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)

Parametrar

Name Description
description
Obligatorisk
str

Beskrivningen av modulversionen.
compute_target
Obligatorisk
BatchCompute eller str

BatchCompute-beräkningsmålet.
inputs
Obligatorisk
list

Modulens indatabindningar.
outputs
Obligatorisk
list

Modulens utdatabindningar.
params
dict

ModuleVersion params, som namn-default_value par.

Standardvärde: None
create_sequencing_ports
bool

Anger om sekvenseringsportar ska skapas för modulen.

Standardvärde: True
version
str

Versionen av modulen.

Standardvärde: None
is_default
bool

Anger om den publicerade versionen ska vara standardversion.

Standardvärde: False
create_pool
bool

Anger om du vill skapa poolen innan du kör jobben.

Standardvärde: False
pool_id
str

(Obligatoriskt) ID:t för poolen där jobbet ska köras.

Standardvärde: None
delete_batch_job_after_finish
bool

Anger om jobbet ska tas bort från Batch-kontot när det är klart.

Standardvärde: False
delete_batch_pool_after_finish
bool

Anger om poolen ska tas bort när jobbet har slutförts.

Standardvärde: False
is_positive_exit_code_failure
bool

Anger om jobbet misslyckas om aktiviteten finns med en positiv kod.

Standardvärde: True
vm_image_urn
str

Om create_pool är Sant och den virtuella datorn använder VirtualMachineConfiguration anger den här parametern vilken VM-avbildning som ska användas. Värdeformat: urn:publisher:offer:sku. Exempel: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

Standardvärde: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin
bool

Anger om aktiviteten ska köras med administratörsbehörighet.

Standardvärde: False
target_compute_nodes
int

Om create_pool är Sant anger du hur många beräkningsnoder som ska läggas till i poolen.

Standardvärde: 1
vm_size
str

Om create_pool är Sant anger du storleken på den virtuella datorn för beräkningsnoderna.

Standardvärde: standard_d1_v2
executable
str

Namnet på det kommando/den körbara fil som ska köras som en del av jobbet.

Standardvärde: None
source_directory
str

Källkatalogen.

Standardvärde: None
category
str

Modulversionens kategori

Standardvärde: None
arguments
list

Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).

Standardvärde: None

Returer

Typ Description
ModuleVersion

Undantag

Typ Description
ValueError

publish_python_script

Skapa en ModuleVersion som baseras på ett Python-skript och lägg till den i den aktuella modulen.

publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parametrar

Name Description
script_name
Obligatorisk
str

Namnet på ett Python-skript i förhållande till source_directory.
description
Obligatorisk
str

Beskrivningen av modulversionen.
inputs
Obligatorisk
list

Modulens indatabindningar.
outputs
Obligatorisk
list

Modulens utdatabindningar.
params
dict

ModuleVersion params, som namn-default_value par.

Standardvärde: None
create_sequencing_ports
bool

Anger om sekvenseringsportar ska skapas för modulen.

Standardvärde: True
version
str

Versionen av modulen.

Standardvärde: None
is_default
bool

Anger om den publicerade versionen ska vara standardversion.

Standardvärde: False
source_directory
str

katalog

Standardvärde: None
hash_paths
list

En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard är innehållet i source_directory hash-filen (förutom filer som anges i .amlignore eller .gitignore). INAKTUELL: behövs inte längre.

Standardvärde: None
category
str

Modulversionens kategori

Standardvärde: None
arguments
list

Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).

Standardvärde: None
runconfig
RunConfiguration

En valfri RunConfiguration. En RunConfiguration kan användas för att ange ytterligare krav för körningen, till exempel conda-beroenden och en Docker-avbildning.

Standardvärde: None

Returer

Typ Description
ModuleVersion

resolve

Lös och returnera rätt ModuleVersion.

resolve(version=None)

Parametrar

Name Description
version
Standardvärde: None

Returer

Typ Description
ModuleVersion

Modulversionen som ska användas.

set_default_version

Ange standardmodulversion för modulen.

set_default_version(version_id)

Parametrar

Name Description
version_id
Obligatorisk

Returer

Typ Description
str

Standardversionen.

Undantag

Typ Description
Exception

set_description

Ange beskrivningen av Modul.

set_description(description)

Parametrar

Name Description
description
Obligatorisk
str

Beskrivningen som ska anges.

Undantag

Typ Description
Exception

set_name

Ange namnet på modulen.

set_name(name)

Parametrar

Name Description
name
Obligatorisk
str

Namnet som ska anges.

Undantag

Typ Description
Exception

Attribut

default_version

Hämta standardversionen av modulen.

Returer

Typ Description
str

Standardversionssträngen.

description

Hämta beskrivningen av modulen.

Returer

Typ Description
str

Beskrivningssträngen.

id

Hämta modulens ID.

Returer

Typ Description
str

ID:t.

name

Hämta namnet på modulen.

Returer

Typ Description
str

Namnet.

status

Hämta status för modulen.

Returer

Typ Description
str

Status.