Module Klass
Representerar en beräkningsenhet som används i en Azure Machine Learning-pipeline.
En modul är en samling filer som körs på ett beräkningsmål och en beskrivning av ett gränssnitt. Samlingen av filer kan vara skript, binärfiler eller andra filer som krävs för att köras på beräkningsmålet. Modulgränssnittet beskriver indata, utdata och parameterdefinitioner. Den binder dem inte till specifika värden eller data. En modul har en associerad ögonblicksbild som samlar in den samling filer som definierats för modulen.
Initiera modulen.
- Arv
-
builtins.objectModule
Konstruktor
Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)Parametrar
- _module_provider
- <xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>
(Endast internt bruk.) Modulprovidern.
- _module_version_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
(Endast internt bruk.) ModuleVersion-providern.
- _module_provider
- <xref:<xref:_AevaMlModuleProvider object>>
Modulprovidern.
- _module_version_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
ModuleVersion-providern.
Kommentarer
En modul fungerar som en container med dess versioner. I följande exempel skapas en ModuleVersion från publish_python_script metoden och har två indata och två utdata. Create ModuleVersion är standardversionen (is_default är inställd på True).
out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Sum of two numbers")
out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Product of two numbers")
entry_version = module.publish_python_script("calculate.py", "initial",
inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
version="1", source_directory="./calc")
Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Den här modulen kan användas när du definierar en pipeline, i olika steg, med hjälp av en ModuleStep.
Följande exempel visar hur du kopplar data som används i pipelinen till indata och utdata från en ModuleVersion med hjälp av PipelineData:
middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}
Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Mappningen kan sedan användas när du skapar ModuleStep:
middle_step = ModuleStep(module=module,
inputs_map= middle_step_input_wiring,
outputs_map= middle_step_output_wiring,
runconfig=RunConfiguration(), compute_target=aml_compute,
arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
"--output_sum", middle_sum, "--output_product", middle_prod])
Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Lösningen på vilken version av modulen som ska användas sker vid överföringen och följer följande process:
- Ta bort alla inaktiverade versioner
- Om en viss version angavs använder du den, annars
- Om en standardversion har definierats för modulen använder du den, annars
- Om alla versioner följer semantisk versionshantering utan bokstäver tar du det högsta värdet, annars
- Ta den version av modulen som uppdaterades senast
Observera att eftersom en nods indata och utdatamappning till en moduls indata och utdata definieras när pipelinen skapas, kommer pipelineöverföringen att misslyckas om den lösta versionen vid överföring har ett annat gränssnitt än det som löses när pipelinen skapas.
Den underliggande modulen kan uppdateras med nya versioner samtidigt som standardversionen är densamma.
Moduler namnges unikt i en arbetsyta.
Metoder
| create |
Skapa modulen. |
| deprecate |
Ställ in Modulen på "Inaktuell". |
| disable |
Ställ in modulen på "Disabled" (Inaktiverad). |
| enable |
Ställ in Modulen på "Aktiv". |
| get |
Hämta modulen efter namn eller efter ID; genererar ett undantag om någon av dem inte anges. |
| get_default |
Hämta standardversionen av modulen. |
| get_default_version |
Hämta standardversionen av Modul. |
| get_versions |
Hämta alla versioner av modulen. |
| module_def_builder |
Skapa moduldefinitionsobjektet som beskriver steget. |
| module_version_list |
Hämta listan med modulversioner. |
| process_source_directory |
Bearbeta källkatalogen för steget och kontrollera att skriptet finns. |
| publish |
Skapa en ModuleVersion och lägg till den i den aktuella modulen. |
| publish_adla_script |
Skapa en ModuleVersion baserat på Azure Data Lake Analytics (ADLA) och lägg till den i den aktuella modulen. |
| publish_azure_batch |
Skapa en ModuleVersion som använder Azure Batch och lägg till den i den aktuella modulen. |
| publish_python_script |
Skapa en ModuleVersion som baseras på ett Python-skript och lägg till den i den aktuella modulen. |
| resolve |
Lös och returnera rätt ModuleVersion. |
| set_default_version |
Ange ModuleVersion som standard för modulen. |
| set_description |
Ange beskrivningen av modulen. |
| set_name |
Ange namnet på modulen. |
create
Skapa modulen.
static create(workspace, name, description, _workflow_provider=None)Parametrar
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Endast internt bruk.) Arbetsflödesprovidern.
Returer
Modulobjekt
Returtyp
deprecate
Ställ in Modulen på "Inaktuell".
deprecate()disable
Ställ in modulen på "Disabled" (Inaktiverad).
disable()enable
Ställ in Modulen på "Aktiv".
enable()get
Hämta modulen efter namn eller efter ID; genererar ett undantag om någon av dem inte anges.
static get(workspace, module_id=None, name=None, _workflow_provider=None)Parametrar
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Endast internt bruk.) Arbetsflödesprovidern.
Returer
Modulobjekt
Returtyp
get_default
Hämta standardversionen av modulen.
get_default()Returer
Standardversionen av modulen.
Returtyp
get_default_version
Hämta standardversionen av Modul.
get_default_version()Returer
Standardversionen av modulen.
Returtyp
get_versions
Hämta alla versioner av modulen.
static get_versions(workspace, name, _workflow_provider=None)Parametrar
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Endast internt bruk.) Arbetsflödesprovidern.
Returer
Listan över ModuleVersionDescriptor
Returtyp
module_def_builder
Skapa moduldefinitionsobjektet som beskriver steget.
static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)Parametrar
- create_sequencing_ports
- bool
Anger om sekvenseringsportar ska skapas för modulen.
- allow_reuse
- bool
Anger om modulen kommer att vara tillgänglig för återanvändning.
- step_type
- str
Typ av steg som är associerat med den här modulen, t.ex. "PythonScriptStep", "HyperDriveStep" osv.
- arguments
- list
Lista med kommenterade argument som ska användas vid anrop av den här modulen
Returer
Module def-objektet.
Returtyp
Undantag
module_version_list
Hämta listan med modulversioner.
module_version_list()Returer
Listan över ModuleVersionDescriptor
Returtyp
process_source_directory
Bearbeta källkatalogen för steget och kontrollera att skriptet finns.
static process_source_directory(name, source_directory, script_name)Parametrar
Returer
Källkatalogen och hashsökvägarna.
Returtyp
Undantag
publish
Skapa en ModuleVersion och lägg till den i den aktuella modulen.
publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)Parametrar
- execution_type
- str
Körningstypen för modulen.
Godtagbara värden är esCloud, adlcloud och AzureBatchCloud
- create_sequencing_ports
- bool
Anger om sekvenseringsportar ska skapas för modulen.
- hash_paths
- list
En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar identifieras återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory (förutom filer som anges i .amlignore eller .gitignore).
INAKTUELL: behövs inte längre.
- arguments
- list
Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).
- runconfig
- RunConfiguration
En valfri RunConfiguration. En RunConfiguration kan användas för att ange ytterligare krav för körningen, till exempel conda-beroenden och en Docker-avbildning.
Returtyp
Undantag
publish_adla_script
Skapa en ModuleVersion baserat på Azure Data Lake Analytics (ADLA) och lägg till den i den aktuella modulen.
publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)Parametrar
- create_sequencing_ports
- bool
Anger om sekvenseringsportar ska skapas för modulen.
- degree_of_parallelism
- int
Graden av parallellitet som ska användas för det här jobbet.
- runtime_version
- str
Körningsversionen av Adla-motorn (Azure Data Lake Analytics).
- compute_target
- AdlaCompute, str
DEN ADLA-beräkning som ska användas för det här jobbet.
- arguments
- list
Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).
Returtyp
publish_azure_batch
Skapa en ModuleVersion som använder Azure Batch och lägg till den i den aktuella modulen.
publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)Parametrar
- create_sequencing_ports
- bool
Anger om sekvenseringsportar ska skapas för modulen.
- delete_batch_job_after_finish
- bool
Anger om jobbet ska tas bort från Batch-kontot när det är klart.
- delete_batch_pool_after_finish
- bool
Anger om poolen ska tas bort när jobbet har slutförts.
- is_positive_exit_code_failure
- bool
Anger om jobbet misslyckas om aktiviteten finns med en positiv kod.
- vm_image_urn
- str
Om create_pool är Sant och den virtuella datorn använder VirtualMachineConfiguration anger den här parametern vilken VM-avbildning som ska användas. Värdeformat: urn:publisher:offer:sku.
Exempel: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- target_compute_nodes
- int
Om create_pool är Sant anger du hur många beräkningsnoder som ska läggas till i poolen.
- vm_size
- str
Om create_pool är Sant anger den virtuella datorns storlek för beräkningsnoderna.
- executable
- str
Namnet på det kommando/den körbara fil som ska köras som en del av jobbet.
- arguments
- list
Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).
Returtyp
Undantag
publish_python_script
Skapa en ModuleVersion som baseras på ett Python-skript och lägg till den i den aktuella modulen.
publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)Parametrar
- create_sequencing_ports
- bool
Anger om sekvenseringsportar ska skapas för modulen.
- hash_paths
- list
En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar identifieras återanvänder pipelinen steginnehållet från en tidigare körning. Som standard är innehållet i source_directory hash-filen (förutom filer som anges i .amlignore eller .gitignore).
INAKTUELL: behövs inte längre.
- arguments
- list
Argument som ska användas när du anropar modulen. Argument kan vara strängar, indatareferenser (InputPortDef), utdatareferenser (OutputPortDef) och pipelineparametrar (PipelineParameter).
- runconfig
- RunConfiguration
En valfri RunConfiguration. En RunConfiguration kan användas för att ange ytterligare krav för körningen, till exempel conda-beroenden och en Docker-avbildning.
Returtyp
resolve
Lös och returnera rätt ModuleVersion.
resolve(version=None)Parametrar
- version
Returer
Modulversionen som ska användas.
Returtyp
set_default_version
Ange ModuleVersion som standard för modulen.
set_default_version(version_id)Parametrar
- version_id
Returer
Standardversionen.
Returtyp
Undantag
set_description
Ange beskrivningen av modulen.
set_description(description)Parametrar
Undantag
set_name
Ange namnet på modulen.
set_name(name)Parametrar
Undantag
Attribut
default_version
description
id
name
status
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för