Module Klas
Vertegenwoordigt een rekeneenheid die wordt gebruikt in een Azure Machine Learning-pijplijn.
Een module is een verzameling bestanden die wordt uitgevoerd op een rekendoel en een beschrijving van een interface. De verzameling bestanden kan script, binaire bestanden of andere bestanden zijn die nodig zijn om uit te voeren op het rekendoel. De module-interface beschrijft invoer, uitvoer en parameterdefinities. Ze worden niet gebonden aan specifieke waarden of gegevens. Aan een module is een momentopname gekoppeld, die de verzameling bestanden vastlegt die voor de module zijn gedefinieerd.
Module initialiseren.
- Overname
-
builtins.objectModule
Constructor
Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)Parameters
- _module_provider
- <xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>
(Alleen intern gebruik.) De moduleprovider.
- _module_version_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
(Alleen intern gebruik.) De ModuleVersion-provider.
- _module_provider
- <xref:<xref:_AevaMlModuleProvider object>>
De moduleprovider.
- _module_version_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
De ModuleVersion-provider.
Opmerkingen
Een module fungeert als een container van de bijbehorende versies. In het volgende voorbeeld wordt een ModuleVersion gemaakt op basis van de publish_python_script methode en heeft deze twee invoer- en twee uitvoerwaarden. ModuleVersion maken is de standaardversie (is_default is ingesteld op True).
out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Sum of two numbers")
out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Product of two numbers")
entry_version = module.publish_python_script("calculate.py", "initial",
inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
version="1", source_directory="./calc")
Het volledige voorbeeld is beschikbaar via https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Deze module kan worden gebruikt bij het definiëren van een pijplijn, in verschillende stappen, met behulp van een ModuleStep.
In het volgende voorbeeld ziet u hoe u de gegevens die in de pijplijn worden gebruikt, kunt koppelen aan in- en uitvoer van een ModuleVersion met behulp van PipelineData:
middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}
Het volledige voorbeeld is beschikbaar via https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
De toewijzing kan vervolgens worden gebruikt bij het maken van de moduleStap:
middle_step = ModuleStep(module=module,
inputs_map= middle_step_input_wiring,
outputs_map= middle_step_output_wiring,
runconfig=RunConfiguration(), compute_target=aml_compute,
arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
"--output_sum", middle_sum, "--output_product", middle_prod])
Het volledige voorbeeld is beschikbaar via https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
De oplossing van welke versie van de module moet worden gebruikt, vindt plaats bij het indienen en volgt het volgende proces:
- Alle uitgeschakelde versies verwijderen
- Als er een specifieke versie is vermeld, gebruikt u die, anders
- Als er een standaardversie is gedefinieerd voor de module, gebruikt u die, anders
- Als alle versies semantisch versiebeheer zonder letters volgen, neemt u de hoogste waarde, anders
- Neem de versie van de module die het laatst is bijgewerkt
Houd er rekening mee dat, omdat de toewijzing van de invoer en uitvoer van een knooppunt aan de invoer en uitvoer van een module wordt gedefinieerd bij het maken van de pijplijn, als de opgeloste versie bij het indienen een andere interface heeft dan de interface die wordt opgelost bij het maken van de pijplijn, mislukt het verzenden van de pijplijn.
De onderliggende module kan worden bijgewerkt met nieuwe versies terwijl de standaardversie hetzelfde blijft.
Modules hebben een unieke naam binnen een werkruimte.
Methoden
| create |
Maak de module. |
| deprecate |
Stel de module in op Afgeschaft. |
| disable |
Stel de module in op Uitgeschakeld. |
| enable |
Stel de module in op 'Actief'. |
| get |
Haal de module op op naam of id; genereert een uitzondering als een van beide niet is opgegeven. |
| get_default |
Haal de standaardmoduleversie op. |
| get_default_version |
Haal de standaardversie van Module op. |
| get_versions |
Haal alle versies van de module op. |
| module_def_builder |
Maak het moduledefinitieobject dat de stap beschrijft. |
| module_version_list |
Haal de lijst met moduleversies op. |
| process_source_directory |
Verwerk de bronmap voor de stap en controleer of het script bestaat. |
| publish |
Maak een ModuleVersion en voeg deze toe aan de huidige module. |
| publish_adla_script |
Maak een ModuleVersion op basis van Azure Data Lake Analytics (ADLA) en voeg deze toe aan de huidige module. |
| publish_azure_batch |
Maak een ModuleVersion die gebruikmaakt van Azure-batch en voeg deze toe aan de huidige module. |
| publish_python_script |
Maak een ModuleVersion op basis van een Python-script en voeg deze toe aan de huidige module. |
| resolve |
Los het probleem op en retourneer de juiste ModuleVersion. |
| set_default_version |
Stel de standaardModuleVersion van de module in. |
| set_description |
Stel de beschrijving van module in. |
| set_name |
Stel de naam van module in. |
create
Maak de module.
static create(workspace, name, description, _workflow_provider=None)Parameters
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Alleen intern gebruik.) De werkstroomprovider.
Retouren
Moduleobject
Retourtype
deprecate
Stel de module in op Afgeschaft.
deprecate()disable
Stel de module in op Uitgeschakeld.
disable()enable
Stel de module in op 'Actief'.
enable()get
Haal de module op op naam of id; genereert een uitzondering als een van beide niet is opgegeven.
static get(workspace, module_id=None, name=None, _workflow_provider=None)Parameters
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Alleen intern gebruik.) De werkstroomprovider.
Retouren
Moduleobject
Retourtype
get_default
Haal de standaardmoduleversie op.
get_default()Retouren
De standaardmoduleversie.
Retourtype
get_default_version
Haal de standaardversie van Module op.
get_default_version()Retouren
De standaardversie van de module.
Retourtype
get_versions
Haal alle versies van de module op.
static get_versions(workspace, name, _workflow_provider=None)Parameters
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Alleen intern gebruik.) De werkstroomprovider.
Retouren
De lijst met ModuleVersionDescriptor
Retourtype
module_def_builder
Maak het moduledefinitieobject dat de stap beschrijft.
static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)Parameters
- create_sequencing_ports
- bool
Hiermee wordt aangegeven of er sequentiërende poorten worden gemaakt voor de module.
- allow_reuse
- bool
Hiermee wordt aangegeven of de module beschikbaar is voor hergebruik.
- step_type
- str
Type stap dat aan deze module is gekoppeld, bijvoorbeeld 'PythonScriptStep', 'HyperDriveStep', enzovoort.
- arguments
- list
Lijst met argumenten met aantekeningen die moeten worden gebruikt bij het aanroepen van deze module
Retouren
Het object Module def.
Retourtype
Uitzonderingen
module_version_list
Haal de lijst met moduleversies op.
module_version_list()Retouren
De lijst met ModuleVersionDescriptor
Retourtype
process_source_directory
Verwerk de bronmap voor de stap en controleer of het script bestaat.
static process_source_directory(name, source_directory, script_name)Parameters
Retouren
De bronmap en hashpaden.
Retourtype
Uitzonderingen
publish
Maak een ModuleVersion en voeg deze toe aan de huidige module.
publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)Parameters
- execution_type
- str
Het uitvoeringstype van de module.
Acceptabele waarden zijn esCloud, adlcloud en AzureBatchCloud
- create_sequencing_ports
- bool
Hiermee wordt aangegeven of er sequentiërende poorten worden gemaakt voor de module.
- is_default
- bool
Hiermee wordt aangegeven of de gepubliceerde versie de standaardversie moet zijn.
- hash_paths
- list
Een lijst met paden naar hash bij het controleren op wijzigingen in de inhoud van de stap. Als er geen wijzigingen zijn gedetecteerd, wordt de inhoud van de stap uit een vorige uitvoering opnieuw gebruikt. Standaard wordt de inhoud van de source_directory gehasht (met uitzondering van bestanden die worden vermeld in .amlignore of .gitignore).
AFGESCHAFT: niet meer nodig.
- arguments
- list
Argumenten die moeten worden gebruikt bij het aanroepen van de module. Argumenten kunnen tekenreeksen, invoerverwijzingen (InputPortDef), uitvoerverwijzingen (OutputPortDef) en pijplijnparameters (PipelineParameter) zijn.
- runconfig
- RunConfiguration
Een optionele RunConfiguration. Een RunConfiguration kan worden gebruikt om aanvullende vereisten voor de uitvoering op te geven, zoals conda-afhankelijkheden en een Docker-installatiekopieën.
Retourtype
Uitzonderingen
publish_adla_script
Maak een ModuleVersion op basis van Azure Data Lake Analytics (ADLA) en voeg deze toe aan de huidige module.
publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)Parameters
- create_sequencing_ports
- bool
Hiermee wordt aangegeven of er sequentiërende poorten worden gemaakt voor de module.
- degree_of_parallelism
- int
De mate van parallelle uitvoering die voor deze taak moet worden gebruikt.
- priority
- int
De prioriteitswaarde die moet worden gebruikt voor de huidige taak.
- runtime_version
- str
De runtimeversie van de ADLA-engine (Azure Data Lake Analytics).
- compute_target
- AdlaCompute, str
De ADLA-berekening die voor deze taak moet worden gebruikt.
- is_default
- bool
Hiermee wordt aangegeven of de gepubliceerde versie de standaardversie moet zijn.
- arguments
- list
Argumenten die moeten worden gebruikt bij het aanroepen van de module. Argumenten kunnen tekenreeksen, invoerverwijzingen (InputPortDef), uitvoerverwijzingen (OutputPortDef) en pijplijnparameters (PipelineParameter) zijn.
Retourtype
publish_azure_batch
Maak een ModuleVersion die gebruikmaakt van Azure-batch en voeg deze toe aan de huidige module.
publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)Parameters
- create_sequencing_ports
- bool
Hiermee wordt aangegeven of er sequentiërende poorten worden gemaakt voor de module.
- is_default
- bool
Hiermee wordt aangegeven of de gepubliceerde versie de standaardversie moet zijn.
- create_pool
- bool
Hiermee wordt aangegeven of de pool moet worden gemaakt voordat de taken worden uitgevoerd.
- delete_batch_job_after_finish
- bool
Hiermee wordt aangegeven of de taak uit het Batch-account moet worden verwijderd nadat deze is voltooid.
- delete_batch_pool_after_finish
- bool
Geeft aan of de pool moet worden verwijderd nadat de taak is voltooid.
- is_positive_exit_code_failure
- bool
Geeft aan of de taak mislukt als de taak bestaat met een positieve code.
- vm_image_urn
- str
Als create_pool True is en de VM VirtualMachineConfiguration gebruikt, geeft deze parameter de VM-installatiekopieën aan die moeten worden gebruikt. Waardenotatie: urn:publisher:offer:sku.
Bijvoorbeeld: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- run_task_as_admin
- bool
Hiermee wordt aangegeven of de taak moet worden uitgevoerd met Beheer bevoegdheden.
- target_compute_nodes
- int
Als create_pool waar is, wordt aangegeven hoeveel rekenknooppunten aan de pool worden toegevoegd.
- vm_size
- str
Als create_pool waar is, wordt de grootte van de virtuele machine van de rekenknooppunten aangegeven.
- executable
- str
De naam van de opdracht/het uitvoerbare bestand dat wordt uitgevoerd als onderdeel van de taak.
- arguments
- list
Argumenten die moeten worden gebruikt bij het aanroepen van de module. Argumenten kunnen tekenreeksen, invoerverwijzingen (InputPortDef), uitvoerverwijzingen (OutputPortDef) en pijplijnparameters (PipelineParameter) zijn.
Retourtype
Uitzonderingen
publish_python_script
Maak een ModuleVersion op basis van een Python-script en voeg deze toe aan de huidige module.
publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)Parameters
- create_sequencing_ports
- bool
Hiermee wordt aangegeven of er sequentiërende poorten worden gemaakt voor de module.
- is_default
- bool
Hiermee wordt aangegeven of de gepubliceerde versie de standaardversie moet zijn.
- hash_paths
- list
Een lijst met paden naar hash bij het controleren op wijzigingen in de inhoud van de stap. Als er geen wijzigingen zijn gedetecteerd, wordt de inhoud van de stap uit een vorige uitvoering opnieuw gebruikt. De inhoud van de source_directory wordt standaard gehasht (met uitzondering van bestanden die worden vermeld in .amlignore of .gitignore).
AFGESCHAFT: niet meer nodig.
- arguments
- list
Argumenten die moeten worden gebruikt bij het aanroepen van de module. Argumenten kunnen tekenreeksen, invoerverwijzingen (InputPortDef), uitvoerverwijzingen (OutputPortDef) en pijplijnparameters (PipelineParameter) zijn.
- runconfig
- RunConfiguration
Een optionele RunConfiguration. Een RunConfiguration kan worden gebruikt om aanvullende vereisten voor de uitvoering op te geven, zoals conda-afhankelijkheden en een Docker-installatiekopieën.
Retourtype
resolve
Los het probleem op en retourneer de juiste ModuleVersion.
resolve(version=None)Parameters
- version
Retouren
De moduleversie die moet worden gebruikt.
Retourtype
set_default_version
Stel de standaardModuleVersion van de module in.
set_default_version(version_id)Parameters
- version_id
Retouren
De standaardversie.
Retourtype
Uitzonderingen
set_description
Stel de beschrijving van module in.
set_description(description)Parameters
Uitzonderingen
set_name
Stel de naam van module in.
set_name(name)Parameters
Uitzonderingen
Kenmerken
default_version
description
id
name
status
Feedback
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie: https://aka.ms/ContentUserFeedback.
Feedback verzenden en weergeven voor