Udostępnij za pośrednictwem


Module Klasa

Reprezentuje jednostkę obliczeniową używaną w potoku usługi Azure Machine Learning.

Moduł to kolekcja plików, które będą uruchamiane na obiekcie docelowym obliczeniowym i opis interfejsu. Kolekcja plików może być skryptem, plikami binarnymi lub innymi plikami wymaganymi do wykonania w docelowym obiekcie obliczeniowym. Interfejs modułu opisuje dane wejściowe, dane wyjściowe i definicje parametrów. Nie wiąże ich z określonymi wartościami ani danymi. Moduł ma skojarzona z nim migawkę, która przechwytuje kolekcję plików zdefiniowanych dla modułu.

Inicjowanie modułu.

Dziedziczenie
builtins.object
Module

Konstruktor

Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)

Parametry

Nazwa Opis
workspace
Wymagane

Obiekt obszaru roboczego, do którego należy ten moduł.

module_id
Wymagane
str

Identyfikator modułu.

name
Wymagane
str

Nazwa modułu.

description
Wymagane
str

Opis modułu.

status
Wymagane
str

Nowy stan modułu: "Aktywny", "Przestarzałe" lub "Wyłączone".

default_version
Wymagane
str

Domyślna wersja modułu.

module_version_list
Wymagane

Lista ModuleVersionDescriptor obiektów.

_module_provider
<xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>

(Tylko użycie wewnętrzne). Dostawca modułu.

Domyślna wartość: None
_module_version_provider
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

(Tylko użycie wewnętrzne). Dostawca ModuleVersion.

Domyślna wartość: None
workspace
Wymagane

Obiekt obszaru roboczego, do którego należy ten moduł.

module_id
Wymagane
str

Identyfikator modułu.

name
Wymagane
str

Nazwa modułu.

description
Wymagane
str

Opis modułu.

status
Wymagane
str

Nowy stan modułu: "Aktywny", "Przestarzałe" lub "Wyłączone".

default_version
Wymagane
str

Domyślna wersja modułu.

module_version_list
Wymagane

Lista ModuleVersionDescriptor obiektów.

_module_provider
Wymagane
<xref:<xref:_AevaMlModuleProvider object>>

Dostawca modułu.

_module_version_provider
Wymagane
<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>

Dostawca ModuleVersion.

Uwagi

Moduł działa jako kontener jego wersji. W poniższym przykładzie element ModuleVersion jest tworzony na podstawie publish_python_script metody i ma dwa dane wejściowe i dwa dane wyjściowe. Create ModuleVersion jest domyślną wersją (is_default jest ustawiona na wartość True).


   out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
                           label="Sum of two numbers")
   out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
                            label="Product of two numbers")
   entry_version = module.publish_python_script("calculate.py", "initial",
                                                inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
                                                version="1", source_directory="./calc")

Pełna próbka jest dostępna w witrynie https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Ten moduł może być używany podczas definiowania potoku w różnych krokach przy użyciu elementu ModuleStep.

W poniższym przykładzie pokazano, jak połączyć dane używane w potoku z danymi wejściowymi i wyjściowymi elementu ModuleVersion przy użyciu polecenia PipelineData:


   middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
   middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
   middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
   middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}

Pełna próbka jest dostępna w witrynie https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Mapowanie można następnie użyć podczas tworzenia elementu ModuleStep:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

Pełna próbka jest dostępna w witrynie https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Rozwiązanie, której wersji modułu należy użyć, odbywa się po przesłaniu i następuje następujący proces:

  • Usuń wszystkie wyłączone wersje
  • Jeśli określono określoną wersję, użyj jej, w przeciwnym razie
  • Jeśli zdefiniowano domyślną wersję modułu, użyj tej opcji, w przeciwnym razie
  • Jeśli wszystkie wersje są zgodne z semantycznym przechowywaniem wersji bez liter, weź najwyższą wartość, w przeciwnym razie
  • Przejmij wersję modułu, która została ostatnio zaktualizowana

Należy pamiętać, że ponieważ dane wejściowe i wyjściowe węzła mapowane na dane wejściowe i wyjściowe modułu są definiowane podczas tworzenia potoku, jeśli rozpoznana wersja po przesłaniu ma inny interfejs niż ten, który został rozwiązany podczas tworzenia potoku, przesyłanie potoku zakończy się niepowodzeniem.

Podstawowy moduł można zaktualizować przy użyciu nowych wersji, zachowując tę samą wersję domyślną.

Moduły są unikatowo nazwane w obszarze roboczym.

Metody

create

Utwórz moduł.

deprecate

Dla modułu ustaw wartość "Przestarzałe".

disable

Dla modułu ustaw wartość "Wyłączone".

enable

Dla modułu ustaw wartość "Aktywne".

get

Pobierz moduł według nazwy lub identyfikatora; zgłasza wyjątek, jeśli nie podano żadnej z tych opcji.

get_default

Pobierz domyślną wersję modułu.

get_default_version

Pobierz domyślną wersję modułu.

get_versions

Pobierz wszystkie wersje modułu.

module_def_builder

Utwórz obiekt definicji modułu opisujący krok.

module_version_list

Pobierz listę wersji modułu.

process_source_directory

Przetwórz katalog źródłowy dla kroku i sprawdź, czy skrypt istnieje.

publish

Utwórz element ModuleVersion i dodaj go do bieżącego modułu.

publish_adla_script

Utwórz element ModuleVersion na podstawie usługi Azure Data Lake Analytics (ADLA) i dodaj go do bieżącego modułu.

publish_azure_batch

Utwórz moduł ModuleVersion używający usługi Azure Batch i dodaj go do bieżącego modułu.

publish_python_script

Utwórz element ModuleVersion, który jest oparty na skryscie języka Python i dodaj go do bieżącego modułu.

resolve

Rozwiąż i zwróć właściwą wersję modułu.

set_default_version

Ustaw domyślną wartość ModuleVersion modułu.

set_description

Ustaw opis modułu.

set_name

Ustaw nazwę modułu.

create

Utwórz moduł.

static create(workspace, name, description, _workflow_provider=None)

Parametry

Nazwa Opis
workspace
Wymagane

Obszar roboczy, w którym ma zostać utworzony moduł.

name
Wymagane
str

Nazwa modułu.

description
Wymagane
str

Opis modułu.

_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Tylko użycie wewnętrzne). Dostawca przepływu pracy.

Domyślna wartość: None

Zwraca

Typ Opis

Obiekt modułu

deprecate

Dla modułu ustaw wartość "Przestarzałe".

deprecate()

disable

Dla modułu ustaw wartość "Wyłączone".

disable()

enable

Dla modułu ustaw wartość "Aktywne".

enable()

get

Pobierz moduł według nazwy lub identyfikatora; zgłasza wyjątek, jeśli nie podano żadnej z tych opcji.

static get(workspace, module_id=None, name=None, _workflow_provider=None)

Parametry

Nazwa Opis
workspace
Wymagane

Obszar roboczy, w którym ma zostać utworzony moduł.

module_id
str

Identyfikator modułu.

Domyślna wartość: None
name
str

Nazwa modułu.

Domyślna wartość: None
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Tylko użycie wewnętrzne). Dostawca przepływu pracy.

Domyślna wartość: None

Zwraca

Typ Opis

Obiekt modułu

get_default

Pobierz domyślną wersję modułu.

get_default()

Zwraca

Typ Opis

Domyślna wersja modułu.

get_default_version

Pobierz domyślną wersję modułu.

get_default_version()

Zwraca

Typ Opis
str

Domyślna wersja modułu.

get_versions

Pobierz wszystkie wersje modułu.

static get_versions(workspace, name, _workflow_provider=None)

Parametry

Nazwa Opis
workspace
Wymagane

Obszar roboczy, w ramach którego utworzono moduł.

name
Wymagane
str

Nazwa modułu.

_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Tylko użycie wewnętrzne). Dostawca przepływu pracy.

Domyślna wartość: None

Zwraca

Typ Opis

Lista ModuleVersionDescriptor

module_def_builder

Utwórz obiekt definicji modułu opisujący krok.

static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)

Parametry

Nazwa Opis
name
Wymagane
str

Nazwa modułu.

description
Wymagane
str

Opis modułu.

execution_type
Wymagane
str

Typ wykonania modułu.

input_bindings
Wymagane

Powiązania wejściowe modułu.

output_bindings
Wymagane

Powiązania wyjściowe modułu.

param_defs

Definicje parametrów modułu.

Domyślna wartość: None
create_sequencing_ports

Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.

Domyślna wartość: True
allow_reuse

Wskazuje, czy moduł będzie dostępny do ponownego użycia.

Domyślna wartość: True
version
str

Wersja modułu.

Domyślna wartość: None
module_type
str

Typ modułu.

Domyślna wartość: None
step_type
str

Typ kroku skojarzonego z tym modułem, np. "PythonScriptStep", "HyperDriveStep" itp.

Domyślna wartość: None
arguments

Lista argumentów z adnotacjami do użycia podczas wywoływania tego modułu

Domyślna wartość: None
runconfig
str

Runconfig, który będzie używany do python_script_step

Domyślna wartość: None
cloud_settings
str

Ustawienia, które będą używane dla chmur

Domyślna wartość: None

Zwraca

Typ Opis

Obiekt def modułu.

Wyjątki

Typ Opis

module_version_list

Pobierz listę wersji modułu.

module_version_list()

Zwraca

Typ Opis

Lista ModuleVersionDescriptor

process_source_directory

Przetwórz katalog źródłowy dla kroku i sprawdź, czy skrypt istnieje.

static process_source_directory(name, source_directory, script_name)

Parametry

Nazwa Opis
name
Wymagane
str

Nazwa kroku.

source_directory
Wymagane
str

Katalog źródłowy dla kroku.

script_name
Wymagane
str

Nazwa skryptu dla kroku.

Zwraca

Typ Opis

Katalog źródłowy i ścieżki skrótu.

Wyjątki

Typ Opis

publish

Utwórz element ModuleVersion i dodaj go do bieżącego modułu.

publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parametry

Nazwa Opis
description
Wymagane
str

Opis modułu.

execution_type
Wymagane
str

Typ wykonania modułu. Dopuszczalne wartości to esCloud, adlcloud i AzureBatchCloud

inputs
Wymagane

Dane wejściowe modułu.

outputs
Wymagane

Dane wyjściowe modułu.

param_defs

Definicje parametrów modułu.

Domyślna wartość: None
create_sequencing_ports

Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.

Domyślna wartość: True
version
str

Wersja modułu.

Domyślna wartość: None
is_default

Wskazuje, czy opublikowana wersja ma być wersją domyślną.

Domyślna wartość: False
content_path
str

katalog

Domyślna wartość: None
hash_paths

Lista ścieżek do skrótu podczas sprawdzania zmian w zawartości kroku. Jeśli nie zostaną wykryte żadne zmiany, potok użyje ponownie zawartości kroku z poprzedniego uruchomienia. Domyślnie zawartość elementu source_directory jest skrótem (z wyjątkiem plików wymienionych w pliku .amlignore lub .gitignore). PRZESTARZAŁE: nie są już potrzebne.

Domyślna wartość: None
category
str

Kategoria wersji modułu

Domyślna wartość: None
arguments

Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).

Domyślna wartość: None
runconfig

Opcjonalna funkcja RunConfiguration. Element RunConfiguration może służyć do określania dodatkowych wymagań dotyczących przebiegu, takich jak zależności conda i obraz platformy Docker.

Domyślna wartość: None

Zwraca

Typ Opis

Wyjątki

Typ Opis

publish_adla_script

Utwórz element ModuleVersion na podstawie usługi Azure Data Lake Analytics (ADLA) i dodaj go do bieżącego modułu.

publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)

Parametry

Nazwa Opis
script_name
Wymagane
str

Nazwa skryptu ADLA względem source_directory.

description
Wymagane
str

Opis wersji modułu.

inputs
Wymagane

Powiązania wejściowe modułu.

outputs
Wymagane

Powiązania wyjściowe modułu.

params

Parametry ModuleVersion, które są parami name-default_value.

Domyślna wartość: None
create_sequencing_ports

Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.

Domyślna wartość: True
degree_of_parallelism
int

Stopień równoległości do użycia w tym zadaniu.

Domyślna wartość: None
priority
int

Wartość priorytetu do użycia dla bieżącego zadania.

Domyślna wartość: None
runtime_version
str

Wersja środowiska uruchomieniowego aparatu usługi Azure Data Lake Analytics (ADLA).

Domyślna wartość: None
compute_target

Środowisko obliczeniowe ADLA do użycia dla tego zadania.

Domyślna wartość: None
version
str

Wersja modułu.

Domyślna wartość: None
is_default

Wskazuje, czy opublikowana wersja ma być wersją domyślną.

Domyślna wartość: False
source_directory
str

katalog

Domyślna wartość: None
hash_paths

hash_paths

Domyślna wartość: None
category
str

Kategoria wersji modułu

Domyślna wartość: None
arguments

Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).

Domyślna wartość: None

Zwraca

Typ Opis

publish_azure_batch

Utwórz moduł ModuleVersion używający usługi Azure Batch i dodaj go do bieżącego modułu.

publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)

Parametry

Nazwa Opis
description
Wymagane
str

Opis wersji modułu.

compute_target
Wymagane

Docelowy obiekt obliczeniowy BatchCompute.

inputs
Wymagane

Powiązania wejściowe modułu.

outputs
Wymagane

Powiązania wyjściowe modułu.

params

Parametry ModuleVersion, które są parami name-default_value.

Domyślna wartość: None
create_sequencing_ports

Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.

Domyślna wartość: True
version
str

Wersja modułu.

Domyślna wartość: None
is_default

Wskazuje, czy opublikowana wersja ma być wersją domyślną.

Domyślna wartość: False
create_pool

Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań.

Domyślna wartość: False
pool_id
str

(Obowiązkowe) Identyfikator puli, w której zostanie uruchomione zadanie.

Domyślna wartość: None
delete_batch_job_after_finish

Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu.

Domyślna wartość: False
delete_batch_pool_after_finish

Wskazuje, czy pula ma zostać usunięta po zakończeniu zadania.

Domyślna wartość: False
is_positive_exit_code_failure

Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim.

Domyślna wartość: True
vm_image_urn
str

Jeśli create_pool parametr ma wartość True, a maszyna wirtualna używa funkcji VirtualMachineConfiguration, ten parametr wskazuje obraz maszyny wirtualnej do użycia. Format wartości: urn:publisher:offer:sku. Przykład: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

Domyślna wartość: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin

Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami Administracja.

Domyślna wartość: False
target_compute_nodes
int

Jeśli create_pool ma wartość True, wskazuje, ile węzłów obliczeniowych zostanie dodanych do puli.

Domyślna wartość: 1
vm_size
str

Jeśli create_pool ma wartość True, wskazuje rozmiar maszyny wirtualnej węzłów obliczeniowych.

Domyślna wartość: standard_d1_v2
executable
str

Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania.

Domyślna wartość: None
source_directory
str

Katalog źródłowy.

Domyślna wartość: None
category
str

Kategoria wersji modułu

Domyślna wartość: None
arguments

Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).

Domyślna wartość: None

Zwraca

Typ Opis

Wyjątki

Typ Opis

publish_python_script

Utwórz element ModuleVersion, który jest oparty na skryscie języka Python i dodaj go do bieżącego modułu.

publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parametry

Nazwa Opis
script_name
Wymagane
str

Nazwa skryptu języka Python względem source_directory.

description
Wymagane
str

Opis wersji modułu.

inputs
Wymagane

Powiązania wejściowe modułu.

outputs
Wymagane

Powiązania wyjściowe modułu.

params

Parametry ModuleVersion, które są parami name-default_value.

Domyślna wartość: None
create_sequencing_ports

Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.

Domyślna wartość: True
version
str

Wersja modułu.

Domyślna wartość: None
is_default

Wskazuje, czy opublikowana wersja ma być wersją domyślną.

Domyślna wartość: False
source_directory
str

katalog

Domyślna wartość: None
hash_paths

Lista ścieżek do skrótu podczas sprawdzania zmian w zawartości kroku. Jeśli nie zostaną wykryte żadne zmiany, potok użyje ponownie zawartości kroku z poprzedniego uruchomienia. Domyślnie zawartość elementu source_directory jest skrótem (z wyjątkiem plików wymienionych w pliku amlignore lub gitignore). PRZESTARZAŁE: nie są już potrzebne.

Domyślna wartość: None
category
str

Kategoria wersji modułu

Domyślna wartość: None
arguments

Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).

Domyślna wartość: None
runconfig

Opcjonalna funkcja RunConfiguration. Element RunConfiguration może służyć do określania dodatkowych wymagań dotyczących przebiegu, takich jak zależności conda i obraz platformy Docker.

Domyślna wartość: None

Zwraca

Typ Opis

resolve

Rozwiąż i zwróć właściwą wersję modułu.

resolve(version=None)

Parametry

Nazwa Opis
version
Domyślna wartość: None

Zwraca

Typ Opis

Wersja modułu do użycia.

set_default_version

Ustaw domyślną wartość ModuleVersion modułu.

set_default_version(version_id)

Parametry

Nazwa Opis
version_id
Wymagane

Zwraca

Typ Opis
str

Wersja domyślna.

Wyjątki

Typ Opis

set_description

Ustaw opis modułu.

set_description(description)

Parametry

Nazwa Opis
description
Wymagane
str

Opis do ustawienia.

Wyjątki

Typ Opis

set_name

Ustaw nazwę modułu.

set_name(name)

Parametry

Nazwa Opis
name
Wymagane
str

Nazwa do ustawienia.

Wyjątki

Typ Opis

Atrybuty

default_version

Pobierz domyślną wersję modułu.

Zwraca

Typ Opis
str

Domyślny ciąg wersji.

description

Pobierz opis modułu.

Zwraca

Typ Opis
str

Ciąg opisu.

id

Pobierz identyfikator modułu.

Zwraca

Typ Opis
str

Identyfikator.

name

Pobierz nazwę modułu.

Zwraca

Typ Opis
str

Nazwa.

status

Uzyskaj stan modułu.

Zwraca

Typ Opis
str

Stan.